写真からカロリー計算する仕組み.AIがしていること。
写真でカロリー計算する仕組みは、3段階です。画像認識モデルが食品を見分け、分量の推定モデルがそれぞれの量を割り出し、栄養データベースがカロリーとPFCを返します。全体で約2秒。ベンチマーク目標は、管理栄養士との差8%以内です。
3つの段階。約2秒で。
- 01
見分ける
画像認識モデルが、食品をひとつずつ、信頼度のスコアつきで見分けます。
- 02
分量を推定する
お皿の大きさ、食器の手がかり、見た目の量から、グラム数を出します。
- 03
栄養データを調べる
グラム数にUSDA FoodData Centralの値をかけたものが、カロリーです。
お皿の上には何がある？
画像認識モデルが写真を受け取り、検出した食品を、写っている範囲と信頼度のスコアをつけたリストにして返します。「グリルチキン」「白いごはん」のような単品の食品も、「吉野家の牛丼」「ビッグマック」のような料理も認識します。
よく知られたチェーン店の料理なら、モデルは料理をひとつのまとまりとして見分け、材料を合計する代わりに、公開されている栄養成分を使います。検出はたいてい正確で、誤差の大部分はここでは生まれません。
いちばん難しい段階。
分量の推定では、検出した食品をひとつずつ見て、何グラムあるかを推定します。手がかりにするのは、お皿の大きさ（標準的なお皿のサイズはわかっています）、食器の大きさ（フォークやスプーンを補助の基準に）、見た目の量（影や色の濃淡からわかる奥行き）です。
体積を推定したら、食品ごとの既知の密度（ごはんは約0.7g/cm³、牛肉は約1.0g/cm³）をかけて、グラム数を出します。写真でカロリー計算するAIでは、どれでも誤差の大部分が分量の推定で生まれます。そのため画面では信頼度の幅を示し、ワンタップで調整できるようにしています。
推測ではなく、ただの計算。
カロリーの値を、AIが推測することはありません。検出した食品はそれぞれ公開されている栄養データベースと対応づけられ、推定したグラム数からカロリーを計算します。
メインのデータベースはUSDA FoodData Central。各国の市販品にはOpen Food Factsを使います。チェーン店のメニューは独自に整理したデータセットとして持ち、四半期ごとに更新しています。
× 1.30kcal/g （USDA FDC ID 169757）
= 260kcal
誤差が生まれる場所.
管理栄養士との差8%以内という目標に照らすと、残る誤差のほとんどは、ひとつの段階から生まれています。
| 段階 | 典型的な誤差の割合 |
|---|---|
| 食品の検出食品が合っているかどうか | 小さい。ほとんどの食事で2%未満。 |
| 分量の推定食品は正しく、量が違う | 最大の要因。一般的な食事で5〜10%。 |
| 栄養データの照合食品も量も正しい | ごくわずか。1%未満（データベースの精度）。 |
1回で聞くAIは、ブラックボックス。
もっと単純な方法もあります。写真をマルチモーダルモデルに渡して「これは何kcal？」と聞き、その答えを返すだけ。私たちはそうしません。1回の問い合わせでカロリーを推定すると、AIが自信満々に間違えることがあり、間違った答えの原因を調べることも、ひとつの段階だけを直すこともできないからです。
3段階の処理は少し時間がかかりますが、中身が見えます。検出が違えば、ワンタップで直せます。分量が違えば、少し動かすだけ。AIが何を見たのかがわかり、段階ごとに別々に修正できます。
入り口は6つ。処理はひとつ。
- 01写真基本の入力です。真上か45°の角度がいちばんです。
- 02レシピのスクリーンショットスクリーンショットの文字から、材料のリストを読み取ります。
- 03メニューのスクリーンショットお店のメニューにある料理名を、食品として認識します。
- 04栄養成分表示の写真そのまま読み取ります。照合が正確なので、いちばん正確な入力です。
- 05テキストだけ「チキンサンドとポテトのSを食べた」なら、写真なしでも記録できます。
- 06音声音声を文字に起こし、同じテキストの処理にかけます（Onmodeアプリで利用できます）。
手短にお答えします。
あわせて読みたい。
このテーマをもっと知る。
- 01精度を上げる食事写真の撮り方推定を正確にする10のコツ：45°の角度、はかりのワザ、書き添えること。
- 02AIカロリー計算アプリは正確？実際の判断に使える精度です。ベンチマーク目標は、管理栄養士との差8%以内。
- 03カロリー計算のやり方： 簡単な4ステップカロリー計算のやり方は、1日の目標カロリーを決め、栄養成分表示を読み、分量を量るか見積もって、食べたものを毎日記録する4ステップです。正確さを生むのは1食を完璧にすることではなく、毎日続けることです。
- 04AIカロリー計算アプリの精度比較calorietrack・Cal AI・SnapCalorie・Bite AIを直接比較。
- 05料理のカロリーを 計算する方法料理のカロリー計算は、栄養成分表示かUSDA FoodData Centralのようなデータベースで調べ、実際に食べた分量を掛けるのが基本です。自炊した料理は材料のカロリーを合計し、外食は正確な数字がわからないことが多いため見積もります。
- 06iPhone向けAIカロリー計算アプリiPhoneのOnmode：Oniとの通話、Apple Health、ウィジェット。ダウンロード無料。