A tecnologia em detalhe

Calcular calorias por foto. Como a IA faz a conta.

Para calcular calorias por foto, a IA passa por três etapas: um modelo de visão identifica os alimentos, um estimador de porções mede cada um, e um banco de dados nutricional devolve calorias e macros. Cerca de dois segundos no total, com a meta de benchmark de ficar a até 8% de um nutricionista.

Um poke de salmão fotografado de cima
Detectado pela IA
Poke de salmão560kcal
34g
Proteínas
62g
Carbs
18g
Gorduras
O processo

Três etapas. Cerca de dois segundos.

Etapa 1: a câmera enquadra um prato de macarrão
1  Detectar
Etapas 2 e 3: macarrão 320, molho de tomate 120, parmesão 80, azeite 120, total de 640 kcal
2  Porção e consulta
Corrija qualquer etapa: conte à IA o que a foto não mostra
3  Corrigir
  1. 01

    Detectar

    Um modelo de visão identifica cada alimento, com um índice de confiança.

  2. 02

    Estimar a porção

    O tamanho do prato, os talheres e o volume visível viram gramas.

  3. 03

    Consultar os nutrientes

    Gramas vezes os valores do USDA FoodData Central dão as calorias.

Etapa 1 · Detecção

O que tem neste prato?

Um modelo de visão recebe a foto e devolve uma lista organizada dos alimentos detectados, com as regiões da imagem e os índices de confiança. Ele reconhece tanto alimentos individuais (“frango grelhado”, “arroz branco”) quanto pratos compostos (“Whopper”, “Big Mac”).

Nos pratos compostos de grandes redes, o modelo identifica o prato como um todo e usa os dados nutricionais publicados, em vez de somar os componentes. A detecção costuma acertar. Não é aqui que está a maior parte do erro.

Etapa 2 · Porção

A etapa mais difícil.

O estimador de porções olha cada alimento detectado e calcula quantos gramas há dele. Ele usa a escala do prato (os tamanhos de prato padrão são conhecidos), a escala dos talheres (garfos e colheres servem de referência secundária) e o volume visível (pistas de profundidade nas sombras e nos degradês de cor).

Com o volume estimado, o modelo multiplica pela densidade conhecida de cada alimento (o arroz tem cerca de 0,7 g/cm³, a carne bovina cerca de 1,0 g/cm³) para chegar aos gramas. É na estimativa da porção que está a maior parte do erro de qualquer IA que calcula calorias por foto. A interface compensa com uma margem de confiança e um ajuste com um toque.

Etapa 3 · Consulta

Conta simples, não chute.

A IA não chuta os valores de calorias. Cada alimento detectado é associado a um banco de dados nutricional público, e as calorias são calculadas a partir dos gramas estimados.

Banco de dados principal: USDA FoodData Central. Open Food Facts para produtos embalados internacionais. Os cardápios de redes de restaurantes ficam num conjunto de dados com curadoria, atualizado a cada trimestre.

Exemplo de cálculo
200 g de arroz branco cozido (detectado)
× 1,30 kcal/g (USDA FDC ID 169757)
= 260 kcal
Distribuição do erro

Onde está o erro.

Medido contra a nossa meta de ficar a até 8% de um nutricionista, quase todo o erro que sobra vem de uma única etapa.

Contribuição típica de cada etapa do processo para o erro
EtapaContribuição típica para o erro
Detecção dos alimentosAlimento certo ou erradoBaixa. Menos de 2% na maioria das refeições.
Estimativa da porçãoAlimento certo, quantidade erradaDominante. De 5% a 10% em refeições típicas.
Consulta nutricionalAlimento certo, quantidade certaMínima. Menos de 1% (precisão do banco de dados).
Por que não só perguntar

IA numa chamada só é uma caixa-preta.

Um design mais simples seria: mandar a foto para um modelo multimodal, perguntar “quantas calorias tem isto?” e devolver a resposta. Não fazemos isso. Uma estimativa de calorias numa chamada só pode alucinar com toda a confiança, e não há como depurar uma resposta errada nem corrigir uma única etapa.

O processo em três etapas é um pouco mais lento, mas transparente. Se a detecção errar, um toque corrige. Se a porção estiver errada, um ajuste resolve. Você vê o que a IA viu e corrige cada etapa de forma independente.

Entradas aceitas

Seis formas de entrada. Um só processo.

  • 01FotosO padrão. De cima ou a 45° é o melhor.
  • 02Prints de receitasAs listas de ingredientes são lidas do texto do print.
  • 03Prints de cardápiosOs nomes dos pratos do cardápio são reconhecidos como alimentos.
  • 04Fotos da tabela nutricionalLidas diretamente. É a entrada mais precisa, porque a consulta é exata.
  • 05Só texto“Comi um sanduíche de frango e uma batata frita pequena” funciona sem foto.
  • 06VozA transcrição da voz entra no mesmo processo do texto (no app Onmode).
Calcular calorias por foto · Perguntas frequentes

Respostas rápidas.

Em três etapas: identificar os alimentos, estimar as porções e consultar os dados nutricionais. A detecção costuma acertar. A estimativa da porção é a incógnita. A consulta nutricional é uma busca determinística num banco de dados, não um chute da IA.
Relacionados

Continue lendo.

Continue explorando

Mais sobre este assunto.

  • 01Como ter a estimativa mais precisa10 truques para estimativas mais precisas: o ângulo de 45°, o truque da balança e o que escrever.
  • 02O contador de calorias com IA funciona?Funciona bem o bastante para guiar decisões reais. Nossa meta de benchmark: até 8% de diferença em relação a um nutricionista.
  • 03O contador de calorias com IA grátisSem cadastro, sem cartão. 3 testes grátis e, depois, 10 por dia com uma conta grátis.
  • 04Cal AI é bom? Vale a pena?Quando vale a pena pagar pelo Cal AI, e quando não vale.
  • 05Como contar calorias passo a passoPara contar calorias, siga quatro passos: defina uma meta diária de acordo com o seu objetivo, leia os rótulos, pese ou estime as porções e registre tudo o que você come, com constância. A precisão vem de fazer isso todos os dias, não de acertar em cheio uma única refeição.
  • 06Como calcular calorias dos alimentosPara calcular as calorias dos alimentos, leia a tabela nutricional do rótulo ou consulte um banco de dados como o USDA FoodData Central e multiplique pela porção que você realmente comeu. Em pratos mistos e receitas caseiras, você soma os ingredientes; na comida de restaurante, você estima, porque números exatos raramente estão disponíveis.
Melhor no iPhone.App Store