牛丼→グラノーラ誤認識は“悔しかった”。「あすけん」が2回も画像解析エンジンを刷新するまで

600kcalを超える牛丼を、190kcalのフルーツグラノーラと誤って認識した――。

食事画像やバーコードを読み取るだけでカロリーや栄養素を自動計算してくれる、AI食事管理アプリ「あすけん」。2024年9月、「あすけん」上でこんなエラーが起きたとするユーザー投稿が、X（旧Twitter）で話題となり、瞬く間に拡散されていきました。

1週間後、運営のasken社は、公式Xにて一連の投稿に反応。それは重々しい謝罪文などではなく、「精度向上のため、他にも画像解析の失敗事例があれば教えてほしい」という、前向きな呼びかけでした。このポストは好意的に受け止められ、実際にさまざまなエラーのスクリーンショットが、ユーザーから寄せられていきました。

その後の2024年12月、同社は画像解析エンジンを、アルゴリズムを最適化した新たなエンジンに刷新。しかしそのわずか半年後の2025年5月、今度は生成AIを活用した新エンジンへの切り替えを行いました。

asken社はなぜ、あえて「失敗事例の募集をSNS上で行う」という判断をすぐに下せたのか？　そして、いかにして生成AIの実装へと至ったのか？　その経緯について、開発を主導したテックリードの山口将央さんと、シニアプロダクトマネージャーの伊藤拓哉さんにお話を聞きました。

• keyboard_arrow_down こんな形で、バズりたくはなかった
• keyboard_arrow_down 苦労してアルゴリズムを最適化した新エンジンを、手放した理由
• keyboard_arrow_down 100%の正解がない「食と健康」の世界に向き合い続ける

――まず「牛丼・グラノーラ誤認識」の一件からお聞かせください。X上では当時、「牛丼はグラノーラだったのか」「これならいくらでも食べられる」という趣旨のジョークも飛び交いました。あの盛り上がりを、社内ではどのように受け止めていたのでしょうか？

伊藤：確かに、ありがたいことに、ユーザーさんの反応の中にはユーモラスに受け止めてくださる声もありました。

……ですが、社内の人間としてはもう、自分たちの不甲斐なさで「悔しい」という気持ちでしたね。

「あすけん」は、管理栄養士が監修した、栄養学・エビデンスに基づく正確なアドバイスや栄養情報をユーザーさんへお届けすることを大切にしているサービスです。誤認識を面白がっていただけたとしても、やはり誤りは誤りです。

なので、せっかく注目していただけるなら「（画像解析の）精度が高すぎる！」という形で「バズり」を成し遂げたかった。でも、逆の結果になってしまって悔しい、というのが本音でした。

――悔いるような思いだったのですね……。その後、一連のポストに反応しつつ、「他にも画像解析の失敗事例があれば、引用やコメントでお聞かせいただけますでしょうか」とオープンな姿勢で呼びかけていました。この対応は、どのような意図で行われたのでしょうか？

伊藤：背景からお話しますと、我々はもともと「ユーザーの皆さんと一緒にあすけんをつくり上げていきたい」という思いのもと、ユーザーさんからのフィードバックを積極的に集め、プロダクトの改善に生かすというスキームを進めていました。

なので、「あすけん」アプリ内にもバーコードや各種食品データなどの情報提供をユーザーさんからいただきながらサービスを提供してきた歴史があります。

そんな中、牛丼をグラノーラと誤認識してしまうというX投稿が話題となりました。イレギュラーな事態ではありますが、こうした下地もあったので「これもユーザーの皆様から『本音』が聞ける貴重な機会になり得る」と捉えたんですね。ユーザーリサーチの一環として、SNSを介して改めて皆様から広くお声をいただこう、と考えました。

また、画像解析という技術は、どれだけ精度を高めても文字通り「100%」の正解率を出すことが原理的に困難です。一方で、ユーザーさんとしては当然「きっと完璧に認識してくれるはず」という期待感をお持ちになってアプリを利用されます。この技術的な限界と、期待感のギャップをどう埋めていくか、というのは私たちが常に抱えている課題でもありました。

そのギャップを埋める意味でも「現状はこうですが、私たちはもっと良くしていきたいので、皆様の力を貸してください」と正直にお伝えした方が、結果的にユーザーさんとの信頼関係の構築にもつながると考えた、というのも背景にあります。

山口：私もエンジニアとして、このような呼びかけを行う判断には賛成でした。仮に静観したり、あるいは形式的に謝ったりしたとしても、それだけでは技術的な解決につながりませんから。

――それにしても、最初の投稿が拡散されてから、エラー事例の募集ポストを行うまで、1週間ほどでした。なぜ迅速な意思決定ができたのでしょうか？

伊藤：正直、1週間は……。

山口：長い、気がしますね。もっと早くてもよかった。

――そのようにお考えだったのですね。ただ組織によってはひょっとすると、投稿に伴うリスク管理の会議を重ねるだけでも、もっと時間がかかるケースもあり得たのではないかと思います。なぜ議論が紛糾しすぎることなく、次のアクションへと踏み切れたのでしょうか。

伊藤：そこについては、開発チームとマーケティングチームの距離が物理的にも心理的にも非常に近いというのが大きいかもしれません。開発チームの隣の席にマーケティングチームがいるような環境で、日頃から密に連携がとれています。

それに、先ほど申し上げた通り当社では「ユーザーさんとともにプロダクトをつくっていきたい」という文化や思いが根付いています。なので「オープンに失敗事例を募る」というアクションに対し「ブランド毀損になるのでは？」という是非の議論は割愛できたのだと思います。

とはいえ、やはり悔しいものは、悔しかった。

それに実のところ、この時水面下では画像解析エンジンを刷新するプロジェクトが進んでいまして。もう、大詰めへとさしかかるところだったのです。

――「画像解析エンジンの刷新がすでに動いていた」とのお話、詳しくお聞かせください。

山口：まず、「あすけん」にAI画像解析機能が初めて実装された時にまで遡らせてください。それは私が入社する前、2016年のことでした。当時はまだ自社で高度なAIを開発するリソースも技術も不足していたので、外部の企業様が開発した画像認識技術をお借りする、という選択をしていました。

ただ長年運用する中で、外部エンジンを用いることによる構造的な限界も見えてきたのです。

例えば「麻婆豆腐」のような一般的な家庭料理であれば、問題はほとんどなかった。一方で、ユーザーさんから特にご要望が多い「市販食品」に対しては、対応が難しい部分がありました。

市販食品は毎日のように新商品が出たり入れ替わったりします。しかし私たちが「この新商品を識別できるようにしたい」と思っても、外部のエンジンを利用している都合上、即座に学習をさせモデルを更新するというサイクルを回すことができませんでした。

ですが、近年はAI技術の民主化が進み、私たちのような規模の会社でも自社でモデルを開発・運用することが現実的になりました。

ユーザーさんにより精度の高い画像解析機能を提供するために、自分たちで即座にAIへ学習をさせることができるエンジンをつくろうというプロジェクトが立ち上がったのです。私もその開発プロジェクトに、2023年から参画しました。

――とはいえ、新しく食事用の画像解析エンジンを構築するのは相当な労力だったのでは？

山口：ええ、苦労しました。例えば、学習データの用意。ただ数をこなせば良いわけではなく、「精度の確保」が非常に難しかったですね。 例えば、画像だけでは中身の判別が難しい料理などもあり、人の目でも迷うような微妙な違いをどうAIに教えるか。膨大な「量」をこなしながら、実用的な「質（精度）」をどう担保していくか。そのバランスを取る作業には、本当に頭を悩ませました。

そうした困難がありつつもようやく準備が整い、新エンジンへの乗り換えが目前となった、ちょうどその時。例の牛丼の誤認識をめぐる一連のできごとが起きました。

――そんなタイミングでのできごとだったのですね……。誤認識の一件を受けて、例えばより開発リソースを増やすなど、開発方針に変化はありましたか？

山口：いえ、アプローチ自体に大きな変更はありませんでした。

そもそも新エンジンプロジェクトのゴールは、「従来のエンジンより高い精度を出すこと」と定めていました。最初からそのゴールを目指していたため、果たすべきミッションは変わらなかったのです。

ただ、Xでの一連のできごとを受け、Xを通してユーザーさんから寄せられた「失敗事例」は、開発の大きな助けになりました。

「こういう条件で間違えるのか」「この食品はこう誤認されやすいのか」というナレッジが溜まり、アノテーション作業における正解データを作成する際のルール決めの際にとても参考になりました。

――そうして2024年12月、内製エンジンをリリースしました。当時の発表によれば、「解析速度が約182％向上した」とあります。ところが、そのわずか半年後の2025年5月には、生成AIを活用したエンジンをリリースしました。……これは、苦労してつくり上げた新エンジンから、またすぐに新しいエンジンへと切り換えた、ということでしょうか？

山口：はい。

というのも、新エンジンを実際にリリースした後、すぐに限界が見えてしまったのです。「リリースできた。では、今後これをどのように進化させていこう？」と考えたときに、人的リソースの壁に突き当たったんですね。

従来通りの「画像を集めて、人間が正解ラベルを貼り、学習させる」という改善サイクルを自社で回し続けるには、膨大なリソースが必要になります。新しいメニューが増えるたびに画像を収集し、タグ付け作業を延々と繰り返す……。このサイクルを維持するには、専属のオペレーションチームを設けるなど、想像以上の規模の人員が必要だとわかったんですね。実際に新エンジンへの切り替えを果たして、少人数の開発チームだけでそれをやり続けるのは持続性に乏しいと気づいた。

他方で、世の中の生成AI技術は急速に発展が進んでいます。いずれ破綻しかねない運用を続けるぐらいならば、「全てを人手で教え込む」のではなく「そもそも推論能力が高いマルチモーダル対応の生成AIに画像解析を任せた方が良い」と考えました。そこで私の方から上層部に提案し、検証期間を経て、生成AIを取り入れたエンジンの開発へと舵を切ることにしたのです。およそ2か月の急ピッチで、実装を進めました。

――新エンジンをやっとの思いでつくった直後でも、思い切った判断をしたのですね。ただ生成AIは高性能な反面、どうしても処理が重くなるイメージがあります。ユーザーの体感速度への影響などはなかったのでしょうか？

山口：そこは我々も最大の懸念点でした。従来の軽量な画像認識モデルに比べれば、純粋な処理速度はどうしても若干長くなってしまいますから。

そこで何度も検証と比較・検討を重ねるうちに、ユーザーさんからすると「数秒の遅れ」よりも「食事が正しく認識されないストレス」の方がずっと大きいこともわかってきたんですね。なので、2025年5月に生成AIを活用したエンジンの全展開に踏み切りました。結果として、検出できる料理の数は大きく増え、解析精度も従来比で25%向上し、総合的には以前より良い体験価値を提供できていると考えています。なお、SNSで話題になった牛丼の画像については、当社内で「牛丼」として正しく認識されていることを確認しました。

――「ユーザーの皆さんと一緒にあすけんをつくり上げていきたい」との考えが、組織に根付いているというお話もありました。そうしたマインドセットを共有する上で、取り組んでいることがあれば教えてください。

伊藤：例えば、私たちは「得られた学びを、より大きな次のサイクルへと繋げ、学び、考え抜き、やりきる」という意味を込めた「Learn, Think, Do,」や、社員同士で遠慮無しの議論を奨励する「”強い優しさ”で対話」といったキーワードを、社の「バリュー」として設定しています。

こうしたバリューは、決してただ単に「言葉」として掲げているものではありません。かなり力を入れて、組織への浸透を図っています。例えば、これらのバリューは2022年に策定したものなのですが、その際には全社横断の「組織強化委員会」というプロジェクトを立ち上げ、社員全員でのワークショップや経営層との議論などを経て決めました。さらに、中途入社者にも都度、個別でワークショップを行い、バリューの共有を徹底する取り組みを続けています。

――なぜそこまでして徹底を？

伊藤：私たちが扱っている「健康」や「食事」は、全員が自分ごととして捉えられる普遍的なテーマであり、社員1人1人それぞれの正解や考え方があるともいえるようなものです。

そのため、先に述べたような「失敗から学ぶ」「議論は遠慮抜きで」といった価値観を統一して持っておくことで、変化や衝突を恐れることなく、柔軟な意思決定と迅速なプロダクト改善が実現できる組織であろうとしています。

プロダクトを良くしていく上で、本来は個人の主観でブレやすい「健康」「食事」というテーマに組織としてどう向き合うか、という認識を統一するプロセスは、どれだけコストがかかっても決して省くことができないのです。

――ちなみに、牛丼の誤認識の一件が、そのミッションやバリューに影響を及ぼした部分はありますか？

伊藤：「ユーザーの皆さんと一緒にあすけんをつくり上げてきたい」という考え方や文化は従来から一貫しており、ミッションやバリューを変更する、といったことはありませんでした。

ですが、もしも一連のできごとが、結果的に「オープンにプロダクトを良くしていきたい」という我々の姿勢をユーザーさんに少しでもお見せできる機会になっていたとしたら、とても嬉しく思います。

――では最後に、今後の展望について聞かせてください。生成AIの活用によって精度は飛躍的に向上しましたが、誤認識を完全にゼロにするのは難しいというようなお話もありました。「食」の画像解析には、やはりまだ難しい課題が残っているのでしょうか？

山口：まだまだ、課題は山積みです。

そもそも、我々が改善をしなければならない「誤認識」という概念は、その定義からして曖昧な部分があるんですよ。

例えばですが、市販の飲料水Aの画像を撮影したのに、飲料水Bと判定してしまったら、これには「商品名」という明確な正解が存在する以上、完全な「誤認識」です。では、見た目が似ている飲食物の画像だった場合どうでしょうか？　たとえば、あるユーザーさんは、「カフェラテ」と認識していても、別のユーザーさんは、「カフェオレ」と認識していることがあります。見た目でだけでは、判断に迷うものが飲食物にはあります。

このように、食事という領域は、一律の正解ラベルを与えようにも、一意に決めるのが困難です。文脈によって正解が変わってしまう曖昧さにどう対応していくか、という挑戦が、これからも続いていくことでしょう。

ただ、生成AIの持つ文脈理解力を使えば、一緒に写真に映っている食事メニューをはじめ、前後の食事記録やユーザーさんの嗜好から、「その方にとっての正解」を個別に推測できるようになるかもしれません。このように、技術で解決できることは、まだまだたくさんあるはずです。これからも貪欲にあらゆる可能性を模索し、サービスの進化に貢献していけたらと考えています。

取材・執筆・編集：田村 今人
撮影：赤松 洋太