生成型AIの未来を司る「アクティブラーニング」.その活用方法を解説【テッククランチ】

この半年間、我々は人工知能（AI）分野で驚くべき発展を目の当たりにしてきた。Stable Diffusionの公開はアートの世界を大きく変え、ChatGPT-3は作詞、研究論文を模した執筆、よくグーグル検索される質問に対する完璧で一見知的な回答の提供といった能力で、インターネットの世界を揺るがした。

生成型AIのこうした進歩は我々がAI革命の始まりに立ち会っていることを示すさらなる証拠だ。

だが、これらの生成型AIモデルのほとんどは基礎的なものだ。膨大な量のデータで学習する大容量の教師なし学習システムであり、実行するためにはかなり金がかかる処理能力を要する。現在、こうしたモデルを構築できるのは膨大な画像処理チップ（GPU）の力を利用できる資金力のある機関だけだ。

テクノロジーの普及を牽引するアプリケーション層AIを開発している企業の大半は、ラベル付けされた学習データを大量に使用している「教師あり学習」に依然として依存している。基礎となるモデルの素晴らしい成果にもかかわらず、我々はまだAI革命の初期段階におり、数多くの障害にアプリケーション層AIの普及が妨げられている。

よく知られているデータラベリング問題の下流には、後期AIの開発と本番環境への展開を妨げるさらなるデータのボトルネックが存在する。

このような問題があるからこそ、初期の期待や投資の殺到にもかかわらず自動運転車のような技術は2014年以降、もう少しという状態に留まっている。

これらのエキサイティングな概念実証モデルは、研究環境ではベンチマークされたデータセットで良好な性能を発揮するが、実世界で公開されると正確に予測するのに苦労する。一番の問題は、この技術が一か八かの本番環境で求められる高い性能レベルを満たすのに苦労し、安定性、信頼性、保守性などの重要なベンチマークを達成できないことだ。

例えば、これらのモデルは外れ値やエッジケースを処理できないことが多く、自動運転車は自転車の映像を自転車そのものと誤って認識する。また、ロボットのバリスタが5回に2回は完璧なカプチーノをつくれても、残りの3回はカップからこぼしてしまうように、信頼性や安定性に欠ける。

その結果、AIの生産格差、つまり「きちんとしてたもの」と「役に立つもの」の差は機械学習（ML）エンジニアが当初予想したよりもはるかに大きく、手ごわいものとなった。

意外なことに、優れたシステムは人間の介入を最も多く含む。

幸い、ますます多くのMLエンジニアがAI開発において、データ中心のアプローチを採用するようになり、アクティブラーニング戦略を導入する例が増えている。先をいく企業はこの技術を活用してAIの生産格差を跳び越え、より早く実世界で実行できるモデルを構築するだろう。

• keyboard_arrow_down アクティブラーニングとは
• keyboard_arrow_down 新興企業がアクティブラーニング活用の準備をすべき理由
• keyboard_arrow_down アクティブラーニングを活用するための最善の方法

アクティブラーニングは、教師ありモデルの学習プロセスを繰り返し行うものである。モデルは大規模なデータセットからラベル付けされたデータの初期サブセットで学習する。その後、学習した内容に基づいて、残りのラベル付けなしデータに対して予測を試みる。MLエンジニアはモデルの予測がどの程度確かなものかを評価し、さまざまな取得機能を使用してラベル付けのないサンプルの1つにアノテーションを付けることで、得られる性能上の利点を定量化することができる。

予測に不確実性を持たせることで、モデルはどのような追加のデータが学習に最も有効かを自ら決定する。そうする中で、モデルはアノテーターに特定のタイプのデータのみの例をより多く提供するよう依頼し、次の学習ラウンドでそのサブセットに対してより集中的に学習を行うことができるようになる。例えるなら、どういう知識が不足しているかを把握するために、生徒に小テストを行うようなものだ。どの点が弱いかがわかれば、教科書や説明資料などを提供することができる。そうすると生徒はその教科の特定のポイントをより理解するために学習の目標を絞ることができる。

アクティブラーニングによって、モデルの学習は直線的なプロセスから強力なフィードバックループを持つ循環的なプロセスに移行する。

アクティブラーニングは試作と生産のギャップを埋め、モデルの信頼性を高めるための基礎だ。

AIシステムを、ソフトウェアの静的部分と考えるのはよくある間違いだが、これらのシステムは常に学習し、進化しなければならない。そうしなければ同じ失敗を繰り返したり、公開されたときに新しいシナリオに遭遇して新たな失敗をしたり、そこから学ぶ機会がなかったりする。人間のように過去の失敗をもとに修正しながら時間をかけて学習していく能力が必要だ。そうでなければ、モデルの信頼性や細部における安定性に問題が生じ、AIシステムは永続的に機能しないだろう。

ディープラーニングを使って実世界の問題を解決しようとする企業の大半は、アクティブラーニングを自社のスタックに組み込む必要がある。さもなければ、競合他社に遅れをとることになる。アクティブラーニングを取り入れていないモデルはあり得るシナリオの変化に対応することも、そこから学ぶこともできない。

だが、アクティブラーニングを取り入れることは、言うは易く行うは難しだ。長年ツールやインフラが不足していたため、アクティブラーニングの促進は困難だった。データに関するモデルの性能向上の対策を取り始めた企業は外部のツールを寄せ集めたり社内でツールを構築したりと、つぎはぎだらけのアプローチを取らざるを得なかった。

その結果、モデル学習のための統合された包括的なシステムがない。代わりに、互いにやり取りできないブロックのようなモジュール化されたプロセスがある。このような場合、分解可能なコンポーネントで構成され、各プロセスが進むにつれて互いにやり取りし、反復的なフィードバックループを作り出す柔軟なシステムが必要だ。

しかしアクティブラーニングを導入して大きな効果を上げている企業もあり、そこから学ぶこともできる。まだアクティブラーニングを導入していない企業も導入を準備し、最大限に活用するためにできるいくつかのことがある。

アクティブラーニングの絶対的基準は、完全に反復的なパイプラインであるスタックだ。すべてのコンポーネントは下流モデルの性能を最適化することを考慮して実行される。データの選択、アノテーション、レビュー、学習、検証は切り離されたユニットとしてではなく、統合されたロジックで行われる。

意外にも優れたシステムは人間とのやり取りが多い。各サブプロセス内に人間が介入するためのエントリーポイントを設けることで、反復的なモデル改良のループに人間を含めている一方で、うまくいっているときは完全に自動化されたフローにするオプションも維持している。

そのため、新興企業は反復的で細やか、そして点検したり自動化したりでき、かつ一貫性のあるスタックを有している。

アクティブラーニングを活用したニューラルネットワークを構築しようとしている企業は将来を見据えながらスタックを構築すべきだ。このようなMLチームは自分たちが直面する問題のタイプを予測し、自分たちのモデルを実際に運用しようとするときに出くわしそうな問題を理解する必要がある。どんなエッジケースに遭遇するのか、モデルがどのような理不尽な動きをする可能性があるのか、などだ。

MLチームがこのようなシナリオを考えなければ、モデルは必然的に人間が決してしないような間違いを犯すことになる。このようなミスは企業にとって非常に恥ずかしいものであり、人間の行動や直感とあまりにずれているため、本来ならかなり罰せられるはずだ。

幸い、このゲームに参入したばかりの企業にとっては、生みの壁を突破した企業から得られるノウハウや知識が今やいくらでもある。MLチームは概念実証から生産に移行する際に同じような問題に直面する可能性が高いため、先行している企業を研究することで今後直面する問題についてより楽に備えることができる。

あるかを性能指標のスコアを超えて考えるというものがある。そのモデルが実際にいかに動作し、どのようなデータやシナリオに遭遇するかを考えることで、MLチームは生産段階で発生しうる問題の種類をより明確に理解することができる。

最後に、企業はアクティブラーニングと学習データのパイプラインをサポートするために利用できるツールを把握し、理解する必要がある。5、6年前、企業は社内でインフラを構築し、その社内ツールと不完全な外部ツールを組み合わせなければならなかった。最近はすべての企業が社内で何かを構築する前に考える必要がある。新しいツールはかなりの勢いで開発されており、時間とコストを節約しながら、その一方で維持に社内のリソースを必要としないツールがすでに存在する可能性がある。

アクティブラーニングはまだかなり初期の段階にある。しかしアクティブラーニング活用に関心を示す企業が月を追うごとに増えている。最も先をいく企業はその力を活用するためのインフラ、ツール、計画を導入していくだろう。

From TechCrunch. © 2023 Verizon Media. All rights reserved. Used under license.

元記事：Active learning is the future of generative AI: Here’s how to leverage it
By：Eric Landau
翻訳：Nariko