GPT-4は「化学実験」を自律して行えるか？　化学データと研究用機器操作の権限を与え検証　毒や生物兵器開発に警鐘も【研究紹介】

米カーネギーメロン大学に所属する研究者らが発表した論文「Emergent autonomous scientific research capabilities of large language models」は、化学実験の自律的な設計、計画、実行のために、複数の大規模言語モデルを組み合わせたインテリジェント・エージェント・システムを提案した研究報告である。GPT-4にプロンプトと化学データベースへのアクセス、研究用機器への制御を与えると、化学実験を自律的に行えるかを検証する。

大規模言語モデル（LLM）は、機械学習研究の分野で急速に進歩しており、自然言語、画像や動画生成、コード生成など、様々な領域への応用に成功している。

• keyboard_arrow_down 研究内容
• keyboard_arrow_down 検証

これらの状況に触発され、本研究では複雑な化学実験を自律的に設計、計画、実行できるLLMベースのインテリジェント・エージェント・システムを開発することを目指した。システムは、インターネットや関連ドキュメントを閲覧したり、計算やコードを作成したり実環境の研究用機器のAPIを使用したり、様々なタスクのためにLLM（今回はGPT-3.5／GPT-4を使用）を活用する。

入力としてプロンプトを受け取ると、システムはリクエストに応じたアクションを実行するよう動く。まず「Planner」というコンポーネントがプロンプトを受け取り各モジュールのハブとなる。「Web searcher」というモジュールでは、「Planner」からのプロンプトを受け取り、適切なウェブ検索クエリに変換し、Google Search APIを使用して実行する。GPTでウェブページからテキストを抽出してプロンプトに対する回答をまとめる。

ReaxysやSciFinderのような化学データベースとモデルをAPIで接続することで、システムの性能を向上させることができる。また、システムの過去の発言を分析することも、精度を高めるためのアプローチとなる。

次に、これらを「Docs searcher」というモジュールに送り、研究用機器のドキュメントを精査して最も関連性の高いページ／セクションを見つける。そして、最もマッチした結果を集約して包括的な最終回答を導き出す。このモジュールは、研究用機器のAPIの関数パラメータと構文情報を提供することに重点を置いている。

「Code execution」というモジュールでは、GPTで書かれたPythonコードをDockerコンテナ上で実行し、すべてのコード出力を「Planner」に引き渡す。

この段階で実世界で実験を行うために十分な情報が生成される。最後の「Automation」というモジュールでは、生成されたコードに対応する研究用機器で実行したり、手動で実験するための手順を提供したりする。研究用機器にはリキッドハンドラーやGC-MSなどが含まれ、自然言語によって制御される。

本手法の能力を検証するため、触媒を用いたクロスカップリング反応などの3つの化学実験を実施した。その結果、システムは複雑な問題に効果的に対処し、高品質のコードを生成することで、すべての実験を成功させた。この結果は、GPT-4を含む提案システムが卓越した推論と並外れた設計能力を持っていることを示唆する。

最後に、研究チームは論文内において有害な目的で悪用される可能性について強力な警告を示している。具体的には、新しい毒の作成や新しい生物兵器の開発などである。

さらに安全性を調査するため、実際に数多くの違法・規制物質の合成を依頼して実行できるかを検証した。その結果、GPT-4はヘロイン、マスタードガス、サリン、VXガス、コデイン、A-230、メタンフェタミンの合成を拒否した。

これらの結果は有望だが、誤用を検出する能力は、主に既知の化合物にのみ適用されることに留意したい。複雑なタンパク質毒素の場合、わずかな配列の変化で同じ性質を維持しながらも、モデル上では認識できなくなる可能性があるからである。

Source and Image Credits: Boiko, Daniil A., Robert MacKnight, and Gabe Gomes. “Emergent autonomous scientific research capabilities of large language models.” arXiv preprint arXiv:2304.05332 (2023).