「Wikipediaっぽい記事」を自動生成できるAIシステム「STORM」　米スタンフォード大学が開発【研究紹介】

米スタンフォード大学に所属する研究者らが発表した論文「Assisting in Writing Wikipedia-like Articles From Scratch with Large Language Models」は、AIモデルを使い、Wikipedia風の記事を生成するシステムの開発に関する研究報告である。GitHubのリポジトリはこちら。

近年、大規模言語モデル（LLM）は文章生成タスクにおいて目覚ましい性能を示している。しかし、Wikipediaのような網羅的かつ内容の深さを備えた記事を一から生成することは、依然として挑戦的な課題である。記事の生成には、事前の調査やアウトラインの作成など、執筆前の段階における準備が重要な役割を果たすが、従来の研究ではこの点に着目したものは少ない。

この研究では、「STORM」と呼ばれる新しい記事生成システムを提案する。STORMは、Wikipedia記事の執筆準備段階における作業の自動化を目的としており、3つのステップから構成される。

まずは、関連記事分析による多様な視点の発見。STORMは、与えられた特定のトピックに関連している既存のWikipedia記事を分析することで、そのトピックを網羅的に捉えるための様々な観点を発見する。

次のステップは、書き手と専門家による対話のシミュレーション。STORMは、様々な観点を有したバーチャルの書き手と、インターネット上の信頼できる情報源に基づいた、そのトピックの専門家との対話をシミュレートする。この対話を通じて、トピックに関する詳細な情報が収集される。最後は、収集した情報に基づいたアウトラインの作成。STORMは、LLMの内部知識と、収集した情報を組み合わせ、記事のアウトラインを作成する。

STORMの評価のため、研究者らは最新かつ高品質なWikipedia記事からなる「FreshWikiデータセット」を構築した。さらに、生成されたアウトラインを、人間の手で作成された記事と比較するための評価基準を定義した。これにより、執筆準備段階の自動評価が可能になった。また、ベテランのWikipedia編集者10人を招き、STORMとベースライン（評価基準に用いるLLM）を比較する形で専門家評価を行った。その結果、STORMによって生成された記事は、ベースラインと比較して、構成面で25％、網羅性で10％優れていると評価された。

一方で、情報源の中に存在するバイアスが生成された記事に影響を与える、LLMが無関係な事実間のつながりを捏造するなど、課題も明らかになった。

Source and Image Credits: Shao, Yijia, et al. “Assisting in Writing Wikipedia-like Articles From Scratch with Large Language Models.” arXiv preprint arXiv:2402.14207 (2024).