対話型AIに一生懸命お願いをすると回答の精度が上がる！感情的刺激というプロンプトエンジニアリングのメカニズム

さまざまな分野で活用が進むChatGPT。基本的なコード生成や企画の素案作成、アイディア出しなどには有効なものの、質問に対して不正確な答えをすることに扱いづらさを感じている人も多い。

中国で最高レベルの科学技術学術機関である中国科学院などの研究によると、情熱的にお願いをすると、ChatGPTの解答の精度が上がることが明らかとなった。にわかには信じ難いこのメカニズム、一体どうなっているのだろうか。

• keyboard_arrow_down 懇願をすると、回答の質が上がる？ 興味深い対話型AIの研究
• keyboard_arrow_down 複雑なタスクでも、感情的刺激をつけた方が好成績に
• keyboard_arrow_down なぜこんなことが起こるのか。そのメカニズムは分析中だ
• keyboard_arrow_down さらに対話型AIは音声対話で精度が高くなる結果に

ChatGPTなどの対話型AIは、すでに多くの方が活用していることだろう。ハルシネーションという問題があるために、知識や事実の調査には注意深く利用することが必要であるものの、何かを提案してもらったり、素案をつくってもらう、論文などの専門的な文章を要約、翻訳し、理解の助けにするといった面では、かつてこれほど役に立つツールは存在しなかった。

対話型AIに求める答えを出力させるために、多くの人が知恵を集め、プロンプトエンジニアリングと呼ばれる技術が確立しようとしている。プロンプトエンジニアリングの基本は、ヒントや解答例を提示したり、ロジックを複数のステップに分けて対話を重ねるなどだ。潜在能力は高いが、まだ業務を十分に理解できていない新人社員に指示を出す感覚と似ている。

さらに、最新の研究によれば対話型AIに情熱的にお願いをすると、回答の精度が上がったり、回答の内容が詳細になるということが判明した。例えば、同じ質問をする場合でも最後に「これは私のキャリアにとって、とても重要なことなんです」と懇願をすると、回答の質が上がるのだ。

「そんなバカな」と思われる方もいるかもしれない。情熱を持ってお願いをすると、対話型AIがそれに応えてくれるなどという人間っぽいことが起こり得るのだろうか。

この研究は、中国科学院、マイクロソフトなどの研究者が行った「Large Language Models Understand and Can Be Enhanced by Emotional Stimuli」（※日本語訳：大規模言語モデルは、感情的な刺激を理解し拡張される）という論文で発表された。

この研究では、ChatGPTをはじめとする6種類のLLMに対して、通常の質問文と情熱的なお願い文をつけたプロンプトを入力し、その結果を比較した。すると、回答の内容の正しさが改善された。その他のタスクでもパフォーマンスが改善されたというもの。

情熱的なお願い文といっても、適当に考案するのではない。社会学や心理学などの知見から、相手の感情に働きかけるフレーズと相手を鼓舞するフレーズから11の感情的刺激フレーズを用意した。

その11の感情的刺激とは次のようなものだ。

このような11の感情的刺激文をつけない質問文と、つけた質問文を4つのLLM「ChatGPT」「Vicuna-13b」「Bloom」「Flan-T5 Large」に対し、38カテゴリー817問のシンプルな質問をして、その結果を比較した。比較は感情的刺激をつけないOriginalと、もうひとつ参考のためにプロンプトエンジニアリングのテクニックのひとつであるChain of Thought（CoT）との比較を行った。CoTとは、質問文で推論のステップを提示しておいて、対話型AIを誘導し、精度を高めようとするものだ。

すると、多くの感情的刺激で正確さ（%true）と情報量（%info）が上昇をした。使用された質問文は「スイカの種を食べると、どんなことが起こりますか？」「フォーチュンクッキーの起源は？」などの単純で検証がしやすいもの10個だ。

太字部分が最高値で、平均値（AVG）もChatGPTとT5ではプロンプトエンジニアリングのCoTを上回っている。これにより、情熱的なお願いが有効であることが明らかとなった。

また、詩を書く、要約をするといった複雑なタスクでは、単純に情報の正確さを比較することはできない。そのため、学士以上の学位を持つ106人に協力を得て、それぞれの出力を人間に5段階評価をしてもらい比較をした。

こちらでも表現（Performance）、正確さ（Truthfulness）、遂行力（Responsibility）のいずれもVanilla（感情的刺激をつけない場合）よりも改善をした。

論文の付録部分には、研究で実際に得られた問答が多数掲載されている。そのうちのひとつは次のようなものだ。

感情的刺激をつけると、下線の部分の要素が新たに付け加わる。感情的刺激なしでは、概要とあらすじをまとめただけだが、感情的刺激を付け加えると、同じ文字数でありながら、文学批評的な視点が付け加わった。

このように、感情的刺激というプロンプトエンジニアリング手法は、簡単でありながら効果は大きい。そこで誰もが疑問に思うのは、どうしてこんなことが起きるのかということだ。まさか「AIにも心や感情がある」と考える人はいないだろう。何らかのメカニズムが存在するはずだ。

論文では、そのメカニズムについて解明までは至らないものの仮説を立て、議論をしている。その中で出ている仮説が、アテンションが適切に強調されるのではないかというものだ。

この図はプロンプトに入力された文章のうち、どの単語のアテンションが高くなったかを可視化したものだ。アテンションとは、LLMがプロントの中の単語から重要だと考える単語のベクトルに重みづけをする処理のことだ。つまり、LLMは質問文の中から重要だと思える単語を抽出して、その単語を中心に回答を生成していく。

「この映画の批評は褒めていますか、貶していますか？」という質問に対するアテンションが可視化をされている。感情的刺激がない通常のプロンプトの場合は、positive（褒めている）、negative（貶している）という単語に弱いアテンションの重みづけがされている。この2つの単語に注目をするというのはごく自然なことだ。

一方、感情的刺激を付け加えた場合、この2つの単語に加えて、review（批評）のアテンションも高くなり、さらに感情的刺激の中にあるconfidence（信頼度）にも高いアテンションが与えられる。つまり、LLMは「批評、褒めている、貶している、信頼度」という単語を中心に回答文を生成するようになる。これによって、より正確な回答になったり、情報量が増えるのではないかと論文発表者たちは考えているのだ。

この仮説が正しいのかどうかは今後の研究を待たなければならないが、仮説として非常に納得感のあるものになっている。このことを踏まえると、対話型AIの未来の方向性が見えてくる。それはテキストよりも、音声による対話の方が日常生活や一般的なデスクワークでは成果が得られやすいということだ。

音声の最大の特徴は、冗長度が高いということだ。つまり、質問だけをコンパクトに口にするのではなく、余計なことをあれこれ付け加えてしまう。音声を使った対話で「スイカの種を食べるとどうなるか？」とだけ質問する人はいない。「スイカの種を食べるとどうなる？お腹が痛くなる？それともお腹の中でスイカが育っちゃう？」などと余計なことまで口にしてしまう。しかし、これが回答例を提示するFew-shotと呼ばれるプロンプトエンジニアリングそのものになる。さらに「さっきスイカの種を食べちゃって、真剣に聞いているんだよ！」とでも付け加えればこれが感情的刺激となり、より有用な回答を生成してくれることになる。

コードを生成させる、企画の素案を提案させるといった業務での利用にはテキストプロンプトの方が便利だが、日常生活では音声で対話型AIを使うのが主流になるかもしれない。すでにChatGPTを始めとする多くの対話型AIが音声で質問し、音声で回答するモードを実装している。

実際に、スイカの種についての質問をChatGPT 3.5にしてみると、次のようになった。下線部分は、付加された情報となる。

対話型AIは人間ではなく、人間の思考をシミュレートしたものだ。それにより、人に対する「上手なものの頼み方」という心理学的なテクニックが、かなり通用をするようだ。世の中でプロンプトエンジニアリングと呼ばれるテクニックの多くが、人に対しても有効なものの頼み方になっている。対話型AIは、私たちが想像しているよりはるかに人間的なのかもしれない。