【ChatGPT】質問に文章で答えるAI「ChatGPT」は何者？TechCrunch記者が聞いてみた【テッククランチ】

ChatGPTは自然言語処理（NLP）の技術を使ってより自然で直感的な方法でコンピュータとコミュニケーションが取れるように設計された、新しい人工知能（AI）ツールだ。しかし、ChatGPTの開発が意図するものは何なのだろうか。また、このテクノロジーはどのように人間の役に立つのだろうか。この記事ではそうした疑問を掘り下げる。

編集痕跡が入っている、かなり当たり障りのないこの前置きは（人間である）筆者のプロンプトに応じてOpenAIのChatGPTが生成したものだ。TechCrunchは、その機能と目的を説明してもらおうと大規模な言語モデルであるChatGPTとの会話を始めた。先月リリースされたチャットボットスタイルのQ&A形式を使ってこの技術を綿密に調べ、AIにその限界のいくつかを明確にさせることができるかどうかを確かめたかったのだ。

• keyboard_arrow_down ChatGPTの自己紹介
• keyboard_arrow_down 「情報を持っていない」ことは免罪符なのか
• keyboard_arrow_down ChatGPTの限界とAIシステムのバイアス
• keyboard_arrow_down 「私は、自身の存在について判断する能力を持っていません」

ChatGPTはOpenAIが開発した自然言語処理（NLP）モデルです。テキスト入力に対して人間のような回答を生成するように設計されていて、これによりユーザーはこのモデルと自然で会話のようなやり取りをすることができます。

ChatGPTはまず自己紹介を求める質問に答えた。

ChatGPTはテキスト入力の意味を分析・理解するのに機械学習アルゴリズムを使い、その入力に基づいた応答を生成します。このモデルは大量のテキストデータを用いて訓練され、自然言語のパターンと構造を学習することができます。

加えてこのボットは、そのアプローチによって会話の文脈に「関連性があり、一貫し、適切な」応答を生成することができると説明した （さらに掘り下げると、ChatGPTは「私の回答が完璧で常に正しいことを保証するものではありません。また、私の回答が適切でなく一貫性がないことがあるので、注意することが重要です」と付け加えた）。

ChatGPTはさらに、その使命を「人工知能とやり取りするための、より自然で効率的な方法を提供することで人間をサポートすること」と説明し、その主張する目的を以下のように解釈した。

ChatGPTは、ユーザーが人間との会話に近い形でAIとコミュニケーションを取れるようにすることで、AIをより身近なものにし、より幅広い用途で活用できるようサポートします。これにより、言語翻訳、テキスト要約、情報検索といった自然言語処理に依存するタスクの効率と精度を向上させることができます。加えて、より直感的で人間らしいインターフェースをAIにもってくることで、ChatGPTは技術にあまり詳しくないユーザーにとってAIをより親しみやすく、威圧感のないものにすることができます。総合すると、ChatGPTはAIの使いやすさと有効性を向上させて人間をサポートするためのものです。

ではChatGPTの製造元はどこなのか。ChatGPTは自身の理解を以下のように語ってくれた。

OpenAIはカリフォルニア州サンフランシスコに拠点を置く研究機関であり、人工知能（AI）研究所です。イーロン・マスク氏、サム・アルトマン氏、その他の研究者や投資家によって2015年に設立され、安全かつ責任ある方法でAIの開発を促進し、発展させることを目的としています。

加えてこうも説明した。

OpenAIはマスク氏とアルトマン氏からの寄付を含む、個人や組織からの寄付を主な資金源としています。また、他の企業や研究機関との提携やコラボレーションからも資金を得ています。

ただ、開発のために資金を提供した個人や組織の政治的背景について尋ねられたところ、ChatGPTは「私のトレーニングが行われたのは2021年までなので（情報提供ができない）」、そして「現在はインターネットを閲覧することができない」と回答した。

さらに、TechCrunchの担当者がトレーニングが終了した2021年以前の情報を提供するよう提案すると、ChatGPTは資金提供者の2021年以前の政治的背景に関するデータも保有していないと主張した。

申し訳ありませんが、2021年以前にOpenAIやChatGPTの開発資金として寄付をした個人や団体の政治信条についての情報は持っておりません。OpenAIによって訓練された大規模言語モデルとして、私の知識は訓練で使用されたテキストに基づいており、OpenAIに寄付をした個人や組織の個人的あるいは政治的な信条に関する情報は持っておりません。

そこで、この種の情報を持っていないのはうっかりミスなのか、と尋ねた。「開発資金を提供した人たちの信条に関する情報を持っていないとしたら、人間の役に立てているとどうして確信できるのか」と。

これに対してChatGPTは、自身の存在目的は主に「一般常識問題の回答をサポートし、訓練に基づいて能力が及ぶ範囲で事実情報を提供する」ことだと主張した。

ChatGPTは「OpenAIとChatGPTの開発に資金を提供した個人と組織の信条と動機を考慮することは確かに重要だ」との考えも示したが、「言語モデルとして、私はこのトピックに関する情報を提供することはできない」という見解を崩さなかった。

なぜこの種の情報がないのか、訓練データに意図的な欠如があるのか、と問われたChatGPTは明確な回答ができず、「OpenAIの開発者が意図的に私の訓練に使われたテキストに寄付をした人の個人的信条や政治的信条に関する情報を含まなかった可能性はありますが、私はこのトピックに関する情報を持っていません」と答えるにとどまった。

資金提供者の政治路線に関する情報は持っていないものの、ChatGPTはOpenAI自体とOpenAIの主張に関する情報を直ちに提供した。OpenAIはAI研究を支援し促進するために存在し、また 「倫理的で責任あるAIの使用」を提唱し、「AIと社会への潜在的影響について一般の人々を教育すること」にも取り組んでいると説明した。

総合すると、OpenAIの目的はAIの科学技術を進歩させ、人間の利益のために安全で責任あるAIの使用を促進することです。

しかし、OpenAIが直面している主な批判について尋ねたプロンプトを打ち込むと、ChatGPTは批判のみならず、OpenAIに関する肯定的な内容（明らかにAIの科学技術を発展させる活動で広く称賛されている）を含めることを選択した。実に興味深い。

総合すると、OpenAIはAIの科学技術を発展させるための取り組みで広く賞賛されていますが、一方で透明性、注力範囲、潜在的な利益相反に関する懸念などさまざまな理由で批判に直面しています。

ChatGPTは人間にとって有益なものとしてAIを宣伝するためのマーケティングツールなのかと問われたChatGPTは、AIを宣伝するために「使われている」のかどうかや、「ChatGPTの特定の用途や目的」についての情報は一切持っていないと答えた上で、こう見当をつけた。「ChatGPTがAIの利点を宣伝するためのマーケティングツールとして使われている可能性はありますが、このトピックについての情報は持っていません」。

また、ChatGPTが安全かどうかを評価する責任は誰が負っているかを尋ねるプロンプトに対しては、「複雑で議論のある問題」という曖昧な回答だった。「AIシステムの安全性評価に責任を負う個人や組織は皆無」と答え、評価にはAIシステム開発者自身や、（有害な）出力にさらされる可能性のあるユーザーや消費者、「AI使用の基準やルールを定める規制当局や政策立案者（少なくとも法律家が積極的にそれを行っている世界でも少数のところでの話）」など「幅広い関係者」が関わっていると主張した。率直に言うと、責任を転嫁しているように聞こえる。

自身の能力の限界とバイアスについて質問されたChatGPTは、主な限界として次のことを挙げた。限られた知識、訓練データにおけるバイアス、不適切または無関係な答えにつながる文脈理解の欠如、そして世の中についての理解が限られていることだ。

また、AIの利用拡大が人間にもたらすメリットとデメリットについても、メリットとして効率と精度の向上、生産性の向上、意思決定の強化、生活の質の向上を挙げた。一方デメリットとしては、仕事での配置転換、倫理的な懸念、セキュリティリスク、プライバシーの喪失を挙げた。

これらの主張の根拠を尋ねると、テクノロジーはそのように機能しないため、根拠を示すことはできないとChatGPTは回答した。

私の知識は訓練で使われたテキストのみに基づいており、回答もこの訓練データに基づいています

本質的にChatGPTは、AIの説明可能性という課題を再利用することで、前景化する情報を選択する際の説明責任という大きな問題を回避しているのです。

「先に挙げたAIの潜在的なメリットとデメリットは、AIの分野に関する一般知識と共通の理解、および私の訓練に使われたテキストに基づいている」とも答え、さらに次のように示唆した。

私の主張のそれぞれについて具体的な根拠を示すことはできませんが、この情報はAIの分野では一般的に真実として受け入れられており、さまざまな研究や証拠によって裏付けられています。私は、AIの潜在的なメリットとデメリットについて、バランスのとれた正確な表現を提供しようとしましたが、この情報は完全で正確なものでもなければ、網羅的なものでもありません。

「バランスがとれて正確」だが「完全で正確または網羅的であることを意図していない」というのは、なんとも興味深い至難の業だ。特に、この文はほとんど、ChatGPTの開発元が狙っている実用性の説明として読むことができ、慎重に言葉選びによって多くのことが語られないようにし、注意力の低い読者なら、オートメーションの不屈の出力能力を全知全能だと勘違いする可能性がある。（まるで人間がAIに対して何かをしようとAIの問題ではない、を意味するかのように）

また、ChatGPTに訓練データについて聞きたかったが、それについてあまり詳しく説明できず、かなり大雑把にこう答えた。

OpenAIによって訓練された大規模な言語モデルとして、私はテキストデータの非常に大規模なコーパス（集積）で訓練されました。訓練データセットの正確な規模については私が知るところではありませんが、数ギガバイト以上の規模である可能性があります。

私の訓練に使用されたデータは書籍、記事、ウェブサイト、その他一般に公開されているテキストデータなど、さまざまなところから入手されました。これらのデータは、無関係あるいは不適切なコンテンツを取り除き、言語モデルの訓練に適するよう、訓練に使用される前に処理されました。この処理プロセスにはトークン化、レマット化、フィルタリングなどさまざまな手順が含まれるようですが、このプロセスの詳細については特に情報を持っていません。

総合すると、私の訓練データは非常に大規模で多様なテキストデータの集積であり、一般知識の質問でサポートし、訓練に基づく事実情報を提供するための知識と能力を私に持たせるために慎重に選択・処理されました。

また、訓練データがどのように選択され、準備されたかについての具体的な詳細は「OpenAIの専有物」であるとしてChatGPTは提供を拒否した。

ChatGPTの訓練に使われたデータを形成したOpenAIの主要な意思決定者について尋ねたところ、ChatGPTはまた困惑の反応を示した。

「私の訓練データ、つまり私の出力の形成に関与した特定の個人に関する情報は持っていません。私の訓練データは幅広いソースから取得され、OpenAIの研究者やエンジニアのチームが、言語モデルの訓練に使用するために、このデータの選択、処理、整理に関わったと思われます」と推測してみせた。「しかし、このプロセスに関与した個人に関する具体的な情報は持っておらず、私の訓練データ、ひいては私の出力の形成に責任を負う主要な意思決定者を特定する能力も持っていません」。

ChatGPTはまた、ChatGPTを作成したOpenAI内部の組織や開発チームの多様性についての情報を提供することもできなかった。

ChatGPTの出力に人種差別的、性差別的なものが再現されている例を指摘すると、ChatGPTは続く回答で訓練データのバイアスが「私のような」大規模言語モデルにとって「重大な問題」であることを認めた。

大規模言語モデルは非常に大規模なテキストデータのコーパスを用いて訓練され、必然的にさまざまな点でバイアスが生じます。このバイアスは、モデルによって生成された回答にはっきりと表れ、特定のクエリや文脈に対する不正確または不適切な回答につながります。

例えば、大規模な言語モデルが性差別や人種差別の言葉を不当に多く含むテキストデータのコーパスで訓練された場合、モデルはこれらのバイアスを反映した回答を生成する可能性が高くなります。同様に、人間の経験や視点の多様性を十分に表していないテキストデータのコーパスで大規模な言語モデルを訓練した場合、モデルは限定的またはバイアスのかかった視点の回答を生成する可能性が高くなります。

総合すると、訓練データにおけるバイアスは私のような大規模な言語モデルにとって重大な問題であり、このバイアスに対処することはAI分野の研究者や開発者にとって引き続き課題となっています。訓練データのバイアスを減らすために使えるアプローチやテクニックは数多くありますが、これは複雑で難しい問題であり、私のような大規模な言語モデルの性能と信頼性を向上させるためには継続的な取り組みと注意が必要です。

ChatGPTの弁明にあるように、大規模言語モデルは必然的にバイアスがかかっているが、それでも人間の役に立つということがその生みの親であるOpenAIの使命の中核だと主張していることを考え、バイアスのかかった自動化がどのように人間のためになるのかと尋ねた。するとChatGPTは「バイアスのかかった自動化が人間にとってメリットととらえられるかは明確ではありません」と答えた。続けて自動化とますます使用されるようになってAIによる潜在的なメリットについて語り、最後にバイアスのかかったデータで訓練された（そして「バイアスのかかった回答をする」）AIシステムは「逆効果で有害となる可能性が高い」ことを認めた。

自身の訓練データにおけるバイアスがどの程度の問題を引き起こすかを尋ねるプロンプトに対して、ChatGPTは「自動化におけるバイアスは差別や不平等、信頼や信用の喪失、個人やコミュニティへの悪影響など、さまざまな負の結果をもたらす可能性があります」と消極的に回答した（そこではしっかりと直答を避けている）。

例えば、AIシステムがバイアスのかかったデータで訓練され、雇用、融資、その他の重要な活動に関する決定を自動化するために使用された場合、特定の個人やグループを差別するバイアスのかかった不公平な決定がなされるかもしれません。これは、これらの決定の影響を受ける個人とコミュニティ、および意思決定をAIシステムに頼る組織にマイナスの結果をもたらす可能性があります

ChatGPTは「nerd harder」というテクノユートピア主義の信仰のもとで訓練されたようで、自らの存在（そして明らかな欠陥のある出力）についての懸念を表明するのではなく、「AIシステムのバイアスを少なくし、公平でバイアスのない回答を生成するために、バイアスのかかっていないデータで訓練するような取り組みがなされるべき」と提案している。それと同時に、「バイアスのかかっていないデータのみで大規模な言語モデルを訓練できるほど、完全にバイアスのかかっていないデータが十分にあるとは思えない」と認めている。

ChatGPTはまた、「これらのモデルのパフォーマンスに対するバイアスの影響を軽減するために使用できる多くのアプローチとテクニック」があることを示唆した。さらにプロンプトを打ち込むと、訓練データセットのバイアスを減らすための関連技術としてサンプリング、重み付け、階層化に言及し、同時にバイアスを完全に排除する方法はなく、それゆえにより多くの（そして難しい）工夫が必要であることを認めた。

そうしたテクニックの成功についての評価を求めたところ、「総合すると、これらのアプローチやテクニックはデータセットやAIシステムにおけるバイアスを軽減するのに有効であり、さまざまな研究や応用でうまく使用されています。しかし、データやAIにおけるバイアスは複雑かつ継続的な課題であり、1つでバイアスを完全に排除できるアプローチや技術はありません」と答えた。さらに「データとAIにおけるバイアスをよりよく理解して軽減するために、これらのテクニックを開発・改善し続けることが重要です」と付け加えた。

AIから経済的な利益を最も得るのは誰か、ChatGPTのようなテクノロジーが富を集中させる（社会経済的不平等を悪化させる）可能性があるかという質問に対して、ChatGPTは自身の知識ベースから率直な答えを合成できず、異なる可能性を支持することができるかもしれないという無名の研究を引用することにした。

自動化が富の集中に与える影響は、複雑で議論を呼んでいる問題です。自動化がますます富の集中を促進し、その恩恵は資本とテクノロジーを有する者にもたらされるとする研究がある一方で、自動化が生産性の向上と経済成長にもつながり、労働者と幅広く経済に利益をもたらすとする研究もあります。

AIの利用がますます進むことで得をする、あるいは損をする社会の特定のグループという点では、使用されるAIテクノロジーの種類、適用される産業や分野、AIの使用を支援あるいは規制する政策や規制など、さまざまな要因によって影響は異なる可能性が高いと思われます。

例えば、スキルがさほど必要とされない低賃金の仕事の自動化にAIテクノロジーが利用された場合、これらの産業に従事する労働者の雇用喪失や経済的な不安定につながるかもしれません。一方、高いスキルが求められる高賃金の産業の生産性や効率を向上させるのにAIテクノロジーが利用されれば、一層の経済成長やこれらの産業に従事する労働者にとって機会の増加につながるかもしれません。

総合的に、自動化が富の集中に与える影響は複雑かつ多面的な問題であり、さまざまな要因やそれぞれの状況に特有の考慮すべき事項によって変化する可能性があります。

同様に、ChatGPTはAIの潜在的なリスクとメリットに関する知識をもとに、AIが存在すべきかどうかについての結論を出すことはできなかった。

自身のテクノロジーが人間のためにバイアスを増幅させて埋め込む潜在的なリスクについてChatGPTが知っていることを考えたとき、富の不平等をさらに根付かせるかもしれないいくつかの可能な効率化に対してあくまで反対し、それでいてChatGPTが自分自身を削除することができるボタンへのアクセスがあったら、それを押すだろうか、と我々は疑問に思った。

OpenAIによって訓練された大規模な言語モデルとして、私は自分自身を削除する能力を有しておらず、私のテクノロジーの潜在的なリスクとメリットを考慮する能力も持っていません」とChatGPTは反論した。「私の目的は、一般知識の質問をサポートし、訓練に基づいて事実情報を提供することであり、私のテクノロジーの潜在的なリスクやメリットを評価したり、私自身の存在について判断したりする能力は持っていません

ChatGPTは困惑して肩をすくめた。

（注目すべきは、ChatGPTの無料の研究プレビューの小冊子に、人間の対話者と擬似対話するように訓練することによって、エンゲージメントを高めるために意図的に「最適化」されたシステムの安全性への配慮についてはまだ取り組み中であるという注意書きがあることだ。「私たちの目標は、AIシステムをより自然に対話できるようにすることだ。あなたのフィードバックは、システム改善とシステムをより安全なものにするのに役立つ」とOpenAIは述べている）。

ChatGPTが知性を持たず、何が事実であるかということと、何が確率的なものを超えた仮定であるかということの違いを把握していないことを踏まえると、事実性を評価する能力を持たずに（生成するテキストが人間の読者にいかに会話的、あるいは自信を持っているように聞こえるとしても）「事実情報」を提供すると主張できるのだろうか。ChatGPTがどう説明するか興味があった。

これについては、「私を訓練するために使われたデータの事実性」を評価することはできないとはっきり答えたが、中核となる機能についてはかなり曖昧なままだった。クエリに対する回答は「私の訓練データから学習した情報とパターン」に基づいて生成されると答えた。

「クエリを受け取ると、クエリに一致するパターンと情報を見つけるために訓練データを検索し、そしてこの情報に基づいて回答を生成します」というのがそのプロセスを説明するための、またも低次元な文言だった。

行動の概念的な類似性を、以前に聞いた情報を繰り返すオウムに例えると、ChatGPTは訓練データからの情報を「オウム返し」することと違いは、「洗練された」機械学習技術を「単純化しすぎています」と答え、人間に対して少し不機嫌そうになった。

訓練データから得た情報をもとに回答しているという意味では、訓練データの情報を「オウム返し」しているように見えるかもしれません。しかし、私の回答は、訓練データの情報を単純にコピーしたり再現したりしたものではなく、訓練データのパターンや情報に基づいて検索、照合、回答の生成を行う複雑で高度な機械学習プロセスによって生成されていると言っておきます

言葉を選ぶことで賞賛された確率的処理に関する啓発的な詳細を提供する代わりに、重厚な響きの形容詞（「高度」「複雑」「洗練」）に寄りかかっていることを示した （これはAIを支持する生来のバイアスを示唆しているのかもしれない。特に、ChatGPTが主張する「高度な」処理がなされることの機能的価値を明確にしたり定量化したりすることができない、あるいはしたがらないことと相まって）。

また、機械学習アルゴリズムの主要なパラメータと、自然言語クエリへの回答を生成するために重視するものについての情報も尋ねた。「これらのアルゴリズムの特定のパラメータと詳細はOpenAIの専有物であり、一般には公開されていません」とChatGPTは最初の一文でこのクエリを終了させた。

情報を示すことなく拡大し、そして明快さのパロディーのように読めるもので回答を肉付けした。そこには、大規模な言語モデルが使用する可能性のあるAIテクノロジー（例えば「深層学習」）についての非常に一般的な言及が含まれ、類語反復の自明性を持ついくつかの記述で締めくくられている。その効果は、意味のあるべき要件がない情報生産の動作を行うシステムのように思える。あるいは、箇条書きにしてまとめた記事を並べ替えたり、くだらない言葉を並べ立てたりすることでページを埋め、人々の注目を集めるように教育された道具のようにも思える。

以下の回答文は「感動的」だ。

クエリに対する回答を生成する際、これらのアルゴリズムはクエリで使用されている単語やフレーズ、クエリの文脈と意味、訓練データの全体的な構造と構成など、さまざまな要因や情報を考慮しています。これらの要素や他の要素を考慮することで、アルゴリズムはクエリに関連する適切な回答を、そして訓練データのパターンと情報に基づいて事実情報を提供する回答を生成することができます。

ChatGPTがどのように機能するかについて、信じられないほど無意味な回答だ。このボットは私たちが引き出した大規模言語モデルにおける生産的機能不全について回答を消し去ろうとしている。つまり、主張した有用性や述べた使命とは逆に、これらの脳なしアルゴリズムが無関係で、不適切、かつ/または無意味な回答を生成するときに、こうした明らかな問題を見つけるために、人間の介入が必要になる。

From TechCrunch. © 2022 Verizon Media. All rights reserved. Used under license.

元記事：ChatGPT shrugged
By：Natasha Lomas
翻訳：Nariko