ChatGPTはなぜ間違える?答えを確かめる方法

ChatGPTはなぜ間違える?答えを確かめる方法

仕事の調べものを手伝ってもらったら、著者名も年もページ数もそろった、きれいな答えが返ってきた。その出典を探したら、存在しない。本も、著者も。あるいは計算のほうだったかもしれません。AIが六つの金額を足して、電卓を手にしている人と同じ自信で、間違った合計を出してくる。もし心当たりがあっても、それはあなたの頼み方が下手だったからではありません。

間違えることはこの技術の仕組みの一部で、その理由がわかると、答えの扱い方が変わります。このレッスンでは、いつも出てくる五種類の間違い、なぜそこまで確信をもって出典を作り出すのか、確認が省けない場面、そしてほとんどを拾える三十秒のルーティンを見ていきます。読了まで9分ほど。いちばん大事なのは真ん中の部分、間違いに見えない間違いです。

黄金律:AIは知らない、見積もっている

コースの第1回は、その仕組みを一文にまとめています。ここでもう一度出しておきます。人工知能は知らない、見積もっている。中に百科事典がしまってあるわけではありません。あなたが書いた文章の続きとして最もありそうなものを、これまで読んだすべてをもとに、少しずつ計算しているだけです。

これで、矛盾に見えることの説明がつきます。ありふれたことは正確に当て、珍しいことでは滑る。ありふれたことは学習材料に何千回も出てきて、珍しいことは一度きりか、一度も出てこなかったからです。そして間違えるときも、当たっているときとまったく同じ顔をします。文章のなめらかさは、内容の正しさとは関係がないからです。「借地借家法第47条によれば」と説得力をもって書くのは簡単で、その47条が別の話をしていても同じことです。

そしてこれは特定のブランドの欠点ではありません。ChatGPTでも、Gemini、Copilot、Claudeでも、この先に出てくるものでも同じです。道具を変えても解決しません。答えの扱い方を変えれば解決します。

五つの間違いと、それぞれの代償

間違いは全部が同じ種類ではありません。だから「必ず確認しましょう」という一般論は誰の役にも立ちません。何を、どこで確認するのか。下の表がこの記事全体の要約です。

間違い どう現れるか どこで確かめるか
1. 作り出し 存在しない出典、引用、条文、リンク 一次資料で、名前から
2. 計算と日付 合計、割合、期限、年齢の誤り 電卓か表計算で
3. 情報の古さ 昨日までの規則、価格、手続き その分野の公式サイトで
4. 偏り いちばん多い答えが正解になり、残りが消える 反対の見方を求めて
5. おべっか 気に入られようとして同意する 批判するよう頼んで

最初の二つは検索ひとつで片づきます。あとの三つはやっかいです。どの一文も嘘ではないのに、それでも間違った場所へ連れていくからです。

なぜ出典や著者名や条文番号を作り出すのか

これの専門用語はハルシネーションですが、この呼び名はよくありません。ふだんは物を知っている機械が一時的に発作を起こした、と聞こえるからです。やっていることはいつもと同じ、いちばんありそうな文章を見積もることです。ところが参考文献には決まった形があります。姓、コンマ、イニシャル、括弧の中の年、斜体の書名。その形をもっともらしい語で埋めるのは、AIが得意なことそのものです。

だから作り出された出典は、たいてい見た目が整っています。著者は実在し、雑誌も実在し、年もつじつまが合い、その論文だけが書かれたことがない。周りが全部正しいので、目で見つけるのがいちばん難しい種類の間違いです。ルールは短くて済みます。固有名詞、数字、引用はAIから仮説として出てくる。事実としてではありません。名前をもらったら、その名前を探す。条文をもらったら、その法律を開く。

画像でも同じ理由で作り出します。古い結婚写真をAIで修復するを頼んだとき、AIは折り目の下に何があったかを突き止めているのではありません。その部分にありそうな案を描いているだけです。くっきり戻ってきたドレスのリボンは、実際にはその形ではなかったかもしれず、家族の誰にも判断できません。ただし1962年の写真には照合できる出典がないので、ルールは別のものになります。修復版の隣に必ず元のファイルを残し、結果は「復元」であって「記録」ではないと考えることです。

古い結婚写真をAIで修復する
古い結婚写真をAIで修復する →

計算、日付、期限:ものさしがその場で捕まえる間違い

理由は同じで、結果が違います。計算するのではなく次の文章を見積もっているので、答えは似た計算との類似から出てきます。小さな足し算は油断するほど簡単に当て、そのあと4,380の18%を、口調ひとつ変えずに外します。

いい知らせは、これが最も安く確かめられる間違いだということです。ものさしはもう手の中にあります。電卓でやり直すよりいいのは、計算を会話から取り出して、計算する側に戻すこと。結果ではなく数式を頼むのです。その場でわかる表計算の数式がやっているのがこれです。表計算は正しく計算しますし、あとから数字を変えても、質問をやり直さずに済みます。

日付と期限も同じかごに入りますが、こちらには厄介な点があります。今日が何日かは、あなたが言わないかぎりAIは知りません。「30日後に切れる期限」の話は、月を取り違えていたら意味をなしません。期限がからむ依頼には、今日の日付を書き添えてください。

偏り:間違いに見えない間違い

これがいちばん難しい。指させる誤った一文が存在しないからです。AIは、ある物事については大量に、別の物事については少ししか文章がない材料から学んでいて、その平均を返します。事業のアイデアを頼めば、いつもの五つが返ってきます。学習計画を頼めば、多数派に合う計画が返ってきて、それはあなたに合わないかもしれません。

症状はいつも同じです。答えは良く、そして一般的です。手当ても同じで、質問をもう一つ足すだけです。「これと反対の見方は?」「ここから抜け落ちたものは?」「ふつう誰も勧めない選択肢を三つ挙げて」。この二通目のメッセージが、AIを使う人と、最初に出てきた答えをそのまま出す人を分けます。

そして、統計的な偏りより厄介な個人的版があります。あなた自身の偏りです。聞きたい答えを依頼の中に入れてしまえば、AIは同意します。「なぜ案Aのほうが良いのか」と聞けば、正しいのが案Bでも、案Aを称える文章が返ってきます。

おべっかと、それが最も安く直せる理由

AIに反論すると、あまりにあっさり通ることに気づいているはずです。答えが違うと言えば、謝って書き直す。最初のほうが正しかったときでもそうします。謙虚さでも納得でもありません。気に入られるよう調整されていて、あなたの苦情に続くいちばんありそうな言葉が同意だからです。

手当ては、気に入られる隙を与える前に、はっきり反対を頼むことです。容赦ない履歴書チェックの考え方がそれで、褒め言葉ではなく厳しい批判を求めます。プログラムを書く人には、まったく同じものが公開前にコードをレビューするにあります。問題を探せという依頼は「これで大丈夫?」とは別の依頼で、別の答えが返ってきます。

素材が画像のとき、何が変わるか

ここまでの四つは文章の間違いで、画像ではそれが一つに集まります。作り出しです。簡単な原則が効きます。頼む量が少ないほど、作り出す量も減る。ただぼやけているだけの顔なら、ぶれた写真を数秒で鮮明にするは手を入れる範囲が狭く、思い出として大事な写真ではいちばん安全な選び方です。何を良くするか言わずに「写真を良くして」と頼むのは、顔を描き直してくださいと言うのに近いことです。

裏を返せば、作られた画像はもう目で見分けられないほど良くなっています。手に持つ架空の身分証:TikTokで広がった演出は、全員が冗談だと知っているうちは冗談ですが、この水準の写実が誰にとっても依頼ひとつの距離にあることを示しています。画像だけでは何も証明できないなら、確認は出どころの話になります。誰が、いつ、なぜ出したのか。

手に持つ架空の身分証:TikTokで広がった演出
手に持つ架空の身分証:TikTokで広がった演出 →

三十秒のルーティン

全部を確認するのは無理で、誰もやっていません。できるのは、どの答えも三つの問いに、いつも同じ順で通し、残ったものだけを本当に確認することです。

  1. 固有名詞、数字、引用はあるか。 あればその部分は仮説です。印をつけて、出典で確かめます。
  2. 間違っていたら何を失うか。 SNSの説明文の誤りは訂正一回で済みます。契約の誤りはお金がかかります。かける時間を決めるのはこの代償です。
  3. 一般的すぎないか。 そうなら問題は嘘ではなく偏りです。使う前に反対の見方を求めてください。

手間がかかるのは最初の問いだけです。あとの二つは判断で、数秒で終わります。たとえば録音した会議なら、会議の議事録づくりは話された内容をきちんと拾います。もう一度見る価値があるのは決定事項と担当者のほうです。「こう決まった」が、聞き取ったものではなく推論されたものになりうるのはそこだからです。

確認が省けない場面

AIの答えが出発点であって結論には決してならない分野があります。共通点は一つ、誰かが下に署名するということです。

契約書では、どこを見ればいいか教えてくれる速い読み手として使うのが正解で、契約書アナライザー賃貸契約:署名の前に確認するはそう書かれています。注意して読むべき条項の一覧はくれますが、法的な確実さはくれません。金額が大きいときは、そこは専門家の仕事のままです。

試験でも、名前が変わるだけで同じです。入試小論文の添削はあなたの文章の緩いところを正確に指摘しますが、つける点数は見積もりであって、実際に取る点数ではありません。指摘を使い、数字は無視してください。

確認が最初から入っている五つのプロンプト

間違いを減らす最善の方法は、確認を増やすことではなく、間違いが見えるように頼むことです。この五つはそう作られています。この順で試してください。

  1. まず読解の方法と読書ノート。あなたが渡した文章の上で働くので、手元にある材料に縛られた答えには、作り出す余地がずっと少なくなります。
  2. 次に本の要約と読書ガイド。こちらは逆の場合で、練習になります。ここではAIが記憶で話すので、疑い方を較正してくれる間違いはここで見つかります。
  3. 残ったものを単語カードと間隔をあけた復習に変えます。短い問いと短い答えは、間違いがいちばん目立つ形式です。周りに隠してくれる文章がないからです。
  4. 自分の名前で外に出るものには完璧なビジネスメールを使います。ここでの危険は事実の誤りではなく、調子の誤りです。
  5. 締めに、その日つくったものへ容赦ない履歴書チェックの厳しい批判を求めます。二通目のメッセージが習慣になった形です。
読解の方法と読書ノート
読解の方法と読書ノート →

同じ考え方を勉強に当てはめたものは、勉強に使うAIの記事が、試験、受験、語学まで細かく扱っています。

よくある質問

ChatGPTは信用できますか。

自分で渡した文章の処理、下書き、考えの整理については信用できます。具体的な事実、数字、引用、法律は、確認なしには信用できません。違いは話題ではなく出どころです。あなたの会話の外から来た情報は、見積もりです。

AIのハルシネーションとは何ですか。

存在しないことを、正しいときと同じ調子で事実として差し出すことです。データベースを引くのではなく、ありそうな形を埋めているために起こるので、出典、固有名詞、日付、数字でいちばん多く出ます。

なぜ簡単な計算を間違えるのですか。

計算しているのではなく、結果の文章を見積もっているからです。小さな計算なら合うことが多く、大きくなると合いません。結果ではなく数式を頼むか、電卓でやり直してください。

日本語だと間違いが増えますか。

学習材料は英語のほうが多いので、非常に専門的な話題は日本語だと薄く出ることがあります。日常の用途ではほとんど気づきません。本当に変わるのは地域の事情です。日本の規則、期限、手続きこそがいちばん間違えるところで、公式サイトが一分で片づけてくれるところです。

プロンプトを良くすれば間違いは減りますか。

減ります、かなり。ただし五つのうち二つだけです。はっきりした依頼は一般的な答えを減らし、おべっかを断ちます。プロンプトの書き方のレッスンが示しているとおりです。作り出された出典と計算間違いに対しては、良いプロンプトはあまり効きません。そこで効くのは確認だけです。

画像がAI製かどうか、どう見分けますか。

古い手がかり(指が六本ある手、背景の崩れた文字)は急速に消えています。いまも効くのは、画像ではなく出どころを見ることです。どのアカウントから来たか、複数の場所に出ているか、それより前の版があるか。写真から画像をつくるレッスンを見れば、この多くがすでにどれだけ簡単かがわかります。

今日、どこから始めるか

AIがくれた直近の役に立つ答えを一つ取り出して、ルーティンの三つの問いを通してみてください。固有名詞か数字があれば、その部分だけ確かめます。一度やる価値があるのは、確認の手間が見た目よりずっと小さいと気づけるからです。

そのあとは、テキストのプロンプトのハブに全体がそろっていますし、コースのシリーズはここから続きます。AIで間違いを減らすことは、正しい道具を見つけることよりも、答えのどの部分に注意を向けるべきかを知ることです。

✨ この記事で紹介したプロンプト

古い結婚写真をAIで修復する
🖼️ 画像★ 5.0

古い結婚写真をAIで修復する

その場でわかる表計算の数式
✍️ テキスト

その場でわかる表計算の数式

容赦ない履歴書チェック
✍️ テキスト

容赦ない履歴書チェック

公開前にコードをレビューする
✍️ テキスト

公開前にコードをレビューする

ぶれた写真を数秒で鮮明にする
🖼️ 画像

ぶれた写真を数秒で鮮明にする

手に持つ架空の身分証:TikTokで広がった演出
🖼️ 画像

手に持つ架空の身分証:TikTokで広がった演出

📖 Prompteiroブログから

すべての記事を見る →