ハルシネーションはなぜ防げない？AIの出力を信じる基準｜佐賀大学・皆本晃弥教授

生成AIのハルシネーションは、確率的にもっともらしい文章を生成するという現在の仕組みである限り、完全にゼロにすることは難しいと考えられています。

ハルシネーションとは、生成AIが事実に基づかない情報を、あたかも正しいかのように生成してしまう現象です。コンピューターが出した答えの正しさを数学的に保証する「精度保証付き数値計算」を専門とする佐賀大学の皆本晃弥教授は、AIの出力を無条件に信じてはいけないと説きます。

本記事では、皆本教授へのインタビュー（聞き手：デフィデ株式会社 代表 山本哲也）をもとに、ハルシネーションが防げない理由、AIの出力を業務で使ってよい判断基準、データが少ない中小企業の打ち手、そして企業に必要なAI人材を解説します。

ハルシネーションとは？なぜ防げないのか

皆本教授は、生成AIの振る舞いを十分に説明し、出力の正しさまで数学的に保証できる理論は、まだ追いついていないと言います。おそらく10年ほどの期間で、ハルシネーションを完全に防ぐ保証を与えるのは難しいという見立てです。その理由は次の3つに整理できます。

理由1：生成AIが「なぜうまく動くのか」自体が解明されていない

ハルシネーション以前に、現在の生成AIがなぜこれほど高い性能を示すのかについても、十分には解明されていません。わかっているのは、データ量やパラメータ数を増やすと性能が上がるスケーリング則ですが、これは「性能が上がる傾向」を示す経験則に近いもので、出力が事実として正しいことを保証する理論ではありません。

理由2：もっともらしさと正しさは別物

生成AIは、確率的にもっともらしい文章を生成する仕組みです。出力が現実の事実と対応しているかどうかは、別に確認する必要があります。

理由3：出力の揺れを抑えても、正しさは保証されない

出力の揺れを抑えれば、同じ入力に安定した回答を返しやすくなります。しかしそれは回答のばらつきを小さくするだけで、内容の正しさを保証することとは別です。むしろ揺れを極端に抑えれば、文脈に応じた柔軟な応答や多様な表現が失われ、画一的な回答になってしまう可能性があります。

コンピューターの答えは「まず疑う」――精度保証付き数値計算とは

精度保証付き数値計算とは、コンピューターが出した近似解の正しさや、本当の解が存在する範囲を数学的に保証しようとする研究です。

コンピューターは計算結果を返しますが、その正しさを自動的に検算してくれるわけではありません。そもそも答えが存在する問題を解いているのかさえ、わからない場合があります。コンピューター上では近似解として現れていても、数学的には存在しない「ゴーストソリューション（幻影解）」かもしれないのです。そのため、精度保証では「何桁まで正しいか」だけでなく、「そもそも答えが存在するのか」「存在するなら何個あるのか」まで確かめます。皆本教授は、その動機を「検算機能をつくること」だと表現します。

「コンピューターが出してくる答えについては、まず疑ってかかるというのが私の基本的なスタンスです。」

――皆本教授

この問題意識はAIにも通じます。機械学習モデルの性能を高めるために人間が事前に設定する値を調整する「ハイパーパラメーターチューニング」は、現状では職人芸に近い部分が少なくありません。「この範囲で設定すれば必ずうまくいく」と数学的にわかっていれば、無駄な試行錯誤を減らせるはずです。答えがない問題を解こうとすれば、計算リソースを大きく無駄にすることにもなります。

AIの出力を業務で使ってよい基準とは？

経営層や意思決定者にとって最大の関心は、AIの出力がどこまで保証されれば、ビジネスに取り入れてよいのかという点でしょう。皆本教授の答えは明快です。

出た結果が自分たちの腑に落ち、判断の根拠として納得できるのであれば、使えばよい――これが基準です。そのうえで、次の3点に注意が必要です。

注意点1：精度の数値を絶対視しない

「精度が何%」と示されても、それはあるデータや条件のもとで評価した結果にすぎません。ビジネスの現場では、学習時に想定していなかったデータや性質の違うデータが入ってきます。その典型が、他の値から大きく離れた外れ値です。対象を限定すれば精度は高く見せられますが、その分だけ適用範囲は狭くなります。データに基づく帰納的な方法である以上、原理的に100%を保証することは難しいのです。

また、「90%はうまくいく」と表示されていても、それが本当に10回中9回当たるという意味とは限りません。モデル内部のスコアを確率のように見える形で示している場合もあるため、必要に応じて実際の結果と照らし合わせ、数値のずれを補正する作業が必要です。

注意点2：理解できないものは使わない

「自分が理解できないものは使わないことです。」

――皆本教授

投資と同じで、自分が理解できないものには投資しないのが鉄則です。AIが出した結果も、理解できなければ採用しない。理解でき、納得できるなら使う。そのくらいの感覚でよいと皆本教授は言います。

注意点3：自分の考えに近い回答ほど疑う

AIが自分の考えに近い回答を出すと、つい「やはり正しい」と感じてしまいます。しかしそれは、入力や学習データ、質問の仕方に応じて、納得しやすい出力が返ってきているだけかもしれません。大切なのは、回答が自分の考えに合っているかではなく、何を根拠に判断しているのかを確認することです。

ここで役立つのが、XAI（説明可能なAI）です。AIが入力のどこに注目していたかをある程度可視化できますが、示されるのは「どこを見ていたか」であって、「なぜそれを重視したのか」まで完全に説明できるわけではありません。だからこそ、人間が課題に合ったデータを用意して前処理を行い、特徴量（対象データの特徴を数値で表したもの）を、意思を持って設計しておくことが重要です。AIに特徴量の抽出を任せきりにしないことが、納得できる活用の前提になります。

データが少ない中小企業がAIで差をつける3つの打ち手

日本では中堅・中小企業が大多数を占め、巨大IT企業のような大量のデータを持っているわけではありません。それでも、皆本教授は「ディープラーニングだけに頼る必要はない」と言います。

考える手間を省くために何でもディープラーニングに任せる流れもありますが、人間が意図的に介入し、前処理を含めてデータを丁寧にクレンジングすれば十分に対応できる場合があります。実際、皆本教授が取り組むがんの検出でも、医師へのインタビューに基づいて手作りした特徴量のほうが、ディープラーニングを安易に使うより精度が高くなる場合があるといいます。

「うまくいかない相談」に共通すること

企業からの相談でうまくいかないと感じるのは、目的が不明確な場合です。「このデータで何かできませんか」と言われても、何をしたいのかが明確でなければ対応は難しくなります。

• データは集めればよいわけではない：目的に合わないデータはノイズになり、作業の多くをデータのクレンジングが占めることもある
• データにないものは取り出せない：課題が明確でも、画像に写っていないものは抽出できない
• 結局は「データの質」と「課題設定」：AIなら何でもできるという感覚が、一番の障害になる

「AIなら何でもできるのではないかという感覚を持たれるのが、一番困ります。」

――皆本教授

企業に必要なAI人材の3類型

これからAIを導入する企業が最初に取り組むべきことは、AIに何ができるのかを理解し、できないことを無理にやろうとしないことです。生成AIは意味を理解しているように見えても、実際には大量のデータから学習したパターンや確率的な関係に基づき、文脈上もっともらしい出力を返しています。その得意・不得意を見極めるために、皆本教授はAI人材を3つに分けて育成することを提案します。

自社の課題を理解し、AIで何ができ、何ができないかを見極める人材がいて、計画する人・実装する人・理論を理解して新しい方法を考える人が連携する――それが、AI導入そのものを目的化させないための体制です。

大学での生成AI利用は「使ってよい、ただしそのまま出さない」

佐賀大学では、「使ってもよい。ただし、そのままレポートや課題として提出してはいけない」という方針で学生のAI利用を認めています。AIの出力をそのまま提出する学生もいますが、プログラミングで指定に反して関数を細かく分けてくる、若い世代が普段使わない語彙が混じるといった特徴から、比較的見抜けるといいます。一方で、人に質問する前にまず生成AIで確認して整理しておくことは、学び方として有効だとしています。

「胴元」を目指す――学び方を教え、稼ぎ方を教える

皆本教授の教育方法を象徴するのが、「答えを教えるのではなく、学び方を教える」「お金をあげるのではなく、稼ぎ方を教える」という考え方です。

「『いかに胴元になるか』を常に考えなさい、ということです。」

――皆本教授

用意された仕組みを使うだけの「デジタル小作人」でよいと思ってしまえば、そこから先には進めません。日本では「お金を稼ぐ」ことに悪い印象を持つ人も少なくありませんが、資金がなければ研究も事業も社会貢献も十分には進められません。お金を稼ぐことを、価値を生み出し社会に還元するための力として捉える必要があると皆本教授は語ります。米国や中国の企業がAIのプラットフォーマーを目指して競う中、日本が使う側にとどまるのか、胴元の側に回るのか。それは大きな分かれ目です。

よくある質問（FAQ）

Q. ハルシネーションとは何ですか？

A. ハルシネーションとは、生成AIが事実に基づかない情報を、あたかも正しいかのように生成してしまう現象のことです。生成AIは確率的にもっともらしい文章を生成する仕組みであり、その出力が現実の事実と対応しているかどうかは、別に確認する必要があります。

Q. 生成AIのハルシネーションはなぜ防げないのですか？

A. 皆本教授は、現在の生成AIがなぜ高い性能を示すのか自体が十分に解明されておらず、出力の正しさを数学的に保証する理論が追いついていないと指摘しています。データ量やパラメータ数を増やすと性能が上がるスケーリング則は経験則であり、増やせばハルシネーションが原理的になくなるわけではありません。

Q. 精度保証付き数値計算とは何ですか？

A. コンピューターが出した近似解の正しさや、本当の解が存在する範囲を数学的に保証しようとする研究分野です。単に何桁まで正しいかを保証するだけでなく、「そもそも答えが存在するのか」まで確かめます。コンピューター上には、数学的には存在しない「ゴーストソリューション（幻影解）」が現れることがあるためです。

Q. AIの出力はどこまで信じて業務に使ってよいですか？

A. 皆本教授は、出た結果が自分たちの腑に落ち、判断の根拠として納得できるなら使えばよいとしています。一方で、自分が理解できないものは使わないことが鉄則です。「精度90%」といった数値も、特定のデータや条件での評価結果にすぎないため、そのまま絶対視しない姿勢が必要です。

Q. データが少ない中小企業でもAIを活用できますか？

A. 活用できる可能性はあります。皆本教授は、特徴量を適切に設計すれば小規模データでも有効なSVM（サポートベクトルマシン）、転移学習を併用したCNN、人間が設計した特徴量と単純な閾値による判定などを挙げ、何でもディープラーニングに任せる必要はないと述べています。

Q. 企業に必要なAI人材にはどのような種類がありますか？

A. 皆本教授は、AI人材をAIプランナー、AIエンジニア、AIサイエンティストに分けて考えています。まず育てるべきなのは、自分の分野でAIを使うと何ができるかを考え、計画を立てられるAIプランナーです。そのうえで実装を担うAIエンジニア、理論を理解して新しい方法を生み出すAIサイエンティストが連携することが重要です。

Q. AI導入で最初に取り組むべきことは何ですか？

A. 皆本教授は、まずAIに何ができるのかを理解し、できないことを無理にやろうとしないことだと述べています。目的が不明確なまま「このデータで何かできないか」と進めても成果は出にくく、目的に合わないデータはかえってノイズになります。

まとめ：AIの答えを「理解し、納得できるか」で判断する

• ハルシネーションは、生成AIが確率的にもっともらしい文章を生成する仕組みである限り、完全にはなくせない
• 精度保証付き数値計算の考え方のように、コンピューターの答えは「まず疑う」ことが出発点
• AIの出力は、腑に落ち納得できるなら使い、理解できないものは使わない。精度の数値は絶対視しない
• データが少ない中小企業でも、SVMや転移学習、人手による特徴量設計で差をつけられる
• まず育てるべきはAIプランナー。計画・実装・理論の3つの人材が連携することが重要

AIが示す答えを鵜呑みにせず、自分の頭で理解し、納得したうえで使う。そして、技術の原理を理解して自ら価値を生み出す側に回る。皆本教授の言葉は、AIと向き合うすべての企業と個人に、その覚悟を問いかけています。