LLMの得意と苦手：ハルシネーション・コンテキスト長・推論｜生成AIのしくみ 第6回

苦手①：ハルシネーション（もっともらしい誤り）

ハルシネーションとは、LLMが事実と異なる内容を、もっともらしく、自信ありげに出力してしまう現象です。実在しない論文や判例をそれらしく挙げたり、存在しない機能を説明したりする例がよく知られています。

なぜ起きるのか：「正しさ」ではなく「確からしさ」で選んでいる

第4回で見たように、LLMは「次に来るトークンの確率」を計算し、それにもとづいて言葉を選びます。ここで選ばれるのは、文脈から見て「ありそう」な言葉であって、「事実として正しい」と確認された言葉ではありません。

たとえば「〇〇株式会社の創業年は」と聞かれたとき、学習データにその会社の情報がたくさんあれば、正しい年が高い確率になります。しかし、情報が少ない、あるいは似た会社と混ざっている場合でも、モデルは「創業年らしい数字」を出すことはできます。文章としての自然さは保たれるので、もっともらしい誤りになるのです。

ハルシネーションが起きやすいのは、次のような場面です。

• 学習データに情報が少ない話題（中小企業、ニッチな分野、最近の出来事）
• 正確な数字・日付・固有名詞・出典を求められたとき
• 質問自体に誤った前提が含まれているとき（「〇〇が2019年に出した新製品について教えて」で、実際には出していない場合など）
• 「分かりません」と答えるより、答えた方が好まれるような調整がかかっているとき

よくある誤解：ハルシネーションはバグなので、そのうち完全になくなる

性能の向上や、検索との組み合わせ（第7回）によって、ハルシネーションは減らすことができます。しかし、「確からしい言葉を生成する」という仕組みそのものに根ざしているため、完全にゼロにするのは難しいと考えられています。人の確認を前提にした運用が大切です。

出力の「ゆらぎ」と温度

LLMは確率分布から言葉を選ぶとき、毎回いちばん確率の高い言葉を選ぶとは限りません。確率に応じてくじ引きのように選ぶことで、表現に変化をもたせています。このくじ引きのばらつき具合を調整する設定が「温度（temperature）」です。

• 温度を低くする：確率の高い言葉が選ばれやすくなり、答えが安定する（ただし単調になりやすい）
• 温度を高くする：確率の低い言葉も選ばれやすくなり、多様で意外な答えが出る（ただし誤りも増えやすい）

APIで使う場合はこの値を調整できることが多く、事実を答えさせる用途では低め、アイデア出しでは高め、といった使い分けをします。ただし、温度を下げてもハルシネーションがなくなるわけではありません。確率の高い答えそのものが誤っていることもあるからです。

苦手②：コンテキストウィンドウ（一度に覚えていられる量）

LLMが一度に読み込める文章の量には上限があり、これを「コンテキストウィンドウ」と呼びます。単位はトークンです（第3回）。入力した質問や資料、これまでの会話、そしてLLM自身の出力も、すべてこの枠の中に収まっている必要があります。

枠を超えると、どうなるか

• 長い会話を続けると、古いやりとりが枠からはみ出し、最初に伝えた条件を「忘れた」ように振る舞うことがある（サービスによっては、古い会話を自動で要約して詰め込む仕組みもある）
• 枠より長い資料は、そもそも一度には読み込めない

たとえばGoogleが2024年2月に発表したGemini 1.5 Proは、標準で12万8千トークン、一部の利用者向けに最大100万トークンのコンテキストウィンドウを提供しました。2026年11月時点では、本1冊分を超える文章を一度に入れられるモデルも珍しくなくなっています。ただし、枠が大きければすべて解決、というわけではありません。

枠の中でも「真ん中」は見落としやすい

2023年に発表された研究（「Lost in the Middle」）では、長い入力の中から必要な情報を探させると、情報が冒頭や末尾にあるときに比べて、真ん中にあるときに正答率が下がる傾向が報告されました。人間が長い会議資料を読むとき、最初と最後はよく覚えているのに、中ほどの内容がおぼろげになるのと少し似ています。その後のモデルでは改善も報告されていますが、長い入力ほど注意が分散しやすい、という性質は意識しておく価値があります。

もう一歩深く
第4回で見た注意機構は、すべてのトークン同士の関係を計算します。そのため、入力が2倍になると、計算量はおおよそ4倍になります（トークン数の2乗に比例）。長い入力を扱うための計算の工夫は、現在も活発に研究されている分野です。長い資料を入れるほど、応答が遅くなったり、料金が高くなったりするのはこのためです。

苦手③と工夫：推論・計算

LLMは、複数の手順を踏む論理的な問題や、正確な計算が苦手だと言われてきました。1トークンずつ前から書き足す仕組みのため、途中の計算を「頭の中」だけで一気に済ませるのが難しいからです。

「考える過程」を書かせると、正答率が上がることがある

2022年の研究で、答えだけを求めるのではなく、「段階的に考えて」と促したり、途中の考え方を例として見せたりすると、算数の文章題などの正答率が大きく上がることが報告されました。これを「思考の連鎖（Chain-of-Thought）」と呼びます。途中の考えを文章として書き出すことで、その文章自体が次の推論の手がかりになり、1ステップずつ進められるようになる、と説明されます。

この考え方を発展させ、答える前に内部で長く考える時間をとるよう訓練した「推論（リーズニング）モデル」と呼ばれるLLMも、2024年ごろから各社が提供するようになりました。数学やプログラミングの難しい問題で性能が上がったと報告されています。

ただし、注意点もあります。

• 書き出された「考える過程」が、実際にモデル内部で行われた計算を正確に表しているとは限らない、という研究もある
• 考える時間が長いほど、応答が遅く、コストも高くなる
• 正確な計算は、LLMに頭の中で解かせるより、計算ツールやプログラムを実行させる（第7回）方が確実

この記事の監修者に相談できます

監修者の田中磨生が代表を務める株式会社Abinで、ご相談をお受けしています。

相談無料ツギノテ編集部に相談する→

苦手④：知識の期限と、自分の限界を知ること

第5回で見たように、LLMの知識は学習データを集めた時点（カットオフ）で止まっています。また、LLMは「自分が知らないこと」を正確に把握するのが苦手で、知らないことでも答えてしまう傾向があります。最近のモデルは「分かりません」と答えるよう調整が進んでいますが、完全ではありません。

実務ではこう使う：苦手を前提にした使い方

仕組みからくる苦手は、使い方でかなり補えます。

こうした使い方を社内でそろえるには、利用ガイドラインと研修を組み合わせるのが効果的です。研修の選び方はAI研修のおすすめ比較が参考になります。

この回のまとめ

• LLMは要約・下書き・翻訳・アイデア出し・形式変換など「言葉のパターン」を扱う仕事が得意。
• ハルシネーションは、正しさではなく確からしさで言葉を選ぶ仕組みから生まれる。完全にゼロにするのは難しく、人の確認が前提。
• 温度は出力のばらつきを調整する設定。下げても誤りはなくならない。
• コンテキストウィンドウには上限があり、枠内でも長い入力の途中は見落としやすい。
• 「考える過程」を書かせると推論が改善することがあるが、正確な計算はツールに任せる方が確実。

確認テスト

次回予告

第7回では、LLMの苦手を補い、業務に組み込むための3つの方法を見ていきます。社内文書を参照させる「RAG」、追加で学習させる「ファインチューニング」、道具を使って作業を進める「AIエージェント」。それぞれの仕組みと使い分けを整理しましょう。

参考資料

• Ji, Z. et al. “Survey of Hallucination in Natural Language Generation.” arXiv:2202.03629, 2022.（確認日：2026年11月12日）
• Liu, N. F. et al. “Lost in the Middle: How Language Models Use Long Contexts.” arXiv:2307.03172, 2023.（確認日：2026年11月12日）
• Wei, J. et al. “Chain-of-Thought Prompting Elicits Reasoning in Large Language Models.” arXiv:2201.11903, 2022.（確認日：2026年11月12日）
• Kojima, T. et al. “Large Language Models are Zero-Shot Reasoners.” arXiv:2205.11916, 2022.（確認日：2026年11月12日）
• Turpin, M. et al. “Language Models Don’t Always Say What They Think: Unfaithful Explanations in Chain-of-Thought Prompting.” arXiv:2305.04388, 2023.（確認日：2026年11月12日）
• Holtzman, A. et al. “The Curious Case of Neural Text Degeneration.” arXiv:1904.09751, 2019.（確認日：2026年11月12日）
• Google “Introducing Gemini 1.5, Google’s next-generation AI model”（2024年2月15日）（確認日：2026年11月12日）
• OpenAI “OpenAI o3-mini System Card”（2025年1月31日）（確認日：2026年11月12日）