LLMはどう育てられるのか：事前学習・指示チューニング・人のフィードバック｜生成AIのしくみ 第5回

①事前学習：「次のトークン予測」だけで、なぜ賢くなるのか

事前学習でやることは、驚くほど単純です。インターネット上の文章、書籍、論文、プログラムのコードなど、膨大なテキストを用意し、次のような穴埋め問題を延々と解かせます。

• 「日本の首都は」→ 次は？（正解：「東京」）
• 「水は100度で」→ 次は？（正解：「沸騰」）
• 「def add(a, b):」→ 次は？（正解：「return a + b」に続くトークン）

正解は、元の文章の次のトークンそのものなので、人がいちいち正解のラベルを付ける必要がありません。文章さえあれば、いくらでも問題をつくれます。このように、データ自身から問題と正解をつくって学ぶ方法を「自己教師あり学習」と呼びます。

予測が外れたら、第2回で見た誤差逆伝播と勾配降下法で、重みを少しずつ直します。これを、数兆トークン規模とも言われる大量のテキストで繰り返します。

予測がうまくなるには、世界を「理解」する必要がある

「次の言葉を当てるだけで、なぜ質問に答えたり、要約したりできるようになるのか」は、多くの人が抱く疑問です。

ヒントは、次の言葉をうまく当てるには、文章の裏にある文法・事実・論理・常識まで、ある程度とらえる必要があることです。推理小説の最後の一文「犯人は」の次を当てるには、物語全体の筋を追う必要があります。「12×12＝」の次を当てるには、かけ算のパターンを身につける必要があります。予測という単純な課題を、膨大な量の多様な文章で解かせ続けることで、モデルの中に言葉や知識のさまざまなパターンが形づくられていくと考えられています。

ただし、それが人間と同じ意味での「理解」なのかどうかは、研究者の間でも議論が続いています。この講座では、「人間の理解と同じとは言い切れないが、多くの課題で役に立つほど豊かなパターンを身につけている」という見方をとります。

大きくすると、性能が予測どおりに伸びる：スケーリング則

2020年ごろ、モデルの大きさ（パラメータ数）、学習データの量、計算量を増やすと、予測の誤り（損失）がなめらかに、かなり予測可能な形で下がっていくことが、研究で報告されました。これを「スケーリング則」と呼びます。この発見が、より大きなモデルに巨額の計算資源を投じる流れを後押ししました。

また、モデルを大きくするにつれて、小さなモデルではほとんどできなかった課題（複数の手順が必要な計算など）が急にできるようになるように見える現象も報告され、「創発的能力」として話題になりました。ただし、これは性能の測り方によって見え方が変わる、という指摘もあり、評価は分かれています。

もう一歩深く
2022年には、同じ計算予算なら、パラメータ数だけを大きくするより、学習データのトークン数もそれに見合うだけ増やした方が効率がよい、という研究（いわゆるChinchillaの研究）が発表され、モデル開発の方針に影響を与えました。現在は、使うときの計算コストを抑えるため、あえて小さめのモデルに大量のデータを学習させる方針もよく見られます。

②指示チューニング：「続きを書く機械」を「アシスタント」にする

事前学習を終えたモデルは、物知りではありますが、そのままでは使いにくい存在です。たとえば「日本の首都はどこですか？」と入力すると、答えを返す代わりに「日本の首都はどこですか？　次の問題：アメリカの首都は……」と、クイズ集の続きを書き始めてしまうかもしれません。事前学習のモデルは「質問に答える」のではなく、「ありそうな続きを書く」ように学んでいるからです。

そこで、「指示」と「よい応答」の組み合わせを数多く用意し、それを使って追加で学習させます。これを「指示チューニング（教師ありファインチューニング）」と呼びます。

こうした例を学ぶことで、モデルは「入力は指示であり、それに応える形で書く」という振る舞いを身につけます。例の数は、事前学習の文章量に比べればずっと少なくて済むとされています。土台となる知識は事前学習ですでに身についているため、「受け答えの型」を覚えさせるだけで大きく変わるのです。

この記事の監修者に相談できます

監修者の田中磨生が代表を務める株式会社Abinで、ご相談をお受けしています。

相談無料ツギノテ編集部に相談する→

③人のフィードバックによる調整：RLHF

指示に答えられるようになっても、まだ課題が残ります。同じ質問への答え方には、「分かりやすい／分かりにくい」「正確／不正確」「丁寧／失礼」「安全／危険」など、よしあしの幅があります。こうした微妙な好ましさは、模範解答を1つ見せるだけでは伝えきれません。

そこで使われるのが「人間のフィードバックによる強化学習（RLHF）」と呼ばれる方法です。2022年に発表された、指示に従うよう調整したGPT-3（InstructGPT）の研究などで広く知られるようになりました。流れは次のとおりです。

1. 比べる：同じ指示に対してモデルに複数の答えを出させ、人がどれがよいか順位を付ける
2. 評価役を育てる：その順位データから、「答えのよさを点数で予測するモデル（報酬モデル）」を学習させる
3. 点数が上がるよう調整する：LLMに答えを出させ、報酬モデルの点数が高くなる方向に、強化学習という方法で重みを調整する

たとえるなら、新人（LLM）の対応を、ベテラン（人）が何百件も見比べて評価し、その評価のクセを覚えた指導係（報酬モデル）が、新人の練習に毎回点数を付けて指導する、という仕組みです。人が毎回すべての練習に付き添わなくても、指導係が代わりに評価できるのがポイントです。

RLHFの仲間と、その限界

RLHFのほかにも、人の好みのデータから報酬モデルをつくらずに直接調整する方法（DPOなど）や、AI自身が原則（憲法のような行動指針）に照らして答えを評価・修正する方法（Anthropicが発表した「Constitutional AI」など）が提案されています。開発元によって、どの方法をどう組み合わせているかは異なり、詳細が公開されていない部分も多くあります。

また、人の評価にもとづく調整には限界もあります。

• 評価する人の好みに寄る：自信満々で長い答えが、正しさに関係なく高く評価されてしまう、といった偏りが入りうる
• 相手に合わせすぎる：ユーザーの意見に同調しすぎる傾向（迎合）が生まれることがある、と指摘されている
• 正しさそのものは保証されない：調整で答え方は磨かれても、事前学習で身についた知識の誤りがすべて直るわけではない

よくある誤解：チャット型AIは、人が書いた答えを検索して返している

ここまで見てきたように、LLMの答えは、事前学習で身につけたパターンと、調整で身につけた答え方にもとづいて、その場で1トークンずつ生成されたものです。検索機能を組み合わせたサービスもありますが（第7回で扱います）、LLM自体は「どこかにある正解を取り出している」わけではありません。

実務ではこう使う：育ち方を知ると、使い方が変わる

• 「知っていること」には期限がある：事前学習のデータには、収集した時点（知識のカットオフ）があります。それ以降の出来事は、検索などの仕組みがない限り知りません。最新情報が必要なときは、検索機能のあるサービスを使うか、資料を一緒に渡します。
• 答えのうまさと正しさは別物：人の評価で磨かれた答えは、読みやすく自信にあふれて見えます。だからこそ、数字や固有名詞、法令などは必ず一次情報で確かめる運用が必要です。
• 自社向けの調整は「受け答えの型」から考える：社内の言葉づかいや回答形式に合わせたい場合、一から学習させるのではなく、指示の工夫や、第7回で扱う追加学習・RAGを検討します。

自社に合うツールや、導入を支援してくれる会社を探す場合は、AI導入支援のおすすめ比較も参考になります。

この回のまとめ

• LLMは、①事前学習、②指示チューニング、③人のフィードバックによる調整、の段階を経て育てられる。
• 事前学習は「次のトークン予測」を膨大な文章で繰り返す自己教師あり学習。予測がうまくなる過程で、言葉や知識の豊かなパターンが身につく。
• モデル・データ・計算を大きくすると性能が予測どおりに伸びる「スケーリング則」が、大規模化を後押しした。
• 指示チューニングで「続きを書く機械」を「指示に応えるアシスタント」にし、RLHFなどで役に立ち害の少ない答えに近づける。
• 調整で答え方は磨かれるが、正しさは保証されない。知識には期限もある。

確認テスト

次回予告

第6回では、LLMの「得意」と「苦手」を整理します。なぜもっともらしい間違い（ハルシネーション）が起きるのか、一度にどれだけの文章を覚えていられるのか。仕組みから理解すると、業務での付き合い方が見えてきます。

参考資料

• Radford, A. et al. “Improving Language Understanding by Generative Pre-Training.”（GPTの技術報告）OpenAI, 2018.（確認日：2026年11月12日）
• Brown, T. et al. “Language Models are Few-Shot Learners.” arXiv:2005.14165, 2020.（確認日：2026年11月12日）
• Kaplan, J. et al. “Scaling Laws for Neural Language Models.” arXiv:2001.08361, 2020.（確認日：2026年11月12日）
• Hoffmann, J. et al. “Training Compute-Optimal Large Language Models.” arXiv:2203.15556, 2022.（確認日：2026年11月12日）
• Ouyang, L. et al. “Training language models to follow instructions with human feedback.” arXiv:2203.02155, 2022.（確認日：2026年11月12日）
• Rafailov, R. et al. “Direct Preference Optimization.” arXiv:2305.18290, 2023.（確認日：2026年11月12日）
• Bai, Y. et al. “Constitutional AI: Harmlessness from AI Feedback.” arXiv:2212.08073, 2022.（確認日：2026年11月12日）
• Wei, J. et al. “Emergent Abilities of Large Language Models.” arXiv:2206.07682, 2022.（確認日：2026年11月12日）
• Schaeffer, R. et al. “Are Emergent Abilities of Large Language Models a Mirage?” arXiv:2304.15004, 2023.（確認日：2026年11月12日）