Transformerと注意機構：LLMの心臓部を図で理解する｜生成AIのしくみ 第4回

注意（アテンション）とは：「誰の話を、どれだけ聞くか」

注意機構をたとえるなら、会議の参加者が、自分の発言を整えるために、ほかの参加者の発言のうち関係の深いものに耳を傾けるようなものです。

次の文を考えてみましょう。

「店長は、新人が棚に並べた商品を見て、彼をほめた。」

ここで「彼」は誰でしょうか。人間なら、文脈から「新人」だと分かります。注意機構では、「彼」というトークンが、文中のほかのトークン全員に対して「あなたは私にどれくらい関係がありますか？」と問いかけ、関係の深いトークン（ここでは「新人」）の情報を多めに取り込みます。その結果、「彼」のベクトルは「新人を指す彼」という意味を含むように書き換えられます。

これを、文中のすべてのトークンが同時に行います。「ほめた」は「店長」と「彼」に、「並べた」は「新人」と「商品」と「棚」に、それぞれ注目して自分の意味を更新します。文章の中の言葉同士が、互いに参照し合う仕組みです。同じ文章の中で注意し合うので、「自己注意（セルフアテンション）」と呼ばれます。

Query・Key・Value：注意の計算を3つの役割で理解する

注意機構の中身は、Query（クエリ）、Key（キー）、Value（バリュー）という3つの役割で説明されます。図書館の本探しにたとえると分かりやすくなります。

計算の流れは次のとおりです。

1. 各トークンの埋め込みから、Query・Key・Valueの3つのベクトルをつくる（それぞれ専用の重みを掛けて変換する）
2. あるトークンのQueryと、全トークンのKeyを比べて、「どれくらい合っているか」の点数を出す（前回のコサイン類似度に近い、ベクトル同士の掛け算で測る）
3. 点数を、合計が100%になる割合に変換する（これが「注意の重み」）
4. その割合に応じて、各トークンのValueを混ぜ合わせる
5. 混ぜ合わせた結果で、そのトークンのベクトルを更新する

図書館で言えば、「自分の探し物（Query）」と「背表紙（Key）」がよく合う本ほど多めに読み、それらの中身（Value）を自分のメモにまとめる、という作業です。「彼」のQueryは「誰のことか」を探していて、「新人」のKeyがそれによく合うので、「新人」のValueが多めに取り込まれる、というわけです。

もう一歩深く
手順2の点数は、QueryとKeyの内積（各要素を掛けて足したもの）を、ベクトルの次元数の平方根で割って求めます。次元が大きいと内積の値が大きくなりすぎ、手順3の割合への変換（ソフトマックス関数）が極端になって学習が不安定になるため、それを抑える工夫です。論文ではこれを「スケールド・ドット積注意」と呼んでいます。

マルチヘッド：いくつもの観点で同時に注目する

文章の中の関係は1種類ではありません。「誰が誰に何をしたか」という文法上の関係、「同じものを指している」という指示の関係、「話題が近い」という意味の関係など、いろいろあります。

そこでTransformerでは、注意の計算を、異なる重みで何組も並行して行います。それぞれの組を「ヘッド（頭）」と呼び、これを「マルチヘッド注意」と言います。会議で言えば、「論理の担当」「数字の担当」「関係者の担当」が、それぞれの観点で発言を聞き分け、最後に結果を持ち寄るようなものです。どのヘッドが何に注目するかは、人が決めるのではなく学習で決まります。

順番の情報をどう入れるか：位置の手がかり

注意機構は全トークンを一度に見渡すので、そのままでは語順が分かりません。「犬が人をかんだ」と「人が犬をかんだ」は、同じトークンの集まりなので区別がつかなくなってしまいます。

そこで、各トークンの埋め込みに「何番目の位置にあるか」を表す情報を加えます。これを「位置エンコーディング（位置埋め込み）」と呼びます。元の論文では、波（正弦波）を組み合わせた数値を足す方法が使われました。現在のLLMでは、位置の情報を注意の計算の中に組み込む方式など、さまざまな改良版が使われています。

この記事の監修者に相談できます

監修者の田中磨生が代表を務める株式会社Abinで、ご相談をお受けしています。

相談無料ツギノテ編集部に相談する→

Transformerの1層と、それを重ねた全体像

Transformerの1つの層（ブロック）は、主に次の2つの部品でできています。

1. 注意の部品：ほかのトークンから情報を集めて、自分のベクトルを更新する（言葉同士の「相談」）
2. 個別処理の部品（フィードフォワード層）：各トークンが、集めた情報をもとに自分の中で考えを整理する（第2回で見た、普通のニューラルネットワーク）

これに、学習を安定させるための工夫（元のベクトルを足し戻す「残差接続」や、数値の大きさをそろえる「正規化」）が加わります。

LLMは、このブロックを何十層も重ねた構造をしています。下の層では文法的なつながりのような比較的単純な関係が、上の層ではより抽象的な意味のつながりが扱われる、と分析されることがありますが、各層の役割はきれいに分かれているわけではなく、研究が続いている分野です。

LLMの最後の仕事：「次のトークン」の確率を出す

何十層ものブロックを通ってベクトルが十分に書き換えられたら、最後のトークンの位置のベクトルを使って、「次に来るトークンは何か」の確率を、辞書のすべてのトークンについて計算します。

たとえば「日本の首都は」の次なら、「東京」が非常に高い確率、「大阪」が少し、ほかはほぼゼロ、といった分布になります。LLMはこの分布から1つのトークンを選び、文章の末尾に付け足します。そして、付け足した文章全体を入力として、また次のトークンを予測します。これを繰り返して、文章を1トークンずつ書いていくのです。

なお、ChatGPTなどのLLMは、Transformerの中でも「デコーダー」と呼ばれる部分を使った構成が主流です。デコーダーでは、各トークンは自分より前のトークンだけに注意を向けます（未来の言葉はカンニングしない）。文章を前から順に生成する用途に合った形です。一方、前回触れたBERTのように、前後両方を見て文章を理解する「エンコーダー」型のモデルもあり、検索や分類などに使われています。

よくある誤解：LLMは、答えの文章を最初に丸ごと考えてから書いている

LLMは、基本的に1トークンずつ「次」を予測して書き足していきます。もちろん内部では、それまでの文脈から先の展開を見込んだような計算が行われていることを示唆する研究もあります。ただ、出力の仕組みとしては、一度出したトークンを後から書き換えることはなく、前から順に積み上げていく方式です。そのため、最初に間違った前提を書いてしまうと、それに引っ張られて誤りが続くことがあります（第6回で扱います）。

実務ではこう使う：注意機構を知っていると、プロンプトが変わる

• 大事な情報は、はっきり書く：注意機構は関係の深い言葉を見つけ出す仕組みですが、あいまいな指示では「どれに注目すべきか」が定まりません。「誰に」「何を」「どんな形式で」を明記すると、意図が伝わりやすくなります。
• 長い資料では、指示を最後にもう一度書く：一度に扱える量が増えた今でも、長い入力の途中にある情報は見落とされやすいことが研究で報告されています（第6回で扱います）。重要な指示は、冒頭と末尾の両方に置くと安定しやすくなります。
• 前提の誤りは、早めに直す：LLMは自分が書いた前の文章に引っ張られるので、出力の最初のほうが間違っていたら、続きを待たずに指示し直す方が効率的です。

社内で生成AIの使い方を広めたい場合は、AI研修のおすすめ比較も参考にしてください。

この回のまとめ

• 以前の主流だったRNNは、文章を順番に読むため、遠くの言葉を忘れやすく、並列計算も苦手だった。
• Transformer（2017年）は、文章中のすべての言葉同士の関係を一度に計算する「注意機構」でこれを解決した。
• 注意機構は、Query（探し物）・Key（見出し）・Value（中身）で、各トークンが関係の深い言葉の情報を取り込む仕組み。複数の観点（マルチヘッド）で同時に行う。
• 語順は位置の情報で補う。注意とフィードフォワードのブロックを何十層も重ね、最後に次のトークンの確率を出す。
• LLMは1トークンずつ前から順に書き足す。最初の誤りに引っ張られることがある。

確認テスト

次回予告

第5回では、Transformerという「器」に、どうやって知識と会話の能力を身につけさせるのかを見ていきます。大量の文章で学ぶ「事前学習」から、人の好みに合わせて調整する「RLHF」まで、LLMが育てられる流れを追いましょう。

参考資料

• Vaswani, A. et al. “Attention Is All You Need.” arXiv:1706.03762, 2017.（確認日：2026年11月12日）
• Hochreiter, S., Schmidhuber, J. “Long Short-Term Memory.” Neural Computation 9(8), 1997.（確認日：2026年11月12日）
• Bahdanau, D., Cho, K., Bengio, Y. “Neural Machine Translation by Jointly Learning to Align and Translate.” arXiv:1409.0473, 2014.（確認日：2026年11月12日）
• Radford, A. et al. “Language Models are Unsupervised Multitask Learners.”（GPT-2の技術報告）OpenAI, 2019.（確認日：2026年11月12日）
• Liu, N. F. et al. “Lost in the Middle: How Language Models Use Long Contexts.” arXiv:2307.03172, 2023.（確認日：2026年11月12日）