拡散モデルとテキストから画像：ノイズを少しずつ消して絵を描く｜生成AIのしくみ 第10回

ネットワークが学ぶこと：「混ざっているノイズを当てる」

拡散モデルの学習で、ニューラルネットワークが解く問題は、次のようなものです。

1. 学習データからきれいな画像を1枚選ぶ
2. ランダムに選んだ段階（たとえば「100段階中の37段階目」）に相当する量のノイズを、画像に加える
3. ノイズの混ざった画像と、何段階目かの情報をネットワークに渡す
4. ネットワークに「この画像に加えられたノイズはどれか」を予測させる
5. 実際に加えたノイズと比べて、ずれ（損失）が小さくなるように重みを直す

ポイントは、正解（実際に加えたノイズ）が自分で分かっていることです。第5回のLLMの事前学習と同じく、データさえあれば問題と答えをいくらでもつくれます。そして、「ノイズを当てる」という1つの課題を解くだけなので、前回のGANのような2者の競争がなく、学習が安定しやすいのです。

生成するときの手順

学習が終わったら、画像を生成するときは次のようにします。

1. 完全なランダムノイズの画像を用意する
2. ネットワークに「この中のノイズはどれか」を予測させる
3. 予測したノイズを少しだけ差し引く
4. 2〜3を何十回（手法によっては数回〜数百回）繰り返す
5. 最後に残ったものが、生成された画像

彫刻家が大理石の塊から、少しずつ余分な部分を削って像を彫り出すのに似ています。最初はぼんやりした形（構図や大きな色のかたまり）が現れ、段階が進むにつれて細部（輪郭や質感）が整っていきます。

もう一歩深く
拡散モデルの原型は2015年に提案されましたが、注目を集めたのは2020年のDDPM（Denoising Diffusion Probabilistic Models）で、高品質な画像生成が示されました。生成に何百段階も必要なのが弱点でしたが、その後、少ない段階で済ませる工夫（DDIMなどの高速なサンプリング手法）や、少ない段階で生成できるよう別のモデルに学び直させる「蒸留」の研究が進み、生成時間は大きく短縮されています。また、ノイズの取り除き方を「ノイズの分布から画像の分布への流れ」として捉え直す、フローマッチングと呼ばれる考え方も広く使われるようになっています。

言葉で画像を指定する：CLIPと「条件付け」

ここまでの説明だけでは、「何か意味のある画像」はできても、「夕暮れの海辺を歩く犬」のように、言葉で指定した画像はつくれません。言葉の指示を反映させるには、2つの技術が鍵になります。

CLIP：画像と文章を同じ地図に並べる

2021年にOpenAIが発表したCLIP（Contrastive Language-Image Pre-training）は、インターネット上の大量の「画像とその説明文のペア」を使って、画像と文章を同じ埋め込みの空間（地図）に並べるように学習したモデルです。

学習の考え方は、次のようなものです。

• 画像用のネットワークと、文章用のネットワークを用意する
• 正しいペア（犬の写真と「芝生の上の犬」）は、地図の上で近くに置かれるようにする
• 間違ったペア（犬の写真と「夜の高層ビル」）は、遠くに置かれるようにする

こうして学習すると、「犬」という言葉の埋め込みと、犬の写真の埋め込みが、同じ地図の近い場所に来るようになります。第3回で見た「言葉の地図」に、画像も一緒に載るようになったイメージです。これにより、言葉と画像の意味の近さを計算できるようになりました。

条件付け：各段階で言葉の指示を参照させる

テキストから画像をつくる拡散モデルでは、ノイズを予測するネットワークに、ノイズの混ざった画像と段階の情報に加えて、指示文の埋め込みも渡します。ネットワークは、第4回で見た注意機構の仕組み（文章と画像の間で注意を計算する「クロスアテンション」）を使って、画像の各部分を描くときに、指示文のどの言葉を参照すべきかを判断します。

「夕暮れの海辺を歩く犬」なら、画面の下の方を描くときは「海辺」に、中央の物体を描くときは「犬」に、全体の色合いを決めるときは「夕暮れ」に、強く注意を向ける、といった具合です。こうして、各段階のノイズ除去が、指示文の内容に沿った方向へ導かれていきます。この仕組みを「条件付け」と呼びます。

指示をどれだけ強く効かせるか：ガイダンス

画像生成ツールの設定に、「指示への忠実度」や「CFGスケール」といった項目を見かけることがあります。これは、指示文をどれくらい強く反映させるかを調整するものです。

仕組みとしては、生成の各段階で「指示文ありの場合のノイズの予測」と「指示文なしの場合のノイズの予測」の両方を計算し、その差を強調する方向に進めます（Classifier-Free Guidanceと呼ばれる方法）。

• 強くする：指示に忠実になるが、色が濃すぎたり、不自然になったりしやすい
• 弱くする：自然で多様になるが、指示から外れやすい

この記事の監修者に相談できます

監修者の田中磨生が代表を務める株式会社Abinで、ご相談をお受けしています。

相談無料ツギノテ編集部に相談する→

プロンプトの効き方を、仕組みから理解する

仕組みが分かると、画像生成のプロンプト（指示文）について、いくつかのことが見えてきます。

よくある誤解：プロンプトに呪文のような単語を大量に並べるほど、良い画像になる

画像生成AIの初期には、品質を上げるとされる単語を大量に並べる書き方が流行しました。モデルによっては効果がある場合もありますが、言葉の理解が進んだ最近のモデルでは、作りたい画像の内容を、自然な文章で具体的に説明する方が意図が伝わりやすいことが多くなっています。どの書き方が効くかはモデルごとに違うため、各ツールの公式ガイドを確認するのが確実です。

実務ではこう使う：拡散モデルの性質を生かす

• ラフ案を量産して選ぶ：出発点のノイズを変えるだけで、同じ指示から多様な案が出せます。広告やバナーのラフ案を多めに出し、人が方向性を選ぶ使い方に向いています。
• 気に入った案は「シード値」と指示を記録する：後から似た画像を再現・微調整しやすくなります。
• 部分の描き直しで仕上げる：全体を作り直すより、気になる部分だけを描き直す機能を使う方が効率的です。
• 文字や正確な数は人が仕上げる：ロゴや文字入れ、正確な個数が必要な素材は、生成後にデザインツールで仕上げる前提で使います。

動画も含めた生成ツールの選び方はAI動画生成ツールのおすすめ比較、社内展開の進め方は生成AIの成功事例も参考になります。

この回のまとめ

• 拡散モデルは、画像にノイズを加える過程の「逆再生」を学び、ノイズから少しずつ画像を浮かび上がらせる。
• ネットワークの課題は「混ざっているノイズを当てる」こと。1つの課題を解くだけなので、学習が安定しやすい。
• CLIPは画像と文章を同じ地図に並べ、言葉と画像の意味の近さを計算できるようにした。
• テキストから画像をつくるときは、各段階でクロスアテンションによって指示文を参照させる（条件付け）。ガイダンスで指示の効き具合を調整する。
• 否定、正確な数、文字などは苦手になりやすい。仕組みを知ると、プロンプトの工夫や仕上げ方が見えてくる。

確認テスト

次回予告

第11回では、文字と画像以外の生成AIに目を向けます。人の声を文字にする音声認識、文章を声にする音声合成、そして動画の生成。さらに、文章・画像・音声をまとめて扱う「マルチモーダル」なAIの仕組みを見ていきましょう。

参考資料

• Sohl-Dickstein, J. et al. “Deep Unsupervised Learning using Nonequilibrium Thermodynamics.” arXiv:1503.03585, 2015.（確認日：2026年11月12日）
• Ho, J., Jain, A., Abbeel, P. “Denoising Diffusion Probabilistic Models.” arXiv:2006.11239, 2020.（確認日：2026年11月12日）
• Song, J., Meng, C., Ermon, S. “Denoising Diffusion Implicit Models.” arXiv:2010.02502, 2020.（確認日：2026年11月12日）
• Radford, A. et al. “Learning Transferable Visual Models From Natural Language Supervision.”（CLIP）arXiv:2103.00020, 2021.（確認日：2026年11月12日）
• Ho, J., Salimans, T. “Classifier-Free Diffusion Guidance.” arXiv:2207.12598, 2022.（確認日：2026年11月12日）
• Rombach, R. et al. “High-Resolution Image Synthesis with Latent Diffusion Models.” arXiv:2112.10752, 2021.（確認日：2026年11月12日）
• Lipman, Y. et al. “Flow Matching for Generative Modeling.” arXiv:2210.02747, 2022.（確認日：2026年11月12日）