前回の C6 では、事前学習モデルを下流タスクにどうつなぐかを整理しました。D1 ではその続きとして、スケールを上げたときに「ある性能が突然見えるようになる」のはなぜかを扱います。
見た目には単なる性能向上でも、実際には閾値を超えた瞬間に挙動が変わることがあります。この章の役割は、その変化を「気のせい」でも「万能法則」でもなく、観測可能な現象として整理することです。
1. 創発的能力について
創発的能力は、LLM の議論の中でも特に誤解されやすい現象です。小さなモデルではほとんど見えず、一定の規模を超えると急に成立するため、単純な直線的スケーリングでは説明しにくいからです。
この章で知りたいのは、創発を大げさに扱うことではありません。どのタスクで、どんな形で、どこまで再現性があるのかを見極めることです。
言い換えると、創発は「モデルが賢くなった」という抽象的な話ではなく、In-Context Learning や Chain-of-Thought のような具体的能力の出方に現れます。そこを押さえると、次の Grokking や実験設計の章にもつなげやすくなります。
2. 創発的能力とは何か？
創発的能力（Emergent Ability）とは、小規模モデルには見られず、一定の規模を超えると突然に出現する能力のことです。
2-1. どういう特徴があるのか？
- 連続的ではなく、閾値を超えたところで跳ね上がる
- 小規模モデルでは性能がほとんど出ない
- ある規模を超えた瞬間に、急激に性能が伸びる
ここで重要なのは、伸び方が「少しずつ」ではない点です。見かけの差分は小さくても、内部では能力の持ち方が変わっている可能性があります。
2-2. 何が観測されているのか？
創発は、少なくとも In-Context Learning、Chain-of-Thought、推論タスクで観測されてきました。つまり、単なる言語補完ではなく、文脈の使い方や推論の仕方に現れやすい現象です。
3. どんなタスクで創発が見えやすいのか？
3-1. In-Context Learning はなぜ分かりやすいのか？
In-Context Learning は、例を見せるだけでモデルが新しいタスクに適応する現象です。小規模モデルでは例の意味をうまく拾えず、大規模モデルになると少数例からパターンを抽出しやすくなります。
| モデルサイズ | Few-Shot (1-2 例) | Few-Shot (5 例) | 出現閾値 |
|---|---|---|---|
| 125M | 5% | 8% | 出現せず |
| 1B | 12% | 18% | 出現せず |
| 7B | 25% | 40% | 部分的 |
| 70B | 60% | 75% | 顕著 |
| 175B | 70% | 85% | 強い |
この表が示しているのは、単にモデルが大きいほど良いという話ではありません。少数の例を使って状況を読み取る力が、ある規模を境に見え始めるということです。
Key Insight： 単にモデルが大きいから良いのではない。 「少数の例から状況を読み取る力」が、70Bの規模を境に突然機能し始める。
3-2. Chain-of-Thought は何を示しているのか？
Chain-of-Thought は、問題を段階的に説明させる方法です。Direct な回答と比べて、モデルサイズが大きくなるほど効果が見えやすくなります。
| モデルサイズ | Direct | CoT (5 ステップ) | 改善度 |
|---|---|---|---|
| 1B | 15% | 16% | +1% |
| 7B | 35% | 48% | +13% |
| 70B | 68% | 85% | +17% |
| 175B | 77% | 95% | +18% |
ここで見たいのは、CoT が単なるプロンプト技法ではなく、モデルの規模に強く依存するという点です。十分な規模がなければ、段階的推論の恩恵は小さくなります。
Key Insight:CoTは単なるプロンプト技法ではない。モデル規模に強く依存する「スケール依存の推論メカニズム」である。十分な規模（70B～）がなければ思恵は得られない。
3-3. 数学・論理推論ではどうなるのか？
GSM8K のような推論タスクでは、創発はさらに分かりやすくなります。
| モデルサイズ | Zero-Shot | Few-Shot (5 例) | Chain-of-Thought |
|---|---|---|---|
| 1B | 2% | 4% | 5% |
| 7B | 12% | 25% | 45% |
| 70B | 50% | 65% | 80% |
| 175B | 58% | 70% | 88% |
推論タスクでは、言語理解よりも高い閾値が必要になる傾向があります。つまり、同じ「創発」でも、タスクの種類によって立ち上がり方はかなり違います。
4. タスクごとに出現の仕方はどう違うのか？
| タスクカテゴリ | 出現閾値 | 出現の鮮明さ | 解釈の目安 |
|---|---|---|---|
| 言語理解 | 7B〜70B | 段階的 | パターン認識が深まる |
| 数学推論 | 70B 以上 | 急激 | 抽象化能力が立ち上がる |
| マルチリンガル | 100B 以上 | 非常に急激 | 言語間のメタ学習が起きやすい |
| コード生成 | 30B〜70B | 中程度 | 構文理解が安定しやすい |
この表で大事なのは、創発がすべてのタスクで同じように見えるわけではないことです。タスクの構造によって、必要なモデルサイズも、見え方も変わります。
5. 創発はどう説明されているのか？
ここからは、事実ではなく解釈の領域です。創発を説明する仮説はいくつかありますが、まだ決着はついていません。
5-1. 相転移モデル
物理の相転移のように、スケーリングが閾値を超えたときに新しい能力が現れるという考え方です。氷がある温度で水に変わるように、能力の状態が切り替わると見なします。
5-2. Feature Learning Hypothesis
学習の初期は単純な統計パターンに寄り、中盤以降に本質的な特徴へ移るという考え方です。創発は、一般化可能な特徴に到達した結果として見える、という解釈です。
5-3. Lottery Ticket 仮説
大規模ネットワークの中には、特定タスクに合う部分構造が見つかりやすい、という見方です。規模が大きくなるほど、当たりの部分ネットワークに出会う確率が上がると考えます。
5-4. 複雑系アプローチ
個々のニューロンではなく、全体の相互作用が閾値を超えることで新しい現象が出るという見方です。創発を、システム全体の性質として捉える立場です。
これらは互いに排他的ではありません。実際には、複数の要因が重なって創発に見えている可能性があります。
6. 実務の LLM でどう考えればよいのか？
創発は研究室の現象として語られがちですが、実務にも関係があります。ただし、研究で見られるような鮮明な創発が、必ずしもそのまま本番で再現されるとは限りません。
6-1. 何が起きやすいのか？
- In-Context Learning の精度が、モデルサイズで大きく変わる
- CoT の効き方が、あるサイズを境に明確になる
- 推論系タスクで、大規模モデルの優位がはっきりする
6-2. 何に注意すべきなのか？
- 小規模データの微調整では、創発の挙動が混ざることがある
- 研究ベンチマークで見えた現象が、そのまま業務タスクで出るとは限らない
- 「急に伸びた」ように見えても、評価設計の影響を受けている可能性がある
実務では、創発を神秘化するよりも、どの条件で見えやすいかを把握しておくほうが役に立ちます。
7. どういう見方をすると誤解しにくいのか？
創発を扱うときの失敗は、だいたい次の 3 つです。
- 連続的な改善を、すべて創発と呼んでしまう
- 逆に、閾値を超えた変化を見落としてしまう
- 1 つのベンチマークだけで現象全体を判断する
大事なのは、事実として観測された性能変化と、そこから導く解釈を分けることです。前者は比較的はっきり測れますが、後者は仮説の域を出ないことがあります。
8. 次に進む前に何を確認すべきなのか？
創発を理解する前に、少なくとも次を確認したほうがよいです。
- どのタスクで創発を見たいのかを決めたか？
- 評価指標は、連続的な改善と閾値的な変化を見分けられるか？
- モデルサイズの違いが十分にあるか？
- 研究結果と実務結果を混同していないか？
- 「創発」と「単なる性能向上」を区別できているか？
ここで大切なのは、創発を結論として先に置かないことです。まず観測し、そのあとで解釈する順番のほうが、誤読を減らしやすくなります。
この確認は、次の Grokking を理解しやすくするためのものでもあります。遅延して出る変化をどう読むかは、創発の見方を押さえると整理しやすくなります。
9. まとめ
D1 の重要な教訓は、スケールが上がると性能が直線的に伸びるとは限らない、という点です。ある閾値を超えたときに、In-Context Learning や Chain-of-Thought のような能力が急に見え始めることがあります。
今回の要点は次の通りです。
- 創発的能力は、閾値を超えたところで突然見え始める能力である
- In-Context Learning、CoT、推論タスクで特に観測されやすい
- タスクによって出現閾値は異なり、すべてが同じ形ではない
- 創発の説明には複数の仮説があり、まだ決着していない
- 実務では、創発を神秘化せず、観測条件と評価設計を分けて考えるべきである
最適な理解の仕方は、創発を特別な例外として切り離すことではありません。スケール則の延長線上で、どこから別の挙動が見え始めるのかを丁寧に見ることです。
10. 今回のブログの考察
D1 の本質は、「モデルが大きくなれば全部が少しずつ良くなる」という見方だけでは不十分だと示すことにあります。ある規模を超えたときに、能力が見え方ごと変わることがあるからです。
この章で見たように、創発的能力は、下流タスクの性能やプロンプトの効き方を考えるうえでも重要な前提になります。どの能力がどのサイズで見え始めるのかを把握しておくと、次の Grokking や実験設計の章も理解しやすくなります。
次の D2 では、この流れを受けて、訓練の後半になってから急に一般化が進む Grokking を見ていきます。
参考文献
- Wei, J., et al. (2022). “Emergent Abilities of Large Language Models.” Google Research.
- Frankle, J., & Carbin, M. (2019). “The Lottery Ticket Hypothesis.”
コメント