LLM【スケール則：現象の理解 D-4】

前回の D3 では、スケール則を実験でどう確かめるかを整理しました。D4 ではその続きとして、そもそもその予測をどこまで信じてよいのかを見ます。

スケール則は強力ですが、万能ではありません。観測範囲、データ品質、アーキテクチャ、学習アルゴリズムが少し変わるだけで、見積もりの信頼度は大きく変わります。この章の役割は、式を覚えることではなく、どこで慎重になるべきかを判断できるようにすることです。

1. なぜ D4 で限界と信頼性を扱うのか？

D3 までで、スケール則を測る方法は見えてきました。しかし、測れることと信じてよいことは同じではありません。実務では、外挿してよい範囲を超えて結論を出してしまうと、配分も設計も外れやすくなります。

ここで確認したいのは、スケール則が「使える場面」と「危うくなる場面」の境目です。その境目を知らないままだと、D5 でアーキテクチャを選ぶときにも、前提がずれたまま議論してしまいます。

2. スケール則はどこまで検証されているのか？

スケール則 $L(N,D) = E/N^\alpha + B/D^\beta + C$ は、実験的にかなり広い範囲で検証されています。ただし、検証済みの範囲と、外挿している範囲は分けて考える必要があります。

ここでの結論は単純です。観測範囲を大きく超える外挿ほど、信頼度は下がります。式がきれいでも、データの外側までそのまま延長できるとは限りません。

なお、PaLM（540B）や近年の 1T〜2.5T トークン規模の学習は、Kaplan/Hoffmann の元論文が係数を推定した範囲そのものではなく、後年の実践例として外挿・応用されている点に注意してください。

3. 何が隠れた仮定になっているのか？

スケール則は、見た目ほど単純ではありません。実際には、いくつかの前提が暗黙に入っています。

3-1. データ品質は一定だと仮定している

同じサイズでも、C4 のような一般 Web データと、高品質にキュレーションされたデータでは、出てくる性能が変わります。

※ここでの倍率は具体的な論文値ではなく、品質差がスケール則の見え方を変えることを示すための概念的な目安です。実際の改善幅はデータセットや評価指標によって大きく変わるため、固有の数値を引用する場合は出典を明記してください。

つまり、同じ N と D でも、品質が変わればスケール則の見え方も変わります。そこで、品質補正を入れた修正版スケール則を考えます。

ここで $Q$ はデータ品質スコアです。品質を無視すると、見積もりが楽観的になりやすいです。

「データ量が同じなら同じ性能になる」は誤りです。キュレーションされた高品質データは、同じパラメータ数とデータ量の条件下でも、到達損失を明確に改善させる方向に働きます。

3-2. アーキテクチャは不変だと仮定している

標準的な Transformer で成立した係数を、そのまま MoE や ViT に当てはめると、ずれが出ます。アーキテクチャが変わると、係数も変わるからです。

ここで重要なのは、アーキテクチャが違えば、同じスケール則でも効果が変わるということです。

3-3. 学習アルゴリズムは不変だと仮定している

Adam を前提にした見積もりが、SGD や別の最適化手法でも同じとは限りません。学習法が変わると、収束速度や最終性能も変わります。

このため、スケール則は「モデルとデータだけの式」ではなく、学習の仕方まで含めた近似だと考えたほうが安全です。

4. どんなときに成立しにくいのか？

4-1. 極小スケールでは外れやすい

10M パラメータ未満のような極小スケールでは、Power Law がうまく当てはまらないことがあります。これは、ネットワークとしての最小有効サイズを下回っている可能性があるからです。

4-2. 学習の進行に伴って係数が変わる

学習初期は改善が大きくても、後半になるほど改善は鈍ります。つまり、訓練のどの段階を見ているかによって、実質的な係数の見え方は変わります。

4-3. タスクによって係数は変わる

※元の版にあった α=0.076／0.089 のような具体的な係数値は、特定の論文で確認できなかったため削除しました。下流タスクごとの係数は実験設定（データセット、評価指標、モデルファミリー）に強く依存するため、断定的な数値を示す場合は必ず一次資料を明記してください。

この表が示しているのは、タスクが変われば、同じ式でも効き方が変わるということです。

5. 信頼度はどう見積もるのか？

スケール則予測は、信頼度を 3 段階で考えると判断しやすくなります。

6. 修正版スケール則はどう考えればよいのか？

理論式をそのまま使うのではなく、品質やアーキテクチャの違いを補正したうえで見ると、実務では扱いやすくなります。

class RevisedScalingLaw:
    """修正版スケール則の簡易例"""

    def predict_loss(self, n, d, quality_score=1.0, architecture='transformer', task='lm'):
        alpha_base, beta_base = self._get_parameters(architecture, task)

        loss = 1.0 * (n ** -alpha_base) + 0.5 * (d ** -beta_base)
        loss = loss * (quality_score ** -0.3)

        confidence = self._evaluate_confidence(n, d, architecture, task)

        return {
            'loss': loss,
            'confidence': confidence,
            'alpha': alpha_base,
            'beta': beta_base,
        }

    def _get_parameters(self, architecture, task):
        # 注意: 以下の係数は概念を示すためのプレースホルダーです。
        # 実運用では、自分の学習・評価データで実測してフィットさせてください。
        # (transformer, lm) の値は Kaplan et al. (2020) / Hoffmann et al. (2022) の
        # オーダー感を参考にしていますが、他の値は出典のある実測値ではありません。
        params = {
            ('transformer', 'lm'): (0.076, 0.076),
            ('transformer', 'translation'): (0.089, 0.085),  # 要実測（仮値）
            ('transformer', 'classification'): (0.052, 0.081),  # 要実測（仮値）
            ('moe', 'lm'): (0.12, 0.14),  # 要実測（仮値）
            ('vit', 'lm'): (0.08, 0.09),  # 要実測（仮値）
        }
        return params.get((architecture, task), (0.076, 0.076))

    def _evaluate_confidence(self, n, d, architecture, task):
        score = 0

        if 1e9 <= n <= 1e11:
            score += 2
        elif 1e8 <= n <= 1e12:
            score += 1

        if 1e10 <= d <= 2e12:
            score += 2
        elif d > 2e12:
            score += 1

        if architecture == 'transformer':
            score += 1

        if task == 'lm':
            score += 1

        confidence_map = {0: 'low', 1: 'low', 2: 'medium', 3: 'medium', 4: 'high', 5: 'high', 6: 'high'}
        return confidence_map.get(score, 'low')

この実装は完成品というより、どこに補正を入れるべきかを示すためのものです。

7. 実務ではどう使えばよいのか？

スケール則を使うときに大事なのは、最初から断定しないことです。まずは予測を置き、その予測がどの条件で崩れそうかを見ます。

7-1. よくある失敗

• 観測範囲を超えた外挿をそのまま信じる
• データ品質の差を無視する
• タスクやアーキテクチャの違いを同じ式で片づける

7-2. どう判断するとよいのか？

この見方にしておくと、D5 のアーキテクチャ比較でも、何を前提にしてよいかがはっきりします。

8. 次に進む前に何を確認すべきか？

本番の判断に進む前に、少なくとも次を確認したほうがよいです。

• 自分たちの N と D は検証済み範囲に入っているか？
• データ品質を補正せずに判断していないか？
• 標準 Transformer 以外を、標準の係数で見ていないか？
• 学習アルゴリズムの違いを見落としていないか？
• 外挿が必要なら、感度分析やパイロット実験を入れているか？

この確認は、慎重になりすぎるためではありません。どこから先が推測で、どこまでが比較的確かな事実かを分けるためのものです。

9. まとめ

D4 の重要な教訓は、スケール則は便利な近似だが、前提を外すと簡単に弱くなるという点です。観測範囲、品質、アーキテクチャ、学習法が変われば、同じ式でも信頼度は変わります。

今回の要点は次の通りです。

• スケール則は観測範囲内では強いが、外挿には注意が必要である
• データ品質、アーキテクチャ、学習法は隠れた仮定になっている
• 極小スケールや極端な外挿では成立しにくい
• 信頼度は High / Medium / Low で分けると判断しやすい
• 修正版スケール則では、品質補正と信頼度評価を入れると実務で扱いやすい

最適な使い方は、式を盲信することではありません。どの前提なら信じてよいかを先に決めることです。

10. 今回のブログの考察

D4 は、D3 で整えた実験結果をどう解釈するかの最終安全装置です。測定できたからといって、そのまま信じてよいわけではないことを示しています。

この章で見たように、スケール則は強力ですが、品質や構成が変わるとすぐに見え方が変わります。だからこそ、限界を知ったうえで使うことが重要です。

次の D5 では、この流れを受けて、アーキテクチャごとにスケーリングの特性がどう違うのかを見ていきます。ここでの限界の見方が、そのまま比較の基準になります。

参考文献

1. Hoffmann, J., et al. (2022). “Training Compute-Optimal Large Language Models.” DeepMind.
2. Kaplan, J., et al. (2020). “Scaling Laws for Neural Language Models.” OpenAI.

関連リンク

前のセクション

• D-3: 実験的検証と測定方法

次のセクション

• D-5: アーキテクチャ別スケーリング特性