LLM【スケール則：現象の理解 D-5】

前回の D4 では、スケール則は便利である一方で、観測範囲を外れると信頼度が下がることを確認しました。では、その前提を踏まえたうえで、実際にどの構造を選べばよいのでしょうか。

今回の D5 では、Transformer、MoE、ViT、Hybrid、Recurrent のようなアーキテクチャごとに、スケーリングの効き方がどう違うのかを整理します。単に「どれが強いか」を比べるのではなく、パラメータ数、データ量、計算効率、運用のしやすさを合わせて見ながら、自分の条件に合う構造を選ぶための判断軸を作ることが目的です。

1. なぜアーキテクチャ差を見る必要があるのか?

D4 で見た通り、スケール則の係数は固定の真理ではありません。観測範囲、データ品質、学習法が少し変わるだけで、見積もりの信頼度は簡単に揺れます。そこにアーキテクチャ差まで加わると、同じ「規模を増やす」という話でも、結果の出方がかなり変わります。

同じ 10B パラメータでも、Transformer と MoE では学習の伸び方も運用コストも違います。画像系の ViT は、テキスト中心の Transformer と同じ感覚では扱えません。Recurrent や Hybrid は、データが少ない場面で別の強さを持ちます。ここを無視すると、スケール則の数字だけが先行して、設計判断を誤ります。

つまり D5 は、「どの式が正しいか」を競う章ではありません。「この前提なら、どの構造を選ぶのが自然か？」を考える章です。

2. 何が違うのか

まずは、代表的なアーキテクチャを比較します。ここでの係数は、厳密な普遍定数というより、比較のための代表値として見るほうが安全です。以下の値は Kaplan et al. (2020) および Hoffmann et al. (2022) の実験条件（数億〜数十億パラメータ規模）を基準とした参考値であり、データセットや学習設定によって変動します。

ここで重要なのは、α や β の大小を「強い・弱い」で単純に読み替えないことです。α が大きければパラメータ増加の影響が出やすく、β が大きければデータ増加の効果が出やすい、というだけです。つまり、何を増やしたときに伸びるかが違う、と捉えるほうが実務には向いています。

3. どう選ぶのか

3-1. 効率を重視するなら MoE を見る

大規模に振り切れるなら、MoE は魅力的です。少数の活性化経路だけで大きな容量を持てるため、パラメータを増やしたときの伸びが見えやすいからです。10B から 70B に広げるような場面では、標準 Transformer よりも伸びしろを取りやすい、という見方ができます。

ただし、ここで注意したいのは「見かけの容量」と「実際の学習・推論コスト」が一致しないことです。スパース性は効率の武器にもなりますが、実装難度の源にもなります。速く見えても、運用で詰まるなら意味がありません。

3-2. 安定性を重視するなら Transformer を軸にする

最も読みやすいのは、やはり標準 Transformer です。係数の挙動が比較的素直で、過去の知見も多く、実務での再現性が高いからです。Flash Attention のような改善を加えると、同じ枠組みのまま少し効率を上げやすくなります。

新しい構造を試す前の基準点としても扱いやすいので、迷ったときの比較軸としてはかなり優秀です。

3-3. データが少ないなら Hybrid や Recurrent も候補になる

データセットが十分に大きくないなら、無理に大規模構造へ寄せる必要はありません。小さなデータで学習を安定させたい場面では、Hybrid や Recurrent のほうが扱いやすい場合があります。ここでは「最大性能」ではなく「条件に対してどれだけ無理がないか」が判断軸になります。

たとえば、データが限られた社内分類タスクや、小さめのドメイン特化モデルなら、巨大な MoE を採用するより、素直な Transformer か軽い Hybrid のほうが設計しやすいことがあります。

4. 実務では何を見ればよいのか

では、実際にアーキテクチャを選ぶとき、何から決めればよいのでしょうか。アーキテクチャ選択を迷ったら、次の 4 点を順に確認すると整理しやすくなります。

1. どの規模まで増やす計画があるか
2. 学習時の GPU メモリと計算時間にどれだけ余裕があるか
3. データセット規模が十分に大きいか
4. チームがその構造を運用しきれるか

この順番で考えると、流行や印象ではなく、制約から逆算して選べます。スケール則は「伸びるかどうか」を見る道具ですが、実際の設計では「伸ばしても回るか」が同じくらい重要です。

たとえば、性能だけを追って MoE を採用したのに、推論コストと運用負荷で詰まるケースは珍しくありません。逆に、少人数・小規模データで無理なく回す前提なら、Transformer のほうが総合的に良い選択になることも多いです。良し悪しは絶対値ではなく、前提との相性で決まります。

5. よくある失敗

5-1. 見かけの性能だけでアーキテクチャを選ぶ

MoE を「とにかく高性能そうだから」と採用してしまうと、運用負荷が先に問題になります。スパース構造は推論時のメモリ消費が予測しにくく、ルーティングのチューニングにも工数がかかります。ベンチマークスコアだけを見て決めると、導入後に「動いたが想定より遅い」という事態に陥りがちです。

5-2. Transformer の係数を別構造にそのまま当てはめる

Transformer の α/β 係数を MoE や ViT に適用して計算すると、予測がずれます。アーキテクチャが変わればスケーリングの効き方も変わるため、係数は構造ごとに測定し直す必要があります。D3 で扱った実験設計を、アーキテクチャ単位で実施するのが理想です。

5-3. 学習効率だけを見て推論コストを見落とす

学習時の Loss の下がり方だけを追いかけてアーキテクチャを選ぶと、推論フェーズで想定外のコストが発生することがあります。特に MoE は学習時の効率が良く見える一方で、推論時のレイテンシやメモリが線形に増えるとは限りません。選択の評価軸に、推論コストと運用負荷も含める必要があります。

要するに、アーキテクチャ差は「数値の差」ではなく「前提の差」として読む必要があります。

6. ここから何を持ち帰るべきか

D5 で確認した事実を整理します。

• アーキテクチャごとに α/β 係数は異なり、パラメータ増加とデータ増加の効き方が変わる
• MoE は大規模化で伸びしろが大きいが、運用負荷も大きい
• Transformer は基準点として扱いやすく、再現性が高い
• ViT、Hybrid、Recurrent は用途やデータ量に応じて選択肢になる
• 選択の軸は「どれが強いか」ではなく「自分の条件に合うか」である

この見方が入ると、D4 で確認した「限界」は弱点ではなく、判断の精度を上げるための前提になります。

7. まとめ

D5 では、アーキテクチャが変わるとスケーリングの見え方も変わることを整理しました。Transformer は基準点として扱いやすく、MoE は大規模化で伸びやすく、ViT は画像系で意味があり、Hybrid や Recurrent は制約のある場面で選択肢になります。

重要なのは、どれが絶対的に優れているかではなく、自分のデータ量、計算資源、運用体制に対してどれが自然かを見極めることです。スケール則を読むときも、モデルを選ぶときも、前提との相性が判断の中心になります。

8. 今回のブログの考察

D4 が「どこまで信じてよいか」を扱った章だとすれば、D5 は「どの構造ならどう読むか」を扱う章でした。ここで見えてくるのは、スケール則が単独で結論を出す道具ではなく、構造差や運用条件を含めて読むための補助線だということです。

D5 を書いていて改めて感じたのは、アーキテクチャ選択の議論が「どれが正解か」に偏りすぎていることです。実務で必要なのは正解探しではなく、自分の計算資源、データ量、運用体制と照らし合わせて、「この構造なら無理なく回せるか」を判断することです。

また、今回の比較表の数値はあくまで代表値であり、実際のプロジェクトで使う場合は、自分のデータと環境で再測定することを推奨します。スケール則は一度測れば終わりではなく、条件が変わるたびに見直すものだという認識を持っておくと、長期的に役立ちます。

次の D6 では、この比較を踏まえて、今後のスケーリング研究がどこへ向かうのかを見ます。アーキテクチャの違いを押さえたうえで未来を考えると、議論の精度はさらに上がるはずです。

このシリーズの案内

• D-4: スケール則の限界と信頼性
• D-6: 今後のスケーリング研究

参考文献

1. Fedus, W., et al. (2022). “Switch Transformers: Scaling to Trillion Parameter Models.”
2. Dosovitskiy, A., et al. (2021). “An Image is Worth 16×16 Words: Transformers for Image Recognition at Scale.”