Uカーブ

最適配分戦略

LLM【スケール則:最適配分戦略C-1】

Chinchilla則の発見経緯から、固定計算予算下でモデルサイズとデータ量をどう配分するかまでを整理。GopherとChinchillaの比較を通じて、最適配分の考え方を実務目線で解説。
実装と検証

LLM【スケール則:実装と検証B-3】

固定計算予算の下で、パラメータ数 N とデータセットサイズ D の配分をどう決めるかを整理します。Uカーブの見方と、μTransfer(μP)で探索コストを抑える考え方を実務寄りにまとめます。