2026-11

B-2の可変長バッチとRoPEを備えたTransformerに、勾配計算と重み更新を加えます。Autograd、AdamW、勾配クリッピング、学習率スケジュール、トークン数に応じた勾配累積を実装し、小さなデータで学習を確認します。