AdamW

事前学習Ⅱ

LLM【事前学習Ⅱ:基礎理論 B-3】

B-2の可変長バッチとRoPEを備えたTransformerに、勾配計算と重み更新を加えます。Autograd、AdamW、勾配クリッピング、学習率スケジュール、トークン数に応じた勾配累積を実装し、小さなデータで学習を確認します。
機械学習

【第9回】ディープラーニングの基礎とCNNの仕組み(中編)

【今回の主な内容】バッチ処理・最適化アルゴリズム今回のテーマでは、「効率的な学習」を実現するために欠かせない バッチ処理 と 最適化アルゴリズム の基礎に焦点を当てます。これらは、ディープラーニングモデルが高次元で膨大なデータを効率よく処理...