事前学習Ⅱ LLM【事前学習Ⅱ:基礎理論 B-3】 B-2の可変長バッチとRoPEを備えたTransformerに、勾配計算と重み更新を加えます。Autograd、AdamW、勾配クリッピング、学習率スケジュール、トークン数に応じた勾配累積を実装し、小さなデータで学習を確認します。 2026.11.02 事前学習Ⅱ
機械学習 【第9回】ディープラーニングの基礎とCNNの仕組み(中編) 【今回の主な内容】バッチ処理・最適化アルゴリズム今回のテーマでは、「効率的な学習」を実現するために欠かせない バッチ処理 と 最適化アルゴリズム の基礎に焦点を当てます。これらは、ディープラーニングモデルが高次元で膨大なデータを効率よく処理... 2024.12.26 ディープラーニングプログラミング機械学習