事前学習Ⅱ LLM【事前学習Ⅱ：基礎理論 B-3】
B-2の可変長バッチとRoPEを備えたTransformerに、勾配計算と重み更新を加えます。Autograd、AdamW、勾配クリッピング、学習率スケジュール、トークン数に応じた勾配累積を実装し、小さなデータで学習を確認します。
事前学習Ⅱ 
事前学習Ⅱ LLM【事前学習Ⅱ：基礎理論 B-2】
B-1の最小Transformerを、可変長バッチとRoPEへ拡張します。動的padding、次トークン予測用ラベル、Causal Maskとの併用を実装し、単独入力との比較で正しさを確かめます。
事前学習Ⅱ LLM【事前学習Ⅱ：基礎理論 B-1】
理論編で学んだAttention、FFN、残差接続、正規化を、最小のDecoder-only TransformerとしてPyTorchで実装します。形状、Causal Mask、次トークン予測を確認し、B-2のバッチ処理とRoPE実装へつなげます。
事前学習Ⅱ LLM【事前学習Ⅱ：基礎理論 A-7】
A-1からA-6で学んだTransformerの部品を、設計・実装・評価の流れへ統合します。目的と制約から基準構成を決め、小さな実験で確かめるための実践的な見取り図を作ります。
事前学習Ⅱ LLM【事前学習Ⅱ：基礎理論 A-6】
Attention、FFN、正規化、位置表現を、実際のTransformerブロックとしてどう組み合わせるか。Pre-Norm、層数、ヘッド数、中間次元を、性能・計算量・安定性のトレードオフから考えます。
事前学習Ⅱ LLM【事前学習Ⅱ：基礎理論 A-5】
Transformerはトークン列の順序をそのままでは知りません。絶対位置、相対位置、RoPE、ALiBiの違いから、語順と距離を表現へ組み込む設計を理解します。
事前学習Ⅱ LLM【事前学習Ⅱ：基礎理論 A-４】
LLMは文章をそのまま読めません。BPEとSentencePiece、語彙サイズ、特殊トークン、多言語の観点から、テキストをモデル入力へ変換する設計を理解します。
事前学習Ⅱ LLM【事前学習Ⅱ：基礎理論 A-3】
Self-Attentionで集めた文脈を、深いTransformerの中で安定して変換するには何が必要か。LayerNorm、RMSNorm、GELU、SwiGLUの役割と選択の考え方を解説します。
事前学習Ⅱ LLM【事前学習Ⅱ：基礎理論 A-2】
Self-Attentionは、文脈のどこをどの程度参照するかを決めるTransformerの中心機構です。Q・K・V、Causal Mask、マルチヘッド、計算量を、役割とデータフローから理解します。
事前学習Ⅱ LLM【事前学習Ⅱ：基礎理論 A-1】
TransformerがなぜLLMの基盤なのか。Embedding・Attention・FFN・Add & Normという構成要素の役割と配置の理由を、全体像から理解します。