事前学習Ⅱ LLM【事前学習Ⅱ：基礎理論 B-1】
理論編で学んだAttention、FFN、残差接続、正規化を、最小のDecoder-only TransformerとしてPyTorchで実装します。形状、Causal Mask、次トークン予測を確認し、B-2のバッチ処理とRoPE実装へつなげます。
Causal Mask
事前学習Ⅱ 
事前学習Ⅱ LLM【事前学習Ⅱ：基礎理論 A-2】
Self-Attentionは、文脈のどこをどの程度参照するかを決めるTransformerの中心機構です。Q・K・V、Causal Mask、マルチヘッド、計算量を、役割とデータフローから理解します。
実装詳細 LLM【事前学習：実装詳細B-3】
Causal Maskingと並列学習：訓練と推論の効率化前回はMulti-Head Attentionの計算フローを学びました。今回は、テキスト生成に不可欠なCausal Maskの実装と、訓練・推論の違いを解説します。因果的マスク（Ca...
基礎理論 LLM【Transformer：基礎理論A-5】
因果的Attentionマスクと自己回帰型生成：GPTの生成原理前回は、FFN と活性化関数の役割を学びました。今回は、GPT 型モデルがどの順番で単語を生成しているのかを確認しながら、その制約を支える自己回帰型生成とCausal Atte...