自己回帰

実装詳細

大規模言語モデル【事前学習：実装詳細B-3】

Causal Maskingと並列学習：訓練と推論の効率化前回はMulti-Head Attentionの計算フローを学びました。今回は、テキスト生成に不可欠なCausal Maskの実装と、訓練・推論の違いを解説します。因果的マスク（Ca...
2026.01.30
実装詳細
基礎理論

大規模言語モデル【Transformer：基礎理論A-5】

因果的Attentionマスクと自己回帰型生成：GPTの生成原理前回は、FFN と活性化関数の役割を学びました。今回は、GPT 型モデルがどの順番で単語を生成しているのかを確認しながら、その制約を支える自己回帰型生成とCausal Atte...
2026.01.26
基礎理論