自己回帰

大規模言語モデル【Transformer：実装詳細B-3】

Causal Maskingと並列学習：訓練と推論の効率化前回はMulti-Head Attentionの計算フローを学びました。今回は、テキスト生成に不可欠なCausal Maskの実装と、訓練・推論の違いを解説します。因果的マスク（Ca...

大規模言語モデル【Transformer：基礎理論A-5】

因果的Attentionマスクと自己回帰型生成：GPTの生成原理前回は、FFNと活性化関数の役割を学びました。今回は、GPT型モデルがどのようにテキストを生成するのか、その核心である自己回帰型生成とCausal Attention Mask...