Pre-norm

LLM【事前学習Ⅱ：基礎理論 A-6】

Attention、FFN、正規化、位置表現を、実際のTransformerブロックとしてどう組み合わせるか。Pre-Norm、層数、ヘッド数、中間次元を、性能・計算量・安定性のトレードオフから考えます。

事前学習Ⅱ

LLM【事前学習Ⅱ：基礎理論 A-3】

Self-Attentionで集めた文脈を、深いTransformerの中で安定して変換するには何が必要か。LayerNorm、RMSNorm、GELU、SwiGLUの役割と選択の考え方を解説します。

事前学習Ⅱ

LLM【事前学習：実装詳細B-5】

残差接続と層正規化の詳細実装12層以上の深いTransformerを安定して訓練するには、残差接続（Skip Connection）と層正規化（Layer Normalization）が不可欠です。本記事では、これらの技術がなぜ必要で、どう...