RMSNorm

Self-Attentionで集めた文脈を、深いTransformerの中で安定して変換するには何が必要か。LayerNorm、RMSNorm、GELU、SwiGLUの役割と選択の考え方を解説します。