モデル設計

Attention、FFN、正規化、位置表現を、実際のTransformerブロックとしてどう組み合わせるか。Pre-Norm、層数、ヘッド数、中間次元を、性能・計算量・安定性のトレードオフから考えます。