Mixtral

Scaling Lawから見たアーキテクチャ選択。Transformer vs MoE（Mixture-of-Experts）の比較、α値の解釈、マルチモーダルモデルのパラメータ配分戦略を解説。