事前学習Ⅱ LLM【事前学習Ⅱ：基礎理論 A-5】
Transformerはトークン列の順序をそのままでは知りません。絶対位置、相対位置、RoPE、ALiBiの違いから、語順と距離を表現へ組み込む設計を理解します。
2026-09
事前学習Ⅱ 
事前学習Ⅱ LLM【事前学習Ⅱ：基礎理論 A-４】
LLMは文章をそのまま読めません。BPEとSentencePiece、語彙サイズ、特殊トークン、多言語の観点から、テキストをモデル入力へ変換する設計を理解します。
事前学習Ⅱ LLM【事前学習Ⅱ：基礎理論 A-3】
Self-Attentionで集めた文脈を、深いTransformerの中で安定して変換するには何が必要か。LayerNorm、RMSNorm、GELU、SwiGLUの役割と選択の考え方を解説します。
事前学習Ⅱ LLM【事前学習Ⅱ：基礎理論 A-2】
Self-Attentionは、文脈のどこをどの程度参照するかを決めるTransformerの中心機構です。Q・K・V、Causal Mask、マルチヘッド、計算量を、役割とデータフローから理解します。