事前学習Ⅱ LLM【事前学習Ⅱ:基礎理論 A-5】 Transformerはトークン列の順序をそのままでは知りません。絶対位置、相対位置、RoPE、ALiBiの違いから、語順と距離を表現へ組み込む設計を理解します。 2026.09.06 事前学習Ⅱ
実装と検証 LLM【スケール則:実装と検証B-9】 RoPE(Rotary Positional Embedding)の基礎から、長文コンテキスト拡張時のrope_theta、位置補間、NTK-aware、YaRN系の考え方まで。実装時に失敗しやすいポイントを整理。 2026.06.24 実装と検証