コンテキスト長

実装と検証

LLM【スケール則:実装と検証B-9】

RoPE(Rotary Positional Embedding)の基礎から、長文コンテキスト拡張時のrope_theta、位置補間、NTK-aware、YaRN系の考え方まで。実装時に失敗しやすいポイントを整理。