ALiBi

Transformerはトークン列の順序をそのままでは知りません。絶対位置、相対位置、RoPE、ALiBiの違いから、語順と距離を表現へ組み込む設計を理解します。