Padding Mask

事前学習Ⅱ

LLM【事前学習Ⅱ:基礎理論 B-2】

B-1の最小Transformerを、可変長バッチとRoPEへ拡張します。動的padding、次トークン予測用ラベル、Causal Maskとの併用を実装し、単独入力との比較で正しさを確かめます。