Autocast

事前学習Ⅱ

LLM【事前学習Ⅱ:基礎理論 B-4】

混合精度はGPUメモリと計算効率を改善できる一方、設定を誤るとLossの発散や性能低下につながります。FP16・BF16の違い、Autocast、GradScaler、正しい検証手順をPyTorchの最小コードで解説します。