GPUメモリ

事前学習Ⅱ

LLM【事前学習Ⅱ:基礎理論 B-5】

FlashAttentionはAttentionを近似する手法ではなく、計算途中の行列をGPUメモリへ繰り返し書き戻さないための正確なアルゴリズムです。IOボトルネック、PyTorchでの使い方、検証とベンチマークの方法を解説します。