B-5:FlashAttentionを使いこなす
B-4では、FP16やBF16を使い分けて、モデル全体のメモリ使用量と計算効率を改善する混合精度を扱いました。しかし、系列長が大きくなると、型を低精度へ変えるだけでは解決しない問題が残ります。Self-Attentionでは、トークン同士の関係を表す大きな行列を扱うため、GPUメモリとのデータ移動そのものが処理時間とメモリ使用量を左右しやすくなるからです。
FlashAttentionは、Attentionの意味を近似で変える手法ではありません。計算順序とGPUメモリへの読み書きを工夫し、標準的なAttentionと同じ結果を得ながら、途中の大きな行列を高帯域メモリへ何度も保存しないようにするアルゴリズムです。
今回は、FlashAttentionが何を改善し、何を改善しないのかを整理します。独自のPythonループでカーネルを再実装するのではなく、PyTorchのscaled_dot_product_attentionを通じて最適化済みの実装を利用し、実測で採用を判断する方法を扱います。次回B-6では、単一GPU内の効率化から、複数GPUへ学習を広げる分散学習へ進みます。
1. Attentionでは、なぜメモリアクセスが問題になるのか?
Self-Attentionでは、QueryとKeyから各トークン対のスコアを作り、Softmaxを通してValueを重み付きで足し合わせます。系列長をT、1ヘッドの次元をDとすると、スコア行列はおおむねT × Tの大きさになります。
標準的な実装でこの行列を明示的に作ると、スコア、Softmax後の重み、その勾配などがGPUの高帯域メモリへ書き込まれ、後で読み戻されます。計算器が行列積を高速に実行できても、メモリへの移動が待ち時間の大きな部分を占めれば、GPUを十分に使い切れません。
| 系列長を増やしたときの要素 | 増え方 | 実務上の影響 |
|---|---|---|
| Q・K・Vの表現 | おおむね線形 | 活性化メモリやKVキャッシュが増える |
| Attentionスコア行列 | おおむね二乗 | 訓練時の中間テンソルが急増する |
| Attentionの演算量 | おおむね二乗 | 長い系列では計算時間が増える |
| GPUメモリへの入出力 | 実装に依存 | 演算より先にボトルネックになる場合がある |
FlashAttentionは二乗の計算量を消す手法ではありません。密なAttentionを使う限り、トークン対を扱う計算は残ります。主な狙いは、同じ計算をより少ないGPUメモリ入出力で実行し、途中の巨大な行列を保持しないことです。
2. FlashAttentionは何を変え、何を変えないのか?
FlashAttentionは、Query・Key・Valueを小さなブロックに分け、GPUの高速なオンチップメモリを活用しながら計算します。各ブロックの計算中に、Softmaxに必要な最大値と正規化のための統計量を更新することで、全てのAttention行列を保存せずに出力を作れます。
| 観点 | 標準的な素直な実装 | FlashAttention |
|---|---|---|
| Attentionの定義 | Q・K・VからSoftmax重みを作る | 同じ定義を計算する |
中間のT × T行列 |
明示的に保持しやすい | 原則として全体を保持しない |
| Softmax | 行列全体を見て計算する | ブロックごとの統計量を使って逐次更新する |
| 主な改善対象 | 実装による | GPUメモリ入出力と中間メモリ |
| 出力の性質 | 実装に依存 | 理論上は標準Attentionと同じ結果を目指す |
「Flash」という名前から、Attentionの計算を省略する近似法だと捉えられることがあります。しかし、基本となるFlashAttentionは正確なAttention計算です。疎なAttention、KVキャッシュの圧縮、線形Attentionのように、計算する関係そのものを変える方法とは役割が異なります。
3. オンラインSoftmaxは、なぜ正しい結果を保てるのか?
Softmaxを安定して計算するときは、最大値を引いて指数関数の値が大きくなりすぎないようにします。FlashAttentionでは、Keyのブロックを順に読むたびに、各Queryについて次の三つを更新します。
- それまでに見たスコアの最大値
- 最大値で調整した指数和
- Valueを重み付きで足し合わせた出力
新しいブロックに、これまでより大きいスコアが含まれていた場合、以前の指数和と出力を新しい最大値に合わせて再スケーリングします。これにより、前のブロックの情報を捨てずに、全ブロックを通したSoftmaxと整合する値を保てます。
ここで重要なのは、「ブロック単位で別々のSoftmaxを取る」わけではない点です。それでは各ブロックの重みの合計がそれぞれ1になり、全体のAttentionとは異なる結果になります。オンラインSoftmaxは、ブロックを分けても全体で一つの正規化を計算するための仕組みです。
4. PyTorchでは、どのように使うのか?
通常は、FlashAttention専用のPython実装を書く必要はありません。PyTorchのtorch.nn.functional.scaled_dot_product_attention(SDPA)へQ・K・Vを渡すと、CUDAの環境、入力形状、データ型、マスクの条件に応じて、利用可能な最適化済みのバックエンドが選ばれます。対応環境ではFlashAttention系のカーネルが候補になります。
ただし、SDPAを呼べば必ずFlashAttentionカーネルが使われるとは限りません。GPUの世代、PyTorchとCUDAの組み合わせ、head dimension、dtype、dropout、マスクの形状などによって、別の効率的な実装や数学的な実装が選ばれることがあります。実際にどの経路が選ばれるかは、対象環境で確認します。
以下は、B-1のCausal Self-AttentionをSDPAで書く最小例です。Q・K・Vの形状は(batch, heads, sequence, head_dim)とし、自己回帰モデルではis_causal=Trueで未来トークンを隠します。
import torch
import torch.nn.functional as F
def efficient_causal_attention(
query: torch.Tensor,
key: torch.Tensor,
value: torch.Tensor,
*,
dropout_p: float = 0.0,
training: bool = False,
) -> torch.Tensor:
"""Q・K・Vの形状は (batch, heads, sequence, head_dim)。"""
if query.ndim != 4:
raise ValueError("query, key, value は4次元テンソルで渡します")
return F.scaled_dot_product_attention(
query,
key,
value,
attn_mask=None,
dropout_p=dropout_p if training else 0.0,
is_causal=True,
)
batch_size, n_heads, seq_len, head_dim = 2, 4, 128, 32
q = torch.randn(batch_size, n_heads, seq_len, head_dim, device="cuda")
k = torch.randn_like(q)
v = torch.randn_like(q)
output = efficient_causal_attention(q, k, v, dropout_p=0.1, training=True)
assert output.shape == q.shape
paddingを含む可変長バッチでは、Causal Maskとpaddingマスクの両方を正しく扱う必要があります。B-2で作ったマスクをSDPAへ渡す場合は、is_causal=Trueとの組み合わせが利用中のPyTorch実装でどう扱われるかを確認し、同じ入力に対して基準実装と出力を比較しましょう。
5. 導入前に、何を確認するのか?
FlashAttention系の実装は、すべての入力条件で同じ利点を得られるわけではありません。導入前に、まず次を確認します。
| 確認項目 | 確認する理由 |
|---|---|
| GPUとCUDA・PyTorchの対応 | 利用可能な最適化済みカーネルが異なるため |
| dtypeとhead dimension | バックエンド選択や性能に影響するため |
| Causal Mask・paddingマスク | 正しさを壊さずに置き換えるため |
| 学習時か推論時か | dropoutや必要な中間状態が異なるため |
| 系列長とバッチサイズ | 効果は入力規模によって大きく変わるため |
特に、短い系列や小さなバッチでは、最適化カーネルの起動コストにより差が小さい、あるいは計測のばらつきに埋もれることがあります。逆に、長い系列でOOMが起きていた場合、同じGPUで扱える系列長やバッチサイズが増えること自体に大きな価値があります。
6. 正しさと性能を、どのように検証するのか?
最初に見るべきは速度ではなく、出力の正しさです。基準実装と最適化実装を同じ重み・同じ入力・dropout無効の条件で比較し、出力の差が許容範囲に収まることを確認します。低精度では丸め誤差が起こるため、ビット単位の完全一致ではなく、許容誤差を持つ比較が現実的です。
torch.testing.assert_close(
optimized_output.float(),
reference_output.float(),
rtol=1e-3,
atol=1e-3,
)
性能比較では、ウォームアップ、GPU同期、複数回測定を行います。CUDAの処理は非同期なので、同期を取らずに時計だけを読むと、実際の計算時間を測れません。
import time
def measure_cuda_ms(fn, warmup: int = 10, repeats: int = 50) -> float:
for _ in range(warmup):
fn()
torch.cuda.synchronize()
started = time.perf_counter()
for _ in range(repeats):
fn()
torch.cuda.synchronize()
return (time.perf_counter() - started) * 1_000 / repeats
測定では、1ステップの時間だけでなく、ピークGPUメモリ、学習Loss、検証指標も同時に記録します。速度が向上しても、誤ったマスクで未来の情報を参照していれば、その結果は採用できません。
7. よくある誤解と失敗
7.1 FlashAttentionで二乗の計算量が消える
FlashAttentionは密なAttentionの計算を正確に実行します。そのため、系列長に対する二乗の演算量そのものは残ります。長い文脈での速度やメモリを改善できても、無制限に系列長を伸ばせるわけではありません。
7.2 Pythonのforループでブロック計算を書けば同じになる
オンラインSoftmaxの考え方を学ぶために、Pythonでブロック計算を書くことはできます。しかし、Pythonループはカーネル起動回数を増やし、GPUのオンチップメモリをFlashAttentionのようには管理できません。性能目的では、PyTorch SDPAや専用ライブラリの最適化済みカーネルを使います。
7.3 SDPAを呼べば必ずFlashAttentionになる
SDPAは複数のバックエンドから条件に合うものを選びます。最適化カーネルを利用できない条件では、別の実装へフォールバックします。速度差が出ないときは、コードの誤りと決めつけず、入力形状、dtype、GPU、実際に選ばれた経路を調べます。
7.4 速度だけを見て置き換える
Attentionの最適化は、マスクやdropout、dtypeの扱いを変えやすい箇所です。出力の近さ、学習の再現性、目的タスクの品質、メモリ使用量を確認してから採用します。特にCausal Maskとpaddingマスクを一緒に使う場合は、テストケースを分けて検証しましょう。
8. まとめ:演算量ではなく、データ移動も設計する
今回の要点を整理します。
- FlashAttentionはAttentionを近似する手法ではなく、同じAttentionをより少ないメモリ入出力で計算するアルゴリズムである
- 密なAttentionの二乗の演算量は残るが、巨大な中間行列を保持しないことでメモリ制約を緩和できる
- オンラインSoftmaxは、ブロックを分けても全体のSoftmaxと整合する値を保つための仕組みである
- PyTorchではSDPAを入口にし、条件に応じた最適化済みバックエンドを利用する
- SDPAが必ずFlashAttentionを選ぶわけではないため、対象環境での確認と実測が必要である
- 導入時は、出力の近さ、マスクの正しさ、ピークメモリ、速度、学習品質をまとめて比較する
GPU最適化では、演算回数だけを減らすことがすべてではありません。どのデータを、どこへ、何回読み書きするかを設計することも、長い文脈を扱うTransformerでは重要です。
9. 今回のブログの考察:B-6への橋渡し
B-5では、一つのGPUの中でAttentionのメモリアクセスを最適化しました。しかし、モデルやデータがさらに大きくなると、単一GPUに収めること自体が難しくなります。そのとき必要になるのが、複数GPUへデータと計算を分配し、勾配を正しく同期する仕組みです。
次回B-6では、PyTorch Distributed Data Parallel(DDP)を中心に、複数GPUで同じモデルを学習する基本を扱います。単一GPUの処理を速く、軽くする工夫を、複数GPUで正しく協調させる段階へ進めましょう。
参考文献
- Dao, T., Fu, D. Y., Ermon, S., Rudra, A., & Ré, C. (2022). “FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness.” NeurIPS 2022. https://arxiv.org/abs/2205.14135
- Dao, T. (2023). “FlashAttention-2: Faster Attention with Better Parallelism and Work Partitioning.” https://arxiv.org/abs/2307.08691
- PyTorch. “torch.nn.functional.scaled_dot_product_attention.” https://pytorch.org/docs/stable/generated/torch.nn.functional.scaled_dot_product_attention.html
このシリーズの案内
ブログB「Transformer実装」では、Aシリーズで整理した設計を、PyTorchの実装・最適化・運用上の工夫へ段階的に落とし込みます。
| # | テーマ | 内容 |
|---|---|---|
| B-1 | Transformerブロック実装 | Causal Attention、FFN、Pre-Norm、次トークン予測 |
| B-2 | バッチ処理と位置エンコーディング | padding、DataLoader、RoPE |
| B-3 | 自動微分と最適化 | backward、AdamW、勾配クリッピング |
| B-4 | 混合精度演算 | FP16・BF16、Autocast、GradScaler |
| B-5 | FlashAttention | Attentionの高速化とメモリ効率(今回) |
| B-6 | 分散学習とDDP | 複数GPUでの学習 |
| B-7 | メモリ最適化 | 活性化・KVキャッシュ・チェックポイント |
前の記事
次に読む
実装を深掘りしたい方へ
- B-2:バッチ処理と位置エンコーディングの実装
- B-7:メモリ最適化とKVキャッシュ

コメント