データセット戦略 LLM【事前学習：データセットC-3】
Dolmaと前処理の体系化：再現可能な6段階パイプライン2023年、AllenAIが公開したDolmaは、データセット前処理を「職人技」ではなく、再現可能な手順として整理しようとしたプロジェクトです。本記事では、透明性と再現性を重視した6段...
事前学習
データセット戦略 
データセット戦略 LLM【事前学習：データセットC-2】
The Pileと多様性の発見：22ソース統合がもたらした性能革命2020年、EleutherAIが公開したThe Pileは、LLMデータセット設計の見方を少し変えました。単に量を増やすのではなく、どんな種類のテキストをどう混ぜるかが重要...
データセット戦略 LLM【事前学習：データセットC-1】
Common Crawlとスケール戦略：LLMデータセットの出発点大規模言語モデル（LLM）の性能は、訓練データの量と質に大きく左右されます。では、その土台になるデータはどこから来るのでしょうか。本記事では、LLM訓練データの出発点としてよ...
実装詳細 LLM【事前学習：実装詳細B-7】
推論最適化と実装上の工夫：Mixed Precision, Gradient Checkpointing, 数値安定性175Bパラメータのモデルを訓練するには、単純な実装では2.5TB以上のメモリが必要です。本記事では、このような超大規模モ...
実装詳細 LLM【事前学習：実装詳細B-６】
Transformer進化系とスケーリング最適化：ALBERT, GQA, Flash Attentionの革新オリジナルのTransformer（2017年）から7年、多くの革新的な改良が積み重ねられてきました。本記事では、現代の大規模L...
実装詳細 LLM【事前学習：実装詳細B-5】
残差接続と層正規化の詳細実装12層以上の深いTransformerを安定して訓練するには、残差接続（Skip Connection）と層正規化（Layer Normalization）が不可欠です。本記事では、これらの技術がなぜ必要で、どう...
実装詳細 LLM【事前学習：実装詳細B-4】
FFNと活性化関数の実装：4倍拡張MLPと非線形変換の理論Transformerモデルのパラメータの66%はFFN層に集中しています。この一見シンプルな2層MLPが、なぜこれほど大きな役割を担うのか。本記事では、FFNの詳細構造と活性化関数...
実装詳細 LLM【事前学習：実装詳細B-3】
Causal Maskingと並列学習：訓練と推論の効率化前回はMulti-Head Attentionの計算フローを学びました。今回は、テキスト生成に不可欠なCausal Maskの実装と、訓練・推論の違いを解説します。因果的マスク（Ca...
実装詳細 LLM【事前学習：実装詳細B-2】
Multi-Head Attentionの詳細アルゴリズム：行列演算の完全追跡前回はEmbedding層の実装を学びました。今回は、Transformerの心臓部であるMulti-Head Attentionの計算フローを、行列形状とともに...
実装詳細 LLM【事前学習：実装詳細B-1】
Embedding層と入出力形状の追跡：BPEからベクトル化までブログA（基礎理論）では、Transformerの全体構造を学びました。ここからは、各コンポーネントの実装詳細を深掘りしていきます。まずは、テキストをモデルが処理できる形式に変...