過学習

現象の理解

LLM【スケール則:現象の理解 D-2】

訓練終盤で突然テスト性能が急上昇するGrokking現象を解説。過学習→スタグネーション→サージの3段階、発生条件、LLMとの関係を詳解。
データセット戦略

LLM【事前学習:データセットC-7】

特化データセット戦略とドメイン最適化:医療・法律・コード・金融への応用汎用LLMを特定ドメインに特化させることで、専門タスクでの性能を大幅に向上できます。本記事では、ドメイン特化の戦略と注意点を詳解します。1. FineWeb-edu:教育...
機械学習

【第5回】モデル評価と最適化(前編)

第5回の目標第5回の目標は、機械学習モデルの評価と最適化に関する技術を深く理解し、実践的なスキルを身につけることです。具体的には、モデルの性能を正確に評価するための各種モデルの指標(精度、適合率、再現率、F1スコア、AUC-ROC曲線、平均...