Self-Attention

事前学習Ⅱ

LLM【事前学習Ⅱ:基礎理論 A-2】

Self-Attentionは、文脈のどこをどの程度参照するかを決めるTransformerの中心機構です。Q・K・V、Causal Mask、マルチヘッド、計算量を、役割とデータフローから理解します。
事前学習Ⅱ

LLM【事前学習Ⅱ:基礎理論 A-1】

TransformerがなぜLLMの基盤なのか。Embedding・Attention・FFN・Add & Normという構成要素の役割と配置の理由を、全体像から理解します。
機械学習

【第10回】時系列データ解析と自然言語処理の基礎(後編)

【今回の主な内容】時系列データから言語理解まで、Transformerの可能性を探る今回のテーマは自然言語処理、時系列データ解析、音声認識における技術進化の流れと、Transformerモデルの登場が果たした革新について解説します。まず、自...