実装詳細 LLM【事前学習：実装詳細B-4】
FFNと活性化関数の実装：4倍拡張MLPと非線形変換の理論Transformerモデルのパラメータの66%はFFN層に集中しています。この一見シンプルな2層MLPが、なぜこれほど大きな役割を担うのか。本記事では、FFNの詳細構造と活性化関数...
活性化関数
実装詳細 
基礎理論 LLM【Transformer：基礎理論A-4】
FFNと活性化関数：Transformerの知識を蓄える場所前回は、Multi-Head Attention の詳細なメカニズムを学びました。今回は、そこで拾った文脈情報をどう扱うのかという視点から、Transformer のもう1つの重要...
機械学習 【第9回】ディープラーニングの基礎とCNNの仕組み（前編)
概要最近では私たちの生活のあらゆる場面でAIが密接に関わっています。その中核技術であるディープラーニング（深層学習） は、私たちが日常的に行っている無意識的な行動を意識化し、具体的なモデルとして具現化することに成功しています。たとえば、画像...
機械学習 【第7回】教師あり学習の基礎と代表的なアルゴリズム（後編）
第7回の目標第7回後編のブログでは、サポートベクターマシン（SVM）と多層パーセプトロン（MLP）に焦点を当て、これらのアルゴリズムの理論的背景と実装方法を詳しく解説します。SVMでは、ハードマージンとソフトマージンの概念、カーネル関数の役...