Embedding

実装詳細

大規模言語モデル入門【Transformer:実装詳細B-1】

Embedding層と入出力形状の追跡:BPEからベクトル化までブログA(基礎理論)では、Transformerの全体構造を学びました。ここからは、各コンポーネントの実装詳細を深掘りしていきます。まずは、テキストをモデルが処理できる形式に変...
LLM

[OpenAI] 埋め込み(Embeddings)を理解する

「埋め込み(Embeddings)」とは、テキストや他の種類のデータを数値のベクトルに変換するプロセスを指し、この変換により、高次元から低次元へデータをコンピュータがより容易に処理できる形式にすることです。「埋め込みベクトル」は、元のテキストやデータの意味的な情報を保持し、その情報を数値データとして表現します。