Generated by All in One SEO v4.9.10, this is an llms.txt file, used by LLMs to index the site. # News report AI lands　 ~文脈の応用と解釈性の余地~ ## Sitemaps - [XML Sitemap](https://shion.blog/sitemap.xml): Contains all public & indexable URLs for this website. ## 投稿 - [LLM【スケール則：現象の理解 D-4】](https://shion.blog/d4-scaling-law-limits-reliability/) - スケール則の観測範囲・隠れた仮定・成立しないケースを詳解。データ品質補正を加えた修正スケール則と信頼度評価フレームワークを提示。 - [LLM【スケール則：現象の理解 D-2】](https://shion.blog/d2-grokking-delayed-surge/) - 訓練終盤で突然テスト性能が急上昇するGrokking現象を解説。過学習→スタグネーション→サージの3段階、発生条件、LLMとの関係を詳解。 - [LLM【スケール則：現象の理解 D-3】](https://shion.blog/d3-experimental-verification-measurement/) - スケーリング実験の設計から測定方法まで解説。パラメータスケーリング・データスケーリング実験、効率指標の計算、検証チェックリストを網羅。 - [LLM【スケール則：現象の理解 D-1】](https://shion.blog/d1-emergent-ability-definition/) - スケール則を超える創発現象を解説。In-Context Learning、Chain-of-Thought、推論タスクでの閾値出現と、創発メカニズムの4つの仮説を詳解。 - [LLM【スケール則：実装と検証B-5】](https://shion.blog/b5-scaling-law-limitations-exceptions/) - Chinchilla則が常に成立しない場合を理解。データセット品質、アーキテクチャ依存性、計算環境制約によるスケール則の偏差と対策を学びます。 - [LLM【スケール則：最適配分戦略C-6】](https://shion.blog/c6-downstream-task-performance-mapping/) - Scaling Lawのタスク依存性を詳解。MMLU、GSM8K等ベンチマーク別のα値、ファインチューニング戦略（Full vs LoRA vs Prompt Tuning）、性能予測モデルを解説。 - [LLM【スケール則：最適配分戦略C-5】](https://shion.blog/c5-environment-deployment-strategy/) - オンプレミス、クラウド、ハイブリッドの3つの実行環境別にScaling Law適用戦略を解説。コスト試算、Spotインスタンス活用、環境選択フローを含む。 - [LLM【スケール則：最適配分戦略C-3】](https://shion.blog/c3-dataset-strategy-optimal-size/) - 最適データ規模D_optの決定方法から、実在データセット比較、データ不足時の4つの対策、品質スコアとサイズのトレードオフまでを解説。 - [LLM【スケール則：最適配分戦略C-4】](https://shion.blog/c4-architecture-selection-scaling-law/) - Scaling Lawから見たアーキテクチャ選択。Transformer vs MoE（Mixture-of-Experts）の比較、α値の解釈、マルチモーダルモデルのパラメータ配分戦略を解説。 - [LLM【スケール則：最適配分戦略C-2】](https://shion.blog/c2-resource-constraint-allocation-strategy/) - 計算予算Cの測定から3つのシナリオ別配分戦略、ライフタイムコスト最適化まで。学習コスト重視vs推論コスト重視の判断フレームワークを解説。 - [LLM【スケール則：最適配分戦略C-1】](https://shion.blog/c1-optimal-allocation-chinchilla-theory/) - Chinchilla則の発見経緯から、固定計算予算下でモデルサイズとデータ量をどう配分するかまでを整理。GopherとChinchillaの比較を通じて、最適配分の考え方を実務目線で解説。 - [LLM【スケール則：実装と検証B-3】](https://shion.blog/b3-parameter-allocation-optimization/) - 固定計算予算の下で、パラメータ数 N とデータセットサイズ D の配分をどう決めるかを整理します。Uカーブの見方と、μTransfer（μP）で探索コストを抑える考え方を実務寄りにまとめます。 - [LLM【スケール則：基礎理論A-4】](https://shion.blog/a4-chinchilla-law/) - DeepMind が発見した Chinchilla 則を解説。パラメータ数とデータ量の最適比率、従来の常識を覆した発見の意味を理解します。 - [LLM【スケール則：実装と検証B-9】](https://shion.blog/b9-rope-scaling-positional-encoding/) - RoPE（Rotary Positional Embedding）の基礎から、長文コンテキスト拡張時のrope_theta、位置補間、NTK-aware、YaRN系の考え方まで。実装時に失敗しやすいポイントを整理。 - [LLM【スケール則：実装と検証B-8】](https://shion.blog/b8-scaling-strategy-operations/) - 大規模モデル開発における段階的スケーリング戦略と運用上の考慮事項。リソース予算の配分、飽和現象の検出、データ不足への対処を実装例と共に解説。 - [LLM【スケール則：実装と検証B-7】](https://shion.blog/b7-inference-optimization-numerical-stability/) - 大規模モデルの推論段階でのボトルネック対策。KVキャッシュの量子化、活性化分布の管理、混合精度学習での数値安定性確保を実装コード付きで解説。 - [LLM【スケール則：実装と検証B-1】](https://shion.blog/b1-scaling-implementation-basic-flow/) - スケール則を実装・検証するための基本フローを整理。小規模実験の設計から外挿予測まで、実務で使える考え方をわかりやすくまとめます。 - [LLM【スケール則：実装と検証B-2】](https://shion.blog/b2-scaling-law-measurement-verification/) - スケール則における評価指標依存性を詳解。Training Loss、Perplexity、Task-Specific Accuracyなど複数の評価指標でPower Law指数がどのように異なるかを実装と共に学びます。 - [LLM【スケール則：実装と検証B-6】](https://shion.blog/b6-inference-time-scaling/) - 訓練時スケーリングと推論時スケーリングの違いを理解。Chain-of-Thought、Beam Search、Speculative Decodingなど、推論段階での精度向上テクニックを実装付きで解説。 - [LLM【スケール則：実装と検証B-4】](https://shion.blog/b4-computational-efficiency-flops/) - Transformerモデルの総計算量（FLOPs）の計算方法と、実装での計算効率測定を詳解。メモリバンド幅、通信オーバーヘッド、ハードウェア効率の改善テクニックを学びます。 - [階層クラスタリングの金融市場取引への応用：構造と洞察](https://shion.blog/mlfinance_and_hierarchical_clustering/) - 金融市場のデータ分析において、クラスタリングは銘柄のグループ分けや市場レジームの特定に強力なツールです。中でも階層クラスタリングは、単にデータを分割するだけでなく、その背後にある「構造」を可視化し、より深い洞察を得るために極めて有効な手法です。 本記事では、一般的なクラスタリング手法との違いを明確にしながら、階層クラスタリングを金融市場取引で実践的に活用する方法と、その注意点について解説します。 - [LLM【スケール則：基礎理論A-2】](https://shion.blog/a2-flops-compute-resources/) - LLM 訓練に必要な計算量を正確に測る方法を解説。FLOPs と FLOPS の違い、C=6ND の公式、PF-days への変換を学びます。 - [LLM【スケール則：基礎理論A-1】](https://shion.blog/a1-what-is-scaling-law/) - LLM の性能がどのようにスケールするのかを予測するスケール則の基本概念を解説します。モデル大規模化の秘密に迫ります。 - [LLM【スケール則：基礎理論A-6】](https://shion.blog/a6-glossary/) - スケーリング則シリーズ全体で使用される専門用語を統一的に定義。各用語の初出セクションと関連情報をまとめた索引です。 - [LLM【スケール則：基礎理論A-5】](https://shion.blog/a5-scaling-law-applications/) - スケール則が LLM 開発の実践にどう活用されているかを解説。投資判断、モデル選択、効率的なリソース配分の方法を、具体例とあわせて整理します。 - [LLM【スケール則：基礎理論A-3】](https://shion.blog/a3-scaling-law-evidence/) - OpenAI と DeepMind の主要研究をもとに、スケール則がなぜ信頼されるのかを整理。Chinchilla まで含めて、どこまで実務に使えるかを具体的に解説します。 - [LLM 事前学習：Transformer シリーズ総集編 vol.1](https://shion.blog/llm-事前学習：transformer-シリーズ総集編-vol-1/) - LLM 総集編 vol.1 【事前学習：Transformer】基礎理論・実装詳細・データセット戦略・詳細設計書・組織戦略 - [LLM【事前学習：組織戦略E-3】](https://shion.blog/llm-organization-pretraining-checklist/) - LLM事前学習を始める前に確認したい32項目を、経営・戦略、技術インフラ、データ準備、人材・組織、プロセス・ガバナンスの5領域に整理した実務チェックリスト。 - [LLM【事前学習：組織戦略E-2】](https://shion.blog/llm-organization-scale-comparison/) - 小規模LLM（7B）と大規模LLM（70B+）の詳細比較。リソース要件、コスト内訳、タイムライン、期待性能を完全解説。組織タイプ別の推奨スケール選択ガイド - [LLM【事前学習：組織戦略E-1】](https://shion.blog/llm-organization-decision-framework/) - 組織の規模・予算・目的に合わせたLLM導入の意思決定フレームワーク。4つの推奨パス（小規模高速/大規模多言語/ドメイン特化/医療特化）の詳細比較 - [LLM【事前学習：組織戦略E-4】](https://shion.blog/llm-organization-phased-approach/) - LLM事前学習を一気に進めず、学習・準備、パイロット、本格導入の3フェーズに分けて進めるための24週間ロードマップ。 - [LLM【事前学習：詳細設計書D-4】](https://shion.blog/llm-evaluation-attention-visualization/) - Attentionメカニズムの可視化と解釈手法を詳解。Multi-Head Attentionのパターン分析、Feature Importance、誤例分析、解釈時の注意点 - [LLM【事前学習：詳細設計書D-3】](https://shion.blog/llm-evaluation-data-contamination-and-domain-generalization/) - LLM評価で見落としやすいデータ汚染とドメイン横断性能を整理。汚染検出の方法、In-domain / Out-of-domain の見方、評価条件の固定手順まで解説します。 - [LLM【事前学習：詳細設計書D-1】](https://shion.blog/llm-evaluation-three-layer-structure/) - LLM評価は単一指標では足りません。タスク固有の精度だけで満足して実務で失敗しないために、基盤・汎化・信頼性の3層で段階的に評価する方法を解説します。 - [LLM【事前学習：詳細設計書D-2】](https://shion.blog/llm-evaluation-standard-benchmarks/) - LLM評価の標準ベンチマークを整理し、GLUE、MMLU、SQuAD、BLEU、ROUGEの役割と読み方を解説。スコアの見方と使い分けをまとめます。 - [LLM【事前学習：詳細設計書D-5】](https://shion.blog/llm-evaluation-quality-monitoring/) - 本番環境でのLLM品質監視体制を構築。リアルタイム品質監視、幻覚率測定、コンセプトドリフト検出、継続的改善サイクルの実装 - [GitHub Copilot スキル開発実践ガイド: KWF + Playwright + Serena + Context7](https://shion.blog/kwf_integration_workflow/) - はじめに GitHub Copilot の登場によって、AI がコード生成を支援する時代が本格的に始まりました - [LCM蒸留による推論5倍高速化の実装と検証（後編）](https://shion.blog/https-shion-blog-stable-diffusion-pytorch-anime-3/) - Stable Diffusion v1.5の推論を5.0倍高速化（13.25秒→2.68秒）。 LCMスケジューラ + ε知識蒸留で4ステップ化を実現。 Augmented PF-ODE未実装での限界と公式LCM-LoRA検証まで記載。 LDM→LCMの理論的継承から実装、失敗と成功の全記録。 - [PyTorch + Diffusersでアニメキャラクター生成に挑戦！（中編）](https://shion.blog/stable-diffusion-pytorch-anime-2/) - 📋 はじめに こんにちは。前回の記事では Stable Diffusion と PyTorch - [Stable Diffusion + PyTorchでアニメキャラクター生成に挑戦！（前編）](https://shion.blog/stable-diffusion-pytorch-anime-1/) - Stable Diffusion + PyTorchでアニメキャラクター生成。 拡散モデルの基礎から実装戦略まで、前編の完全ガイド。 - [LLM【事前学習：データセットC-8】](https://shion.blog/llm-pretraining-data-blending-automation/) - 複数データセットを最適比率で配合する「データブレンディング」の理論と実践。アブレーション実験による効果検証、将来の自動化パイプライン、継続学習との統合戦略 - [LLM【事前学習：データセットC-7】](https://shion.blog/llm-pretraining-domain-specialization/) - ドメイン特化LLMの構築戦略を詳解。FineWeb-eduの教育特化アプローチ、医療・法律・コード・金融各ドメインのデータセット選択、過学習を避けながら専門性を高める配合比率の最適化 - [LLM【事前学習：データセットC-6】](https://shion.blog/llm-pretraining-dataset-selection-guide/) - 組織のニーズに応じた最適なデータセット選択を支援する意思決定フレームワーク。言語要件、品質要件、リソース制約、用途別の推奨マトリクスを提供 - [【Awesome GitHub Copilotの使い方2】MCP・Hooks・Workflowsで開発フローを再設計する](https://shion.blog/awesome_github_copilot_2/) - GitHub Copilot を上級活用したい中級エンジニア向けに、MCP、Hooks、Workflows を使って開発フローを再設計する方法を実践的に解説。 - [【Awesome GitHub Copilotの使い方1】GitHub Copilotを完全に使いこなすための実践ガイド](https://shion.blog/awesome_github_copilot_1/) - GitHub Copilot を補完だけで終わらせず、設計・レビュー・テストまで活用する方法を解説。awesome-copilot を使った Instructions、Agents、Skills、Plugins、VS Code 導入まで実践的に紹介 - [LLM【事前学習：データセットC-5】](https://shion.blog/llm-pretraining-preprocessing-comparison/) - Common Crawl、C4、The Pile、Dolma、FineWebの前処理戦略を系統的に比較分析。各フィルタリング手法の効果と、品質・多様性・コストのトレードオフを可視化 - [LLM【事前学習：データセットC-4】](https://shion.blog/llm-pretraining-fineweb-efficiency/) - 2024年に登場したFineWebの革新的アプローチを解説。70以上のアブレーション実験から導き出された18.5Tトークンのデータセットが、なぜ学習効率で他を圧倒するのか - [LLM【事前学習：データセットC-3】](https://shion.blog/llm-pretraining-dolma-pipeline/) - AllenAIが2023年に公開したDolmaの6段階処理パイプラインを詳解。言語フィルタからデコンタミネーションまで、学術的に厳密なデータセット構築のベストプラクティス - [LLM【事前学習：データセットC-2】](https://shion.blog/llm-pretraining-the-pile-diversity/) - 2020年に登場したThe Pileが証明した「データの量より構成が重要」という発見。22の多様なソースを統合することで達成した性能向上のメカニズムを解説 - [LLM【事前学習：データセットC-1】](https://shion.blog/llm-pretraining-common-crawl-c4/) - LLM訓練データの基盤となるCommon Crawlの特徴と課題、品質フィルタリングを適用したC4への進化を解説。ペタバイト級データをどのように活用可能なデータセットに変換するか - [LLM【事前学習：実装詳細B-7】](https://shion.blog/llm-pretraining-inference-optimization/) - 大規模LLM訓練を支える実装技術を完全解説。Mixed Precision（BF16）によるメモリ削減、Gradient Checkpointingのトレードオフ、数値安定性確保の実践的テクニックを詳細コード例とともに紹介 - [LLM【事前学習：実装詳細B-６】](https://shion.blog/llm-pretraining-transformer-evolution/) - Transformerの進化形態を徹底解説。ALBERTのパラメータ共有、GQA（Group Query Attention）のKVキャッシュ削減、Flash Attentionのメモリ効率化まで、大規模モデル訓練・推論を支える最新技術 - [LLM【事前学習：実装詳細B-5】](https://shion.blog/llm-pretraining-residual-layernorm/) - 残差接続と層正規化の詳細実装 12層以上の深いTransformerを安定して訓練するには、残差接続（Skip - [LLM【事前学習：実装詳細B-4】](https://shion.blog/llm-pretraining-ffn-implementation/) - TransformerのFFN（Feed Forward Network）層の2層MLP構造を実装レベルで詳解。4倍拡張の意味、ReLU vs GELUの比較、パラメータ分布がFFN中心である理由を数値計算例とともに解説 - [LLM【事前学習：実装詳細B-3】](https://shion.blog/b3-causal-masking/) - Causal Maskの実装方法と、訓練時の並列学習・推論時の自己回帰生成の違いを解説。マスク行列の構造から効率的な実装パターンまでを詳しく追跡します。 - [LLM【事前学習：実装詳細B-2】](https://shion.blog/b2-attention-algorithm/) - Multi-Head Attentionの計算フローを行列形状とともに完全追跡。Scaled Dot-Product Attentionの各ステップ、ヘッドの分割と統合プロセスを実装レベルで解説します。 - [LLM【事前学習：実装詳細B-1】](https://shion.blog/b1-embedding-layer-2/) - Transformerの入力処理を実装レベルで解説。BPEトークン化アルゴリズム、Embeddingベクトル化、位置エンコーディングの計算式と具体例を詳しく追跡します。 - [LLM【Transformer：基礎理論A-6】](https://shion.blog/a6-glossary-quiz/) - これまで学んだTransformerの基礎を復習。20の重要用語と10の確認問題で、理解度をチェックしましょう。 - [LLM【Transformer：基礎理論A-5】](https://shion.blog/a5-causal-attention/) - GPTがテキストを生成する仕組みを解説。自己回帰型生成の原理と、未来の情報を隠すCausal Attention Maskの役割、並列学習の実現方法を理解します。 - [LLM【Transformer：基礎理論A-4】](https://shion.blog/a4-ffn-activation/) - Transformerのパラメータの66%を占めるFFN（Feed Forward Network）の役割と、知識メモリとしての機能を解説。ReLU・GELU・SwiGLU活性化関数の違いも理解します。 - [LLM【Transformer：基礎理論A-3】](https://shion.blog/a3-multi-head-attention/) - Transformerの心臓部であるAttentionメカニズムを詳しく解説。Q・K・Vベクトルの役割、スケーリング係数の理由、Multi-Headによる多角的理解の仕組みを学びます。 - [LLM【Transformer：基礎理論A-2】](https://shion.blog/a2-transformer-architecture/) - Transformerの全体構造を解説。Embedding層、Multi-Head Attention、FFNの3つの主要コンポーネントと、Add & Normによる学習安定化テクニックを理解します。 - [LLM【Transformer：基礎理論A-1】](https://shion.blog/a1-language-model-basics/) - ChatGPTの基盤となる「言語モデル」とは何か？N-gramの限界からRNN、そしてTransformerへの進化を、初心者にもわかりやすく解説します。 - [GitHub Copilot SDK入門: Copilotをアプリに組み込むと何ができるのか？](https://shion.blog/github-copilot-sdk入門-copilotをアプリに組み込むと何ができるのか/) - GitHub Copilot SDKの概要、Copilot CLIとの関係、ストリーミング応答、カスタムツール、外部CLIサーバー接続までを、前2本の続きとして整理します。 - [【VLM】LLaVA-1.5 論文解説＆VLM完全ガイド｜基礎から本番運用まで](https://shion.blog/llava-1-5-vlm-complete-guide/) - はじめに Vision Language Model（VLM）の歴史において、一つの分岐点とも言える論文が存在 - [[LLM] 微調整の全手法を整理し、実務での最適解を一気に理解するためのガイド](https://shion.blog/llm_peft/) - この記事のゴール 本記事では、以下の“判断軸”を最短時間で獲得します。 RLHF と DPO のどちらを使うべ - [【第０回】機械学習の基礎から応用までの学習ガイド](https://shion.blog/the-0th-machine-learning-workshop/) - こんにちは！機械学習の学びの旅にようこそ。このブログシリーズでは、機械学習の基礎から応用までを体系的に学び、最終的にKaggleコンペティションに出場し、メダルを獲得するためのスキルを身につけることを目的としています。特に、実践的な経験を通じて知識を深め、実際のデータに対して効果的にアプローチできる力を育成することを重視しています。 - [[0penAI] GPT-5 System Cardを読む](https://shion.blog/gpt-5-system-card/) - 本記事は、OpenAIが公開した「GPT-5 System Card（2025/08/07）」の論点を押さえ、重要な部分を開発者・実務家目線で整理した要約です。結論から言うと、GPT-5は「安全な補完（Safe Completion）」を核に、ハルシネーション・迎合性・欺瞞を系統的に抑制しつつ、執筆・コーディング・ヘルスの実世界ユースケースで性能と信頼性を大きく押し上げた“統合システム”です。 - [AIコーディングを読み解く：NotebookLMで設計意図を可視化してみよう](https://shion.blog/notebooklm/) - はじめに かつて「コードを書く」という行為は、プログラマーだけのものでした。設計書や仕様に沿って、一行一行を丁 - [[UI] OllamaとOpen WebUIを使って「gpt-ossモデル」をChatGPT形式で使用する](https://shion.blog/gpt-oss-chat/) - OpenAIから、発表された新しいオープンウェイトモデルで「gpt-oss-120b」と「gpt-oss-20b」として発表されました。単に文章を生成するだけでなく、自律的に思考し、ツールを使いこなす「AIエージェント」の開発を強く意識した、画期的な特徴を持っています。 - [【第10回】時系列データ解析と自然言語処理の基礎（後編）](https://shion.blog/the-10th-machine-learning-workshop_2/) - 【今回の主な内容】時系列データから言語理解まで、Transformerの可能性を探る 今回のテーマは自然言語処 - [【第8回】教師なし学習の基本とラベルなきデータの可能性（後編）](https://shion.blog/the-8th-machine-learning-workshop_3/) - 現代のデータ分析では、特にテキストデータや高次元データの扱いが難しく、複雑なデータ構造の理解と分析が求められます。これらのデータから隠れたパターンや構造を見つけることは、ビジネスのインサイトや新たな発見を生み出すために不可欠です。本記事では、これらの目的を達成するために有効なテーマモデリングと次元削減の技術について学びます。 - [【第8回】教師なし学習の基本とラベルなきデータの可能性（中編）](https://shion.blog/the-8th-machine-learning-workshop_2/) - 中編の目標 今回の目標は、高次元データの次元削減と異常検知技術について理解し、それらを実装できるスキルを習得す - [【第8回】教師なし学習の基本とラベルなきデータの可能性【前編】](https://shion.blog/the-8th-machine-learning-workshop_1/) - 前編の目標：データのクラスタリングと分類 データのラベルがない状態でも、クラスタリングによってデータのグループ - [【第5回】モデル評価と最適化（後編）](https://shion.blog/the-5th-machine-learning-workshop_2/) - 前編では分類、回帰、交差検証などのモデル評価を扱った回になりましたが、後編では様々なモデルの最適化を扱った回になりますのでよろしくお願いします。 - [【第４回】機械学習の基本概念を理解しよう](https://shion.blog/the-4th-machine-learning-workshop/) - 第4回の目標 今回は機械学習の歴史を振り返り、3つの主要な学習方法（教師あり学習、教師なし学習、強化学習）につ - [【第2回】統計学の基礎](https://shion.blog/https-shion-blog-the-2nd-machine-learning-workshop/) - 第2回では、機械学習やデータ解析に欠かせない「統計学の基礎」を学びます。統計学は、データを正確に理解し、データが何を示しているのかを判断するための重要なスキルです。 Kaggleのコンペティションに参加するためには、データ解析の基本的な統計手法を正しく理解し、使いこなすことが重要です。今回は、統計学の主要な方法論である記述統計、推測統計、相関分析、仮説検定、そしてF分布について、理論とPythonでの実装例を組み合わせて丁寧に解説します。 - [【第5回】モデル評価と最適化（前編）](https://shion.blog/the-5th-machine-learning-workshop_1/) - 第5回の目標は、機械学習モデルの評価と最適化に関する技術を深く理解し、実践的なスキルを身につけることです。具体的には、モデルの性能を正確に評価するための各種モデルの指標（精度、適合率、再現率、F1スコア、AUC-ROC曲線、平均二乗誤差）の定義や適用例を学ぶことで、評価基準の重要性を理解します。また、交差検証の技術を習得し、K分割交差検証やLeave-One-Out交差検証を通じてモデルの汎化性能を評価し、過学習を防ぐ方法をマスターします。さらに、ハイパーパラメータの最適化手法であるグリッドサーチ、ランダムサーチ、ベイズ最適化を実践することで、モデル性能の最大化に向けた能力を養います。過学習を防ぐための正則化やドロップアウトなどの技術についても理解を深め、アンサンブル学習を通じて複数のモデルを組み合わせる方法を学ぶことで、高い予測性能を実現します。これにより、Kaggleコンペティションにおいて競争力のあるモデルを構築し、実践的なデータ解析スキルを向上させることを目指します。 - [【第3回】データの前処理と可視化](https://shion.blog/the-3rd-machine-learning-workshop/) - 第３回では、データの前処理と可視化に関する基本的な技術を習得し、データの品質を向上させることで機械学習モデルの性能を最大限に引き出す方法を学びます。本ブログでは、データのクリーニングから特徴量エンジニアリングまでを体系的に理解し、Kaggleで実際にこれらの技術を応用できる能力を身につけることを目指します。 生データを効果的に変換し、機械学習モデルが最大限に活用できるようにすることは、データサイエンティストとして不可欠なスキルです。データの前処理では、欠損値の処理、不整合なデータ型の修正、スケーリングなどの問題に対処する重要なステップを学びます。また、可視化を通じてデータのパターンやトレンド、潜在的な関係性を明らかにし、洞察に満ちたモデル構築の基盤を築きます。 この記事では、すべてのスキルレベルの読者が理解しやすく、実践できるように、実際の例とPythonコードを用いて具体的に説明します。これにより、データの前処理と可視化の技術を確実に身につけ、実践的なデータサイエンスのスキルを向上させることができるでしょう。 - [Cursorの使い方](https://shion.blog/cursor/) - はじめに CursorはVSCodeに慣れたユーザーに最適な、AI統合型の次世代エディタです。コード生成・編集 - [【フィッシング詐欺】Hyperliquid紹介リンクから始まったWeb3の落とし穴](https://shion.blog/web3_phishingscam/) - 最近、暗号資産（仮想通貨）を扱う私の同僚が、MetamaskウォレットからETHを抜き取られるフィッシング詐欺の被害に遭いました。 Web3の世界では「自分の資産は自分で守る」が大原則です。 しかし、本物そっくりに作られた「偽サイト」は、誰でも間違ってしまうような巧妙さがあります。 この記事では、同僚が実際に体験した詐欺の手口と、そこから得られる教訓を紹介します。 これからWeb3を始める人や、Metamaskを利用している方にとって必読の内容です。 - [【第7回】教師あり学習の基礎と代表的なアルゴリズム（中編）](https://shion.blog/the-7th-machine-learning-workshop_2/) - この回では、決定木とランダムフォレストの基本原理をしっかりと理解し、単体のアルゴリズムとアンサンブル手法の違い、そしてそれぞれのアルゴリズムが得意とするデータ構造や適用場面を学びます。決定木が提供する直感的な解釈性やデータの分岐処理に対する利点、ランダムフォレストが多数の決定木を組み合わせることで得られる汎化性能の向上と過学習の抑制を比較し、それぞれの長所と短所を把握します。 この理解を通じて、単純なツリー構造が適している場面と、複雑なアンサンブルが有効な場面を見極め、実際のデータやタスクに最も適したモデル選択ができるようになることを目指します。また、特徴量の重要度評価などランダムフォレスト特有の機能についても学ぶことで、データ解釈におけるアルゴリズムの有用性を身につけることが期待されます。 - [【OpenAI】新モデルGPT-4.1と有効プロンプトについて](https://shion.blog/【openai】新モデルgpt-4-1、gpt-4-1-mini、gpt-4-1-nanoについて/) - OpenAIは、最新の大規模言語モデル群である GPT-4.1、GPT-4.1 Mini、GPT-4.1 Nano のAPI提供開始を発表しました。 GPT-4.1: クラス最高のインテリジェンスと性能を誇るフラッグシップモデル。 GPT-4.1 Mini: 速度とコスト効率に優れ、マルチモーダル機能も備えるバランスの取れたモデル。 GPT-4.1 Nano: 高スループット、低レイテンシ、超低コストを実現する最も効率的なモデル。 これらのモデルは、既存のモデルと比較して、長文コンテキスト処理能力、複雑な指示への追従性など、多くの中核的な能力にお - [DifyでSlackBotを使って社内情報共有のためのAIエージェントを作ってみよう](https://shion.blog/dify_slackbot/) - Difyとは？ Difyは、プログラミングの知識がなくても直感的にAIアプリを開発できる画期的なプラットフォー - [DifyでSlackBotを使って論文要約をしてみよう](https://shion.blog/dify_slackbot_jinaai/) - 前回はDifyでSlack Botを使って社内情報をSlackで共有する記事を書きました。 今回はJina A - [Manusを使ってOpenManusの拡張した使い方を模索してみる](https://shion.blog/manus_openmanus/) - Manusの概要と特徴 ManusはマルチAIエージェントの代表例であり、複数の専門AIが連携して自律的にタス - [【 DeepResarch】ChatGPT Plusユーザーとしてディープリサーチを使ってみる場合の最適モデルとその効果は？](https://shion.blog/openai_plususer_bestmodel/) - OpenAIは2025年2月26日にProユーザーだけではなくPlusユーザーにもディープリサーチを提供しました。 しかし、Proユーザーであればo1Proでディープリサーチを使うことが推奨されていますが、Plusユーザーはo1で使えば良いのか、o3-miniシリーズで使えば良いのか、先日、Plusユーザーにも開放されたChatGPT-4.5で使えば良いのか迷うのところなのではないでしょうか？ 今回はそんなPlusユーザーの迷いを断ち切るためにPlusユーザーのディープリサーチの推奨モデルの検証とその効果を見ていこうと思います。 またPlusユーザーがディープリサーチを使う上での推奨モデルに対する有効プロンプトも探ってみましょう。その際、最適なモデルに絞ってディープリサーチを使ってどのモデルがディープリサーチに向いているかを改めて検証してもらうことにします。 - [【推論モデル】「o3-mini」「o3-mini-high」「o1」「o1-pro」のそれぞれの違いとコーディングによる確認と検証](https://shion.blog/o3-mini_o3-mini-high_o1_o1-pro/) - 概要 OpenAIの「o3-mini」シリーズは、低コストかつ軽量なモデルで、シンプルなタスクに最適です。特に - [【第7回】教師あり学習の基礎と代表的なアルゴリズム（前編）](https://shion.blog/the-7th-machine-learning-workshop_1/) - 機械学習は、大きく分けて教師あり学習と教師なし学習の二つのカテゴリーに分類されます。今回のテーマである教師あり学習は、入力データとそれに対応する正解（ラベル）が与えられた状態でモデルを学習させる手法です。これにより、新たなデータに対して正確な予測や分類を行うことが可能となります。 - [【第7回】教師あり学習の基礎と代表的なアルゴリズム（後編）](https://shion.blog/the-7th-machine-learning-workshop_3/) - サポートベクターマシンは、分類や回帰に対応する機械学習の代表的な手法で、特に「最大マージン分類」を用いて汎化性能を高めたモデルを構築するアルゴリズムです。「カーネル関数」と「マージン最大化」を組み合わせたことで、特に非線形データの分類に強いアルゴリズムです。 - [【第10回】時系列データ解析と自然言語処理の基礎（前編）](https://shion.blog/the-10th-machine-learning-workshop_1/) - 【今回の主な内容】時系列データ解析と生成タスクの基礎 今回のテーマは、時系列データと自然言語処理（NLP）の基 - [【第9回】ディープラーニングの基礎とCNNの仕組み（後編)](https://shion.blog/the-9th-machine-learning-workshop_3/) - 【今回の主な内容】畳み込みニューラルネットワーク（CNN）の構築と応用 今回のテーマでは、画像認識タスクの土台 - [【第9回】ディープラーニングの基礎とCNNの仕組み（中編)](https://shion.blog/the-9th-machine-learning-workshop_2/) - 【今回の主な内容】バッチ処理・最適化アルゴリズム 今回のテーマでは、「効率的な学習」を実現するために欠かせない - [【第9回】ディープラーニングの基礎とCNNの仕組み（前編)](https://shion.blog/the-9th-machine-learning-workshop_1/) - ディープラーニングは、数学的な理論を基にしていますが、そのすべてを一度に理解する必要はありません。このブログでは、少しずつ理論と実践を結びつけながら進めていきます。まずはディープラーニングの土台を築き、その後にトレーニングや最適化の仕組みへと進みます。 - [【第３回】情報理論と高度な数学概念による機械学習の最前線](https://shion.blog/the-foundations-of-mathematics-supporting-machine-learning_3/) - 前回の振り返り 前回のブログでは、機械学習を支える数学の基礎として確率統計と最適化手法について詳しく学びました - [【第2回】確率統計と最適化手法による機械学習の深化](https://shion.blog/the-foundations-of-mathematics-supporting-machine-learning_2/) - 確率統計と最適化手法に焦点を当て、これらの数学的な概念がどのようにして機械学習の理解を深め、実際のデータ分析に役立つのかを探っていきます。 - [【第6回】線形回帰とロジスティック回帰の実装と最急降下法の役割](https://shion.blog/the-6th-machine-learning-workshop/) - 機械学習における線形回帰とロジスティック回帰は、最も基本的かつ重要なアルゴリズムの一つです。これらのモデルは、データのパターンを学習し、予測や分類を行うための基盤を提供します。そして、これらのモデルを効果的に学習させるための手法として、最急降下法（Gradient Descent）が重要な役割を果たします。本記事では、線形回帰とロジスティック回帰の基本概念から、その実装方法、そして最急降下法によるパラメータの最適化手法について、数式とPythonコードを用いて詳しく解説します。 - [【第1回】Pythonの基礎を学ぼう](https://shion.blog/the-1st-machine-learning-workshop/) - この第1回では、Pythonの環境設定を行い、Pythonの基本的な文法やデータ構造を学ぶことで、今後の機械学習の内容を理解するための土台を築いていきます。これからの学びにおいて、実践的な演習や課題を通じて、学んだ知識を自分のものにしていくことが重要です。自分のペースで進めながら、理解が深まるたびに新たな挑戦に臨む意欲を持って取り組んでいきましょう。 Pythonの基本がしっかりと身についたら、次のステップである統計学や機械学習のアルゴリズムに進む準備が整います。この学びの旅が皆さんにとって充実したものとなることを願っています。さあ、早速始めていきましょう！ - [【第1回】機械学習における線形代数と微分積分の基礎](https://shion.blog/the-foundations-of-mathematics-supporting-machine-learning_1/) - 今回、機械学習の基礎となる線形代数の主要な概念を3×3行列を用いて詳しく解説しました。固有値と固有ベクトル、次元削減手法（PCA）、特異値分解（SVD）、行列分解（LU分解、QR分解）、非負値行列分解（NMF）などは、機械学習のさまざまなアルゴリズムやモデルにおいて重要な役割を果たします。 - [【o1モデル・4o】プロンプトエンジニアリングを使いこなす方法](https://shion.blog/o1model_4omodel_prompt-engineering/) - ChatGPTを効果的に活用するためには、「プロンプトエンジニアリング」という手法が非常に重要です。本記事では、o1モデルとChatGPT-4oモデルという2つの異なるAIモデルに対して、それぞれ最適なプロンプトのテクニックを紹介します。これにより、ChatGPTだけではなく、進化した大規模言語モデルを効果的に使いこなせるようになることでしょう。 - [【相互運用性】PolkadotとAstar Networkが実現するブロックチェーン相互運用性の可能性（第１８回）](https://shion.blog/polkadot_astar-network/) - ブロックチェーン技術は、暗号通貨だけにとどまらず、急速に発展しています。今では、分散型金融（DeFi）や分散型アプリケーション（dApps）、サプライチェーンや医療など、さまざまな分野に応用されています。しかし、ブロックチェーンがそれぞれ独立して存在しているため、異なるブロックチェーン同士でスムーズにデータをやり取りできないという課題に直面しています。この問題が「相互運用性」の課題です。 今回のブログでは、前回のブログでも紹介したブロックチェーンの相互運用性においてPolkadotとAstar Networkがどのようにこの問題を解決しようとしているのかを分かりやすく解説します。 - [【最新Web3技術】 Ordinals & Intents について（第２０回）](https://shion.blog/ordinals-intents/) - Ordinalsは、Bitcoin上でのNFT発行を可能にし、新たなトークンの作成にも応用される技術です。これにより、Bitcoinが本来持っていなかったNFTやトークンの機能を補完できるようになりました。しかし、オフチェーンでの検証が必要な点や、インスクリプションの整合性管理などが課題として残っています。これらの技術的課題を解決するためには、信頼性の高いインデックスサービスの構築が求められます。 - [【エンタープライズブロックチェーン入門】企業が活用するブロックチェーンの基礎（第１９回）](https://shion.blog/enterprise_blockchain/) - 近年、ブロックチェーン技術は金融業界だけでなく、さまざまな分野で注目を集めています。特に「エンタープライズブロックチェーン」は、企業が業務の効率化やセキュリティの強化、新たなビジネスモデルの構築に活用できる可能性を秘めています。 この記事では、エンタープライズブロックチェーンの基本的な概要や特徴、代表的なプラットフォーム、そして実際の活用事例を紹介し、企業におけるブロックチェーンの活用方法についてわかりやすく解説します。 - [【ブロックチェーンの相互運用性】クロスチェーン操作の未来を開く（第１７回）](https://shion.blog/blockchain_interoperability/) - ブロックチェーン技術は、暗号通貨の枠を超えて急速に進化し、分散型金融(DeFi)、分散型アプリケーション(dApps)、さらにはサプライチェーンや医療など、さまざまな分野に広がっています。しかし、多くのブロックチェーンネットワークが個別に動作しているため 、これらのシステム間でシームレスなデータのやり取りができないという課題が浮上しています。この問題は「相互運用性の課題」として知られ、トークンの転送やデータ交換、ブロックチェーン間での取引の効率を制限しています。 相互運用性は、ブロックチェーン技術の潜在能力を最大限に引き出すための重要な鍵です。 この相互運用性の概念は、ブロックチェーンがさらに広がるために解決すべき課題の1つです。 - [【Solana】高速ブロックチェーンの革新とエコシステムの進化（第１６回）](https://shion.blog/solana_1/) - Solanaは、ブロックチェーン技術の中でも特に注目されている高速でスケーラブルなプラットフォームです。その優れたパフォーマンスと使いやすさから、多くの開発者や企業が注目しています。本記事では、Solanaの基本的な仕組みから、その技術的な特徴、さらにはエコシステムの成長や未来の展望まで、Solanaがどのようにしてブロックチェーンの未来を切り開いているのかを一緒に探っていきましょう。 Solanaが注目される理由は、その圧倒的なトランザクション処理速度と低コストにあります。このおかげで、ゲームやDeFi、NFTといった幅広い分野で活用され、次世代のブロックチェーンとして期待されています。この記事を通じて、Solanaの革新的な技術とエコシステムの魅力をわかりやすく解説し、その可能性を最大限に活かす方法をお伝えします。 - [【ゼロ知識証明】ZKPとブロックチェーンの応用事例（第１５回）](https://shion.blog/zkp_zcash_zkevm/) - 本記事では、ゼロ知識証明がどのようにブロックチェーン技術に応用されているのか、その具体的な事例を紹介します。ZcashやzkEVMなどの代表的な応用事例を通じて、ZK技術がどのようにプライバシー保護やスケーラビリティ向上に寄与しているのかを明らかにします。また、ZKを活用した新しいDAppsの例として、ZKEmailやPrivate IPFSを取り上げ、これらの技術が実世界でどのように活用されているのかを探ります。 さらに、ZK技術の進化とその影響、そして今後の展望についても考察します。新しい技術の登場によって、どのようにブロックチェーンの可能性が広がるのか、そしてそれがどのように私たちの生活に影響を与えるのかを検討します。 このようにして、ゼロ知識証明がブロックチェーンの未来をどのように形作っているのかを総合的に理解できる記事を目指します。 - [【ゼロ知識証明】Circomを使った回路の生成と証明とコントラクトの検証（第１４回）](https://shion.blog/circom_snarkjs/) - 今回は前回のブログで説明したゼロ知識証明（ZKP）の算術回路の表現とKZGコミットメントを実際にCircomというプログラミング言語を使って、回路を生成し、証明とコントラクトの検証を行ってみようと思います。 - [【Leyer2】ゼロ知識証明(ZK)とKZGコミットメント（第１３回）](https://shion.blog/leyer2_zero-knowledge-proof_1/) - ゼロ知識証明（Zero-Knowledge Proof）とはある情報が正しいことを証明する際に、その情報自体を開示せずに証明を行う暗号技術です。 イーサリアムのレイヤー2ソリューションでは、Rollupsがトランザクションをバッチ処理し、その結果を圧縮してレイヤー1に送信する際にゼロ知識証明が活用されます。これにより、プライバシーを保ちながらもトランザクションの正確性を保証できます。 KZGコミットメントは、レイヤー2において多項式評価の正確性を保証するための暗号技術です。 KZGコミットメントでは、特定の多項式が指定された点で特定の値を持つことを証明し、その多項式自体を公開せずにその正確性を示すことができます。これにより、レイヤー2上でのデータ検証や整合性保証において重要な役割を果たします。特にRollupsでKZGコミットメントを使用することで、大量のデータを効率的に処理し、その正当性をシンプルに証明できます。 - [【Leyer2】L2技術とロールアップの仕組み　　（第１２回）](https://shion.blog/leyer2_rollup/) - 今回のブログでは、ブロックチェーンのスケーラビリティ問題に対する解決策として注目されているL2技術、特にロールアップ技術について詳しく解説します。 L2技術がどのようにしてトランザクション処理を効率化し、ガス代を劇的に削減するのかを説明し、具体例としてArbitrumやプロトダンクシャーディングの実装方法を紹介します。さらに、L2技術がブロックチェーンの未来にどのように貢献するのかについても考察します。 この記事を通じて、L2技術がもたらす革新の重要性を理解することが目的です。 - [【Web3時代の法規制】トークンとDAOの規制動向を理解する（第１１回）](https://shion.blog/web3_regulation/) - Web3の進展は、デジタルエコノミーの新しい形を創り出しており、イノベーションの可能性を大いに秘めています。しかし、新たな技術とビジネスモデルの登場に伴い、既存の法制度はこれに追いつくための整備を進めています。 特にトークンとDAO（分散型自律組織）に関連する法規制は、Web3プロジェクトに携わる企業や個人にとって無視できない重要な関心事となっています。本記事では、これらのトピックについて最新の規制動向を解説し、法的リスクを回避するための具体的なポイントを探ります。 - [【Dapps】DAOの革新と未来：分散型自律組織の仕組みと実例（第１０回）](https://shion.blog/dapps_jitsurei/) - DAOは、組織運営における新しいパラダイムシフトを促す可能性があり、その理解と活用は未来のビジネスでの成功に不可欠です。 今回のブログでは、前回までのブログの復習も含め、DAOの基本から実際の事例までを通じて、DAOの現状と未来の可能性を探ります。 - [【Dapps】DeFiの革命：UniswapとMakerDAOの秘密（第９回）](https://shion.blog/dapps_uniswap_makerdao/) - ブロックチェーン技術がもたらす非中央集権型金融（DeFi）の世界は、急速に進化を遂げています。今回は、UniswapとMakerDAOという2つの主要なDeFiプロジェクトについて、その詳細と革新的な仕組みをご紹介します。 - [[Web3] イーサリアム2.0とは？主な変更点とスケーラビリティの詳細（第７回）](https://shion.blog/ethereum2-0_1/) - 今回はイーサリアムから更なる進化を遂げた、次世代のスケーラブルで持続可能なブロックチェーンであるイーサリアム2.0に関する内容を扱います。イーサリアム2.0に関する記事は全2回で構成されており、今回は前半部分についての解説です。イーサリアム2.0は、イーサリアムのスケーラビリティ（拡張性）を向上させることを目的としたアップデートです。前回のブログ記事ではイーサリアムの基本的な構造とスマートコントラクトについて解説しましたが、今回はその変更点に焦点を当てます。イーサリアム2.0の主な目的は、ビットコインプロトコルを一般化し、よりスケーラブルなワールドコンピューターを実現することです。しかし、スケーラビリティの問題が存在し、これを解決するためにプロトコルが大幅に変更されました。この変更は「The Merge」と呼ばれ、Proof of Work (PoW)からProof of Stake (PoS)への移行が含まれます。 - [[Web3] もう少し踏み込んでイーサリアムを理解しよう！（第６回）](https://shion.blog/ethereum_2/) - はじめに 前回の記事ではイーサリアムの特徴とビットコインとの違いについて説明しましたが、今回はイーサリアムの構 - [[Web3] イーサリアムとは何か？ビットコインとイーサリアムの違い（第５回）](https://shion.blog/ethereum_1/) - 概要 今回のブログ記事はイーサリアムという暗号通貨の形成について説明します。イーサリアムとビットコインとの根本 - [[ビットコイン] マイニングとコンセンサスによるブロックチェーンの安全性と信頼性（第４回）](https://shion.blog/mining_consensus/) - マイニングはブロックチェーンネットワークにおいて新しいブロックを作成し、トランザクションを検証する重要なプロセスです。この作業を通じて、マイナーは新しい暗号通貨を報酬として得ることができます。そして、コンセンサスはネットワークの全参加者がブロックの正当性について合意する仕組みであり、データの整合性を保ち、不正行為を防止するために欠かせません。マイニングとコンセンサス、この二つの要素がブロックチェーンの安全性と信頼性を支えているのです。ブロックチェーン技術の理解を深めることで、その可能性を最大限に引き出すことができるでしょう。 - [[ビットコイン]トランザクションのライフサイクルとブロックチェーンの構造（第３回）](https://shion.blog/transactionlifecycleblockchain/) - ビットコインのトランザクションとその関連技術 ビットコインのトランザクションは、仮想通貨ビットコインの送受信を - [[ビットコイン]トランザクションの内部構造とその課題（第２回）](https://shion.blog/bitcoin_transactions/) - ビットコインは、仮想通貨の中でも最も広く認知され、利用されているデジタル通貨です。しかし、その技術的な裏側には多くの課題が存在しています。今回の記事では、ビットコインのトランザクション（取引）に焦点を当て、その構造と運用上の重要な課題について説明してみようと思います。今回は、前回の内容を復習しつつ、新たな技術的要素も掘り下げていきます。 - [[Web3] ブロックチェーンとビットコインの基礎を学ぼう！（第１回）](https://shion.blog/basic_blockchain_bitcoin/) - ブロックチェーンとビットコインは、最近の技術の中でも特に注目されているテーマです。このブログ記事では、ブロックチェーンの基本からビットコインの仕組みまでを簡単に説明します。この記事は、「ビットコインとブロックチェーン」という書籍を元にしています。 - [【DApps・エコノミクス設計入門】経済学としての暗号経済学とトークノミクス（第８回）](https://shion.blog/cryptoeconomics-and-tokenomics-as-economics/) - ロックチェーン技術の台頭とともに、新しい経済概念として「クリプトエコノミクス（暗号経済学）」と「トークノミクス」が注目を集めています。これらは、デジタル経済における分散化と自律性を実現するための重要な概念ですが、その定義や経済学との接続がまだ不十分であるという指摘もあります。本ブログでは、これらの概念を経済学の視点から再評価し、その統合の可能性について探ります。 - [【OpenAI】「o1-preview」「o1-mini」とは？](https://shion.blog/openai_o1-preview_o1-mini/) - OpenAI o1-Previewは、科学、コーディング、数学などの複雑な問題に対応するために設計された新しい推論モデルシリーズです。このモデルは応答前に長く思考することで、難解なタスクにおける性能を向上させ、特に数学やコーディング、推論ベンチマークでGPT-4oを上回る結果を示しています。安全性も強化されており、ChatGPTやAPI経由で利用可能です。詳細はこちらをご覧ください。 - [[コード補完機能] GitHub Copilot とは? VSCodeを使った活用術](https://shion.blog/github-copilot-vscode/) - GitHub Copilot とは？ GPTモデルとは？ GPTモデルは事前に大量のテキストデータを学習し、そ - [【ChatGPT・Claude・Gemini】プロンプトエンジニアリング（第二回）](https://shion.blog/promptengineering_2/) - AutoForm手法を使用することで、LLMは構造化データを表現するためにJSONを選択し、フィルタリングにはPythonコードを選択しました。この組み合わせにより、問題を効率的に解決し、結果を明確に伝えることができました。このアプローチは、「AutoForm」がより複雑なタスクにおいても推論プロセスとコミュニケーション効率を向上させる方法を示しています。 - [【ChatGPT・Claude・Gemini】プロンプトエンジニアリング（第一回）](https://shion.blog/promptengineering_1/) - 概要 AI技術の進化により、私たちはChatGPTやClaude、Geminiといった高度な言語理解能力を持つ - [[OpenAI] ChatGPT-4oとは？GPT-4との違い](https://shion.blog/chatgpt-4o/) - ChatGPT-4oとは何か？ ChatGPT（ChatGPT-4 omni）は、OpenAIが作った新しいバ - [[Anthropic] Claude3を使ってみてその良さを知る（方向性を暗示するLLMの行方）](https://shion.blog/anthropic-claude3/) - 「Claude3モデル」の見解について「GPT-4モデル」と比較したところ、GPT-4とはまた違った良さがあることが確認できました。 特に「Claude3」の場合は、質問に応じた回答の内容の正確さと読み手に寄り添うような返答が印象に残りました。独自の見解を孕んだ質問の回答には、AIが内包する未来に安心を暗示するような印象があり、今後のAIの発展に対する「言語モデル完成型」の片鱗のような様相を伺うことができたような気がします。 AIモデルの発展に伴い、AGIのようなシンギュラリティを暗示する現実を目の当たりにする回数が増えてきました。「Claude3」のようなモデルの発表はAIによる科学の推進を不安に思う人々を安心に導くようなところがあり、AIと人が共生できる未来が暗示されている可能性を浮き彫りにしたと感じました。 - [[UI] OllamaとOpen WebUIを使って「Gemmaモデル」をChatGPT形式で使用する](https://shion.blog/gemma-chat/) - 「Gemmaモデル」をChatGPT形式で使用する手順 GithubのopenwebuiのページのREADME - [[論文] テキストからオーディオや音楽への変換を行う非自己回帰モデル「MAGNET」とは？](https://shion.blog/paper-magnet-meta/) - MAGNETは、オーディオトークンを活用し、シングルステージトランスフォーマーを用いてトレーニング中にマスクされたトークンの範囲を予測するモデルです。 このモデルは、推論時に複数ステップのデコーディングを経て出力シーケンスを形成し、外部の事前学習済みモデルを用いた独自の再スコアリング手法でオーディオの質を向上させます。 MAGNETは、自己回帰モデルと非自己回帰モデルの長所を融合させ、効率と速度を格段に高めることを目指しています。広範な評価から、このモデルは自己回帰モデルに匹敵する性能を保ちつつ、推論速度を顕著に改善することが明らかになっています。 - [[論文] エネルギー効率の良いAI : 計算資源を最小限に抑える言語モデルの開発](https://shion.blog/paper-1-bit-llms/) - 論文は、BitNet b1.58がどのようにして従来の全精度モデルと同等の性能を、より効率的に達成しているかを説明しています。具体的には、1ビットの計算を用いることで、メモリ使用量、計算速度、エネルギー消費を大幅に削減しながら、言語理解タスクにおける高い精度を維持する技術について論じています。このアプローチは、大規模言語モデルの将来の方向性を示唆し、特にリソースが限られた環境での応用において、その有効性を強調しています。 - [[論文]『WORLD MODEL ON MILLION-LENGTH VIDEO AND LANGUAGE WITH RINGATTENTION』](https://shion.blog/paper-world-model-on-million-length-video-and-language-with-ringattention/) - 『WORLD MODEL ON MILLION-LENGTH VIDEO AND LANGUAGE WITH RINGATTENTION』の論文では、長いビデオと言語のシーケンスを訓練する際の課題に対処するために、「リングアテンション」を使用して大規模データセットでのトレーニングをスケーリングする方法を提案しています。 - [[論文] OpenAIの動画生成AI「Sora」の論文を読む](https://shion.blog/paper-openai-sora/) - 2024年2月にOpenAIがリリースしたSoraは、テキストの指示からリアルまたは想像上のシーンをビデオとして生成するAIモデルです。この革新的なモデルは、物理世界をシミュレートする能力を持ち、テキストからビデオへの変換に新たな地平を開きました。技術報告書とリバースエンジニアリングに基づいて、この論文はSoraの開発背景、鍵となる技術、幅広い産業での応用、そして直面する挑戦について詳細に解説しています。 - [[LLM] Googleの言語モデル「Gemma」を使ってみる](https://shion.blog/google-gemma/) - Gemma は、Gemini をベースとした Google の 4 つの新しい LLM モデルのファミリーです。2B パラメーターと 7B パラメーターの 2 つのサイズがあり、それぞれにベース (事前トレーニング) バージョンと命令調整バージョンがあります。すべてのバリアントは、量子化なしでもさまざまなタイプのコンシューマ ハードウェアで実行でき、コンテキスト長は 8K トークンです。 - [[論文]Meta 社のTestGen-LLMとは？](https://shion.blog/paper-meta-testgen-llm/) - 論文は、産業環境でのTestGen-LLMの成功した展開を強調し、テストカバレッジと信頼性を向上させる効果を示しており、Metaソフトウェアエンジニアによる推奨事項の高い受け入れ率を示しています。 - [[論文]『A Data Science Pipeline for Algorithmic Trading: A Comparative Study of Applications for Finance and Cryptoeconomics』を読む](https://shion.blog/paper-a-data-science-pipeline/) - この論文の研究について 概要 論文の題名の和訳： 『アルゴリズム取引のためのデータサイエンスパイプライン： 金 - [[論文] 『Ring Attention with Blockwise Transformers』の論文を読む](https://shion.blog/paper-ringattention/) - 『Ring Attention with Blockwise Transformers』は、AIモデルで長いシーケンスを効率的に処理し、以前の制限を超えたシーケンスのトレーニングと推論を可能にする、メモリ効率の高い、拡張性のある、高性能な解決策を提供します。これにより、精度を損なうことなく、追加のオーバーヘッドを発生させることなく、長いシーケンスを処理できます。 - [[OpenAI] Fine-tuningを理解する](https://shion.blog/fine-tuning/) - ファインチューニングは、大量のデータで事前に学習されたモデルを特定のタスクやデータセットに合わせて微調整するプロセスです。わかりやすく説明すると大規模言語モデルが大きすぎて対応できない場合や、大規模言語モデルの情報が足りない場合などに有効です。 - [[OpenAI] 埋め込み（Embeddings）を理解する](https://shion.blog/embeddings/) - 埋め込み（Embeddings） 埋め込み（Embeddings）とは？ 「埋め込み（Embeddings）」 - [[OpenAI]GPT-4の魅力とAPIの使い方](https://shion.blog/openaigpt-4/) - GPT-4の魅力とAPIの使い方についての説明です。GPT-4は画像入力、音声入力など従来のテキスト入力以外の機能が備わっており、あらゆる可能性を秘めていると言えます。また、司法試験などのテストで人間と遜色のないパフォーマンスを発揮したこともあり、これからのAIの発展を語る上で重要な分岐点であると考えます。 - [[論文] ReAct：言語モデルにおける推論と行動の相乗効果](https://shion.blog/paper-react/) - ReActとは？ ReActは、大規模言語モデルにおいて、推論トレースとタスク固有のアクションを組み合わせる革 - [[コーディング学習]GitHub Copilot Chatを使ってみる](https://shion.blog/github-copilot-chat/) - GitHub Copilot Chatを使ってコーディングの学習や検証を行うことができます。また、コードに不備があるようなケースにはコードを保管するような方法論を提案してもらうことが可能です。コーディングに苦手意識がある場合、GItHub Copilotはもちろん、GItHub Copilot Chatはあなたの味方であり続けます。 - [[LLM]LIamaHubをLIamaIndexを使って活用してみよう](https://shion.blog/liamahub/) - LLMとは 公開されている大量のデータを事前学習して、それを元に文章生成や質問応答を行います。 LIamaIn - [[音声認識] 文字起こしツールWhisperを使ってみよう](https://shion.blog/whisper/) - Whisperとは？ Whisperは何をするツール？ OpenAIのWhisperは音声認識AIの文字起こし - [[画像生成] APIでDALL-E 3を使ってみよう](https://shion.blog/dall-e-3/) - DALL-E 3とは？ DALL-E 3について DALL-E 3は、OpenAIによって開発された最新のAI - [[OpenAI]ChatGPTの簡単な使い方の説明](https://shion.blog/chatgpt/) - ChatGPTの入門です。簡単な使い方の説明からプロンプトの作成までを説明しています。ChatGPTの使い方に慣れるためにはプロンプトを使いこなすことが近道であると考えます。具体的なプロンプトの指定と文字数や文脈や文体の指定を行うことでより効果的にChatGPTを使いこなすことが可能です。 ## 固定ページ - [プライバシーポリシー](https://shion.blog/privacy-policy/) - プライバシーポリシー Shion.blog（以下、「当サイト」といいます）は、訪問者のプライバシーを尊重し、個 - [運営者情報](https://shion.blog/profile/) - 基本情報 はじめまして、News report AI landsの編集者Shionです。 以前はサービス業の仕 - [サイトマップ](https://shion.blog/sitemap/) - [お問い合わせ](https://shion.blog/info/) - 当ブログへのご連絡は、以下のフォームからご連絡ください。 ## カテゴリー - [機械学習](https://shion.blog/category/datascience/) - [Web3](https://shion.blog/category/web3/) - [GPT](https://shion.blog/category/llm/gpt/) - [LLM](https://shion.blog/category/llm/) - [音声認識](https://shion.blog/category/llm/音声認識/) - [画像生成](https://shion.blog/category/llm/画像生成/) - [論文](https://shion.blog/category/paper/) - [Claude](https://shion.blog/category/llm/claude/) - [研究](https://shion.blog/category/paper/research/) - [Bitcoin](https://shion.blog/category/web3/bitcoin/) - [Ethereum](https://shion.blog/category/web3/ethereum/) - [Solana](https://shion.blog/category/web3/solana/) - [Polygon](https://shion.blog/category/web3/ethereum/polygon/) - [Polkadot](https://shion.blog/category/web3/polkadot/) - [Astar Network](https://shion.blog/category/web3/polkadot/astar-network/) - [Blockchain](https://shion.blog/category/web3/blockchain/) - [プログラミング](https://shion.blog/category/datascience/プログラミング/) - [データ分析](https://shion.blog/category/datascience/データ分析/) - [統計学](https://shion.blog/category/datascience/データ分析/統計学/) - [数学](https://shion.blog/category/datascience/データ分析/数学/) - [ディープラーニング](https://shion.blog/category/datascience/ディープラーニング/) - [AIエージェント](https://shion.blog/category/llm/aiエージェント/) - [動画](https://shion.blog/category/動画/) - [事前学習](https://shion.blog/category/llm/事前学習/) - [基礎理論](https://shion.blog/category/llm/事前学習/基礎理論/) - [実装詳細](https://shion.blog/category/llm/事前学習/実装詳細/) - [データセット戦略](https://shion.blog/category/llm/事前学習/データ戦略/) - [詳細設計書](https://shion.blog/category/llm/事前学習/詳細設計書/) - [組織戦略](https://shion.blog/category/llm/事前学習/組織戦略/) - [シリーズ総集編](https://shion.blog/category/llm/シリーズ総集編/) - [スケール則](https://shion.blog/category/llm/スケール則/) - [基礎理論](https://shion.blog/category/llm/スケール則/基礎理論-スケール則/) - [実装と検証](https://shion.blog/category/llm/スケール則/実装と検証/) - [最適配分戦略](https://shion.blog/category/llm/スケール則/最適配分戦略/) - [現象の理解](https://shion.blog/category/llm/スケール則/現象の理解/) ## タグ - [ChatGPT](https://shion.blog/tag/chatgpt/) - [Copilot](https://shion.blog/tag/copilot/) - [API](https://shion.blog/tag/api/) - [Whisper](https://shion.blog/tag/whisper/) - [DALL-E 3](https://shion.blog/tag/dall-e-3/) - [LIamaIndex](https://shion.blog/tag/liamaindex/) - [論文](https://shion.blog/tag/論文/) - [LLM](https://shion.blog/tag/llm/) - [Embedding](https://shion.blog/tag/embedding/) - [OpenAI](https://shion.blog/tag/openai/) - [Fine-tuning](https://shion.blog/tag/fine-tuning/) - [Transformer](https://shion.blog/tag/transformer/) - [Attention](https://shion.blog/tag/attention/) - [Ring Attention](https://shion.blog/tag/ring-attention/) - [強化学習](https://shion.blog/tag/強化学習/) - [世界モデル](https://shion.blog/tag/世界モデル/) - [機械学習](https://shion.blog/tag/機械学習/) - [データサイエンス](https://shion.blog/tag/データサイエンス/) - [金融市場](https://shion.blog/tag/金融市場/) - [アルゴリズムトレード](https://shion.blog/tag/アルゴリズムトレード/) - [Pythohn](https://shion.blog/tag/pythohn/) - [Meta](https://shion.blog/tag/meta/) - [Gemma](https://shion.blog/tag/gemma/) - [Google](https://shion.blog/tag/google/) - [Model](https://shion.blog/tag/model/) - [gemma-2b](https://shion.blog/tag/gemma-2b/) - [gemma-7b](https://shion.blog/tag/gemma-7b/) - [Chat](https://shion.blog/tag/chat/) - [Ollama](https://shion.blog/tag/ollama/) - [Open WebUI](https://shion.blog/tag/open-webui/) - [UI](https://shion.blog/tag/ui/) - [Sora](https://shion.blog/tag/sora/) - [BitNet b1.58](https://shion.blog/tag/bitnet-b1-58/) - [Microsoft](https://shion.blog/tag/microsoft/) - [1bit LLM](https://shion.blog/tag/1bit-llm/) - [MAGNet](https://shion.blog/tag/magnet/) - [text-to-music](https://shion.blog/tag/text-to-music/) - [text-to-sound](https://shion.blog/tag/text-to-sound/) - [Anthropic](https://shion.blog/tag/anthropic/) - [Claude3](https://shion.blog/tag/claude3/) - [Opus](https://shion.blog/tag/opus/) - [Sonnet](https://shion.blog/tag/sonnet/) - [Haiku](https://shion.blog/tag/haiku/) - [Vision](https://shion.blog/tag/vision/) - [マルチモーダルLLM](https://shion.blog/tag/マルチモーダルllm/) - [blockchain](https://shion.blog/tag/blockchain/) - [bitcoin](https://shion.blog/tag/bitcoin/) - [Web3](https://shion.blog/tag/web3/) - [NFT](https://shion.blog/tag/nft/) - [DeFi](https://shion.blog/tag/defi/) - [スマートコントラクト](https://shion.blog/tag/スマートコントラクト/) - [トラストレス](https://shion.blog/tag/トラストレス/) - [transactions](https://shion.blog/tag/transactions/) - [wallet](https://shion.blog/tag/wallet/) - [公開鍵](https://shion.blog/tag/公開鍵/) - [秘密鍵](https://shion.blog/tag/秘密鍵/) - [ハッシュ値](https://shion.blog/tag/ハッシュ値/) - [マイニング](https://shion.blog/tag/マイニング/) - [コンセンサス](https://shion.blog/tag/コンセンサス/) - [ビットコイン](https://shion.blog/tag/ビットコイン/) - [ブロックチェーン](https://shion.blog/tag/ブロックチェーン/) - [Pow](https://shion.blog/tag/pow/) - [Pos](https://shion.blog/tag/pos/) - [トランザクション](https://shion.blog/tag/トランザクション/) - [Coinbaseトランザクション](https://shion.blog/tag/coinbaseトランザクション/) - [Ethereum](https://shion.blog/tag/ethereum/) - [The Merge](https://shion.blog/tag/the-merge/) - [Uncle Block Reward](https://shion.blog/tag/uncle-block-reward/) - [Ethereum2.0](https://shion.blog/tag/ethereum2-0/) - [バリデータ](https://shion.blog/tag/バリデータ/) - [クリプトエコノミクス](https://shion.blog/tag/クリプトエコノミクス/) - [トークノミクス](https://shion.blog/tag/トークノミクス/) - [暗号経済学](https://shion.blog/tag/暗号経済学/) - [トークン経済学](https://shion.blog/tag/トークン経済学/) - [コンセンサス形成](https://shion.blog/tag/コンセンサス形成/) - [分散化](https://shion.blog/tag/分散化/) - [トークン価値の設計](https://shion.blog/tag/トークン価値の設計/) - [DApps](https://shion.blog/tag/dapps/) - [DAO](https://shion.blog/tag/dao/) - [Uniswap](https://shion.blog/tag/uniswap/) - [MakerDao](https://shion.blog/tag/makerdao/) - [ERC20トークン](https://shion.blog/tag/erc20トークン/) - [SAI](https://shion.blog/tag/sai/) - [WETH](https://shion.blog/tag/weth/) - [PETH](https://shion.blog/tag/peth/) - [DAI](https://shion.blog/tag/dai/) - [VitaDAO](https://shion.blog/tag/vitadao/) - [法規制](https://shion.blog/tag/法規制/) - [トークン](https://shion.blog/tag/トークン/) - [規制動向](https://shion.blog/tag/規制動向/) - [Rollup](https://shion.blog/tag/rollup/) - [L1](https://shion.blog/tag/l1/) - [L2](https://shion.blog/tag/l2/) - [Arbitrum](https://shion.blog/tag/arbitrum/) - [Blobデータ](https://shion.blog/tag/blobデータ/) - [KZGコミットメント](https://shion.blog/tag/kzgコミットメント/) - [プロトダンクシャーディング](https://shion.blog/tag/プロトダンクシャーディング/) - [ガス代](https://shion.blog/tag/ガス代/) - [削減](https://shion.blog/tag/削減/) - [コスト](https://shion.blog/tag/コスト/) - [プロンプト](https://shion.blog/tag/プロンプト/) - [ホワイトボード思考法](https://shion.blog/tag/ホワイトボード思考法/) - [空間推論能力向上手法](https://shion.blog/tag/空間推論能力向上手法/) - [プロンプトエンジニアリング](https://shion.blog/tag/プロンプトエンジニアリング/) - [視覚化](https://shion.blog/tag/視覚化/) - [グラフ](https://shion.blog/tag/グラフ/) - [Q学習](https://shion.blog/tag/q学習/) - [ゼロ知識証明](https://shion.blog/tag/ゼロ知識証明/) - [zk-SNARKs](https://shion.blog/tag/zk-snarks/) - [Circom](https://shion.blog/tag/circom/) - [PlonK](https://shion.blog/tag/plonk/) - [算術回路](https://shion.blog/tag/算術回路/) - [ゲート制約](https://shion.blog/tag/ゲート制約/) - [コピー制約](https://shion.blog/tag/コピー制約/) - [多項式](https://shion.blog/tag/多項式/) - [snarkjs](https://shion.blog/tag/snarkjs/) - [Solidity](https://shion.blog/tag/solidity/) - [コントラクトウォレット](https://shion.blog/tag/コントラクトウォレット/) - [Zcash](https://shion.blog/tag/zcash/) - [zkEVM](https://shion.blog/tag/zkevm/) - [zkRollup](https://shion.blog/tag/zkrollup/) - [AutoForm](https://shion.blog/tag/autoform/) - [Gemini](https://shion.blog/tag/gemini/) - [相互運用性](https://shion.blog/tag/相互運用性/) - [クロスチェーン](https://shion.blog/tag/クロスチェーン/) - [標準化](https://shion.blog/tag/標準化/) - [ブリッジング](https://shion.blog/tag/ブリッジング/) - [Polygon](https://shion.blog/tag/polygon/) - [Polkadot](https://shion.blog/tag/polkadot/) - [Astar Network](https://shion.blog/tag/astar-network/) - [NPoS](https://shion.blog/tag/npos/) - [DOT](https://shion.blog/tag/dot/) - [WASM](https://shion.blog/tag/wasm/) - [Jam Chain](https://shion.blog/tag/jam-chain/) - [ディープラーニング](https://shion.blog/tag/ディープラーニング/) - [Python](https://shion.blog/tag/python/) - [Cursor](https://shion.blog/tag/cursor/) - [o1-preview](https://shion.blog/tag/o1-preview/) - [o1-mini](https://shion.blog/tag/o1-mini/) - [推論](https://shion.blog/tag/推論/) - [コーディング](https://shion.blog/tag/コーディング/) - [推論モデル](https://shion.blog/tag/推論モデル/) - [大規模言語モデル](https://shion.blog/tag/大規模言語モデル/) - [統計学](https://shion.blog/tag/統計学/) - [t検定](https://shion.blog/tag/t検定/) - [F検定](https://shion.blog/tag/f検定/) - [仮説検定](https://shion.blog/tag/仮説検定/) - [相関分析](https://shion.blog/tag/相関分析/) - [データの前処理](https://shion.blog/tag/データの前処理/) - [データの可視化](https://shion.blog/tag/データの可視化/) - [Kaggle](https://shion.blog/tag/kaggle/) - [タイタニック号](https://shion.blog/tag/タイタニック号/) - [欠損値](https://shion.blog/tag/欠損値/) - [補完](https://shion.blog/tag/補完/) - [最尤法](https://shion.blog/tag/最尤法/) - [EMアルゴリズム](https://shion.blog/tag/emアルゴリズム/) - [IterativeImputer](https://shion.blog/tag/iterativeimputer/) - [MICEData](https://shion.blog/tag/micedata/) - [ラベルエンコーディング](https://shion.blog/tag/ラベルエンコーディング/) - [ワンホットエンコーディング](https://shion.blog/tag/ワンホットエンコーディング/) - [Min-Maxスケーリング](https://shion.blog/tag/min-maxスケーリング/) - [カイ二乗検定](https://shion.blog/tag/カイ二乗検定/) - [箱ひげ図](https://shion.blog/tag/箱ひげ図/) - [ピアソンの相関係数](https://shion.blog/tag/ピアソンの相関係数/) - [スピアマンの順位相関係数](https://shion.blog/tag/スピアマンの順位相関係数/) - [特徴量エンジニアリング](https://shion.blog/tag/特徴量エンジニアリング/) - [データのバランシング](https://shion.blog/tag/データのバランシング/) - [教師あり学習](https://shion.blog/tag/教師あり学習/) - [教師なし学習](https://shion.blog/tag/教師なし学習/) - [AI](https://shion.blog/tag/ai/) - [人工知能の歴史](https://shion.blog/tag/人工知能の歴史/) - [分類モデル](https://shion.blog/tag/分類モデル/) - [回帰モデル](https://shion.blog/tag/回帰モデル/) - [混合行列](https://shion.blog/tag/混合行列/) - [MSE](https://shion.blog/tag/mse/) - [MAE](https://shion.blog/tag/mae/) - [決定係数](https://shion.blog/tag/決定係数/) - [RMSE](https://shion.blog/tag/rmse/) - [RMSLE](https://shion.blog/tag/rmsle/) - [過学習](https://shion.blog/tag/過学習/) - [汎化性能](https://shion.blog/tag/汎化性能/) - [交差検証法](https://shion.blog/tag/交差検証法/) - [ホールドアウト法](https://shion.blog/tag/ホールドアウト法/) - [K分割交差検証法](https://shion.blog/tag/k分割交差検証法/) - [Pipeline](https://shion.blog/tag/pipeline/) - [LOOCV](https://shion.blog/tag/loocv/) - [ハイパーパラメータチューニング](https://shion.blog/tag/ハイパーパラメータチューニング/) - [グリッドサーチ](https://shion.blog/tag/グリッドサーチ/) - [ランダムサーチ](https://shion.blog/tag/ランダムサーチ/) - [ベイズ最適化](https://shion.blog/tag/ベイズ最適化/) - [正則化](https://shion.blog/tag/正則化/) - [Lasso](https://shion.blog/tag/lasso/) - [Ridge](https://shion.blog/tag/ridge/) - [Elastic Net](https://shion.blog/tag/elastic-net/) - [ドロップアウト](https://shion.blog/tag/ドロップアウト/) - [バギング](https://shion.blog/tag/バギング/) - [ブースティング](https://shion.blog/tag/ブースティング/) - [アンサンブル学習](https://shion.blog/tag/アンサンブル学習/) - [弱学習器](https://shion.blog/tag/弱学習器/) - [線形回帰](https://shion.blog/tag/線形回帰/) - [ロジスティック回帰](https://shion.blog/tag/ロジスティック回帰/) - [シグモイド関数](https://shion.blog/tag/シグモイド関数/) - [ソフトマックス関数](https://shion.blog/tag/ソフトマックス関数/) - [多項ロジスティック回帰](https://shion.blog/tag/多項ロジスティック回帰/) - [損失関数](https://shion.blog/tag/損失関数/) - [最急降下法](https://shion.blog/tag/最急降下法/) - [二値クロスエントロピー](https://shion.blog/tag/二値クロスエントロピー/) - [クロスエントロピー誤差](https://shion.blog/tag/クロスエントロピー誤差/) - [Ovr](https://shion.blog/tag/ovr/) - [Multinomial](https://shion.blog/tag/multinomial/) - [SGD](https://shion.blog/tag/sgd/) - [Adam](https://shion.blog/tag/adam/) - [ミニバッチ勾配降下法](https://shion.blog/tag/ミニバッチ勾配降下法/) - [k近傍法](https://shion.blog/tag/k近傍法/) - [KNN回帰](https://shion.blog/tag/knn回帰/) - [ナイーブベイズ](https://shion.blog/tag/ナイーブベイズ/) - [ベイズの定理](https://shion.blog/tag/ベイズの定理/) - [尤度](https://shion.blog/tag/尤度/) - [TF-IDF](https://shion.blog/tag/tf-idf/) - [n-gram](https://shion.blog/tag/n-gram/) - [ストップワード](https://shion.blog/tag/ストップワード/) - [決定木](https://shion.blog/tag/決定木/) - [ランダムフォレスト](https://shion.blog/tag/ランダムフォレスト/) - [ジニ不純度](https://shion.blog/tag/ジニ不純度/) - [エントロピー](https://shion.blog/tag/エントロピー/) - [剪定](https://shion.blog/tag/剪定/) - [Pruning](https://shion.blog/tag/pruning/) - [分類](https://shion.blog/tag/分類/) - [回帰](https://shion.blog/tag/回帰/) - [サポートベクターマシン](https://shion.blog/tag/サポートベクターマシン/) - [SVM](https://shion.blog/tag/svm/) - [SVC](https://shion.blog/tag/svc/) - [マージン最大化](https://shion.blog/tag/マージン最大化/) - [ハードマージン](https://shion.blog/tag/ハードマージン/) - [ソフトマージン](https://shion.blog/tag/ソフトマージン/) - [ラグランジュ未定乗数法](https://shion.blog/tag/ラグランジュ未定乗数法/) - [カーネル関数](https://shion.blog/tag/カーネル関数/) - [カーネルトリック](https://shion.blog/tag/カーネルトリック/) - [LinearSVC](https://shion.blog/tag/linearsvc/) - [MLP](https://shion.blog/tag/mlp/) - [多層パーセプトロン](https://shion.blog/tag/多層パーセプトロン/) - [活性化関数](https://shion.blog/tag/活性化関数/) - [ReLU関数](https://shion.blog/tag/relu関数/) - [tanh関数](https://shion.blog/tag/tanh関数/) - [誤差逆伝播法](https://shion.blog/tag/誤差逆伝播法/) - [バックプロパゲーション](https://shion.blog/tag/バックプロパゲーション/) - [クラスタリング](https://shion.blog/tag/クラスタリング/) - [階層クラスタリング](https://shion.blog/tag/階層クラスタリング/) - [K-means](https://shion.blog/tag/k-means/) - [コサイン類似度](https://shion.blog/tag/コサイン類似度/) - [デンドログラム](https://shion.blog/tag/デンドログラム/) - [ウォード法](https://shion.blog/tag/ウォード法/) - [固有値分解](https://shion.blog/tag/固有値分解/) - [特異値分解](https://shion.blog/tag/特異値分解/) - [SVD](https://shion.blog/tag/svd/) - [PDA](https://shion.blog/tag/pda/) - [LU分解](https://shion.blog/tag/lu分解/) - [QR分解](https://shion.blog/tag/qr分解/) - [非負値行列分解](https://shion.blog/tag/非負値行列分解/) - [NMF](https://shion.blog/tag/nmf/) - [微分](https://shion.blog/tag/微分/) - [積分](https://shion.blog/tag/積分/) - [偏微分](https://shion.blog/tag/偏微分/) - [確率論](https://shion.blog/tag/確率論/) - [ベイズ推論](https://shion.blog/tag/ベイズ推論/) - [正規分布](https://shion.blog/tag/正規分布/) - [ベルヌーイ分布](https://shion.blog/tag/ベルヌーイ分布/) - [ポアソン分布](https://shion.blog/tag/ポアソン分布/) - [ベイジリアンネットワーク](https://shion.blog/tag/ベイジリアンネットワーク/) - [共分散](https://shion.blog/tag/共分散/) - [相関](https://shion.blog/tag/相関/) - [推測統計](https://shion.blog/tag/推測統計/) - [最適化](https://shion.blog/tag/最適化/) - [勾配降下法](https://shion.blog/tag/勾配降下法/) - [ラグランジュ最適化](https://shion.blog/tag/ラグランジュ最適化/) - [モーメント法](https://shion.blog/tag/モーメント法/) - [KLダイバージェンス](https://shion.blog/tag/klダイバージェンス/) - [JSダイバージェンス](https://shion.blog/tag/jsダイバージェンス/) - [相互情報量](https://shion.blog/tag/相互情報量/) - [クロスエントロピー](https://shion.blog/tag/クロスエントロピー/) - [情報理論](https://shion.blog/tag/情報理論/) - [離散数学](https://shion.blog/tag/離散数学/) - [グラフ理論](https://shion.blog/tag/グラフ理論/) - [組み合わせ論](https://shion.blog/tag/組み合わせ論/) - [論理演算](https://shion.blog/tag/論理演算/) - [偏微分方程式](https://shion.blog/tag/偏微分方程式/) - [ラプラス変換](https://shion.blog/tag/ラプラス変換/) - [フーリエ変換](https://shion.blog/tag/フーリエ変換/) - [汎化誤差](https://shion.blog/tag/汎化誤差/) - [VC次元](https://shion.blog/tag/vc次元/) - [PAC学習](https://shion.blog/tag/pac学習/) - [微分幾何学](https://shion.blog/tag/微分幾何学/) - [確率過程](https://shion.blog/tag/確率過程/) - [ガウス過程](https://shion.blog/tag/ガウス過程/) - [マルコフ連鎖](https://shion.blog/tag/マルコフ連鎖/) - [主成分分析](https://shion.blog/tag/主成分分析/) - [PCA](https://shion.blog/tag/pca/) - [次元削減](https://shion.blog/tag/次元削減/) - [寄与率](https://shion.blog/tag/寄与率/) - [負荷量](https://shion.blog/tag/負荷量/) - [非線形次元削減](https://shion.blog/tag/非線形次元削減/) - [t-SNE](https://shion.blog/tag/t-sne/) - [異常検知](https://shion.blog/tag/異常検知/) - [Isolation Forest](https://shion.blog/tag/isolation-forest/) - [LDA](https://shion.blog/tag/lda/) - [潜在ディリクレ配分法](https://shion.blog/tag/潜在ディリクレ配分法/) - [辞書](https://shion.blog/tag/辞書/) - [コーパス](https://shion.blog/tag/コーパス/) - [ベイズの最適化](https://shion.blog/tag/ベイズの最適化/) - [確率的生成モデル](https://shion.blog/tag/確率的生成モデル/) - [ベイズ統計](https://shion.blog/tag/ベイズ統計/) - [マルコフ連鎖モンテカルロ法](https://shion.blog/tag/マルコフ連鎖モンテカルロ法/) - [ディリクレ分布](https://shion.blog/tag/ディリクレ分布/) - [BoW](https://shion.blog/tag/bow/) - [Newsgroup20](https://shion.blog/tag/newsgroup20/) - [UMAP](https://shion.blog/tag/umap/) - [オートエンコーダ](https://shion.blog/tag/オートエンコーダ/) - [エンコーダ](https://shion.blog/tag/エンコーダ/) - [デコーダ](https://shion.blog/tag/デコーダ/) - [BCE](https://shion.blog/tag/bce/) - [デノイジングオートエンコーダ](https://shion.blog/tag/デノイジングオートエンコーダ/) - [ガウスノイズ](https://shion.blog/tag/ガウスノイズ/) - [ドロップアウトノイズ](https://shion.blog/tag/ドロップアウトノイズ/) - [スパイクノイズ](https://shion.blog/tag/スパイクノイズ/) - [ノイズ除去](https://shion.blog/tag/ノイズ除去/) - [非負値行列因子分解](https://shion.blog/tag/非負値行列因子分解/) - [深層学習](https://shion.blog/tag/深層学習/) - [ニューラルネットワーク](https://shion.blog/tag/ニューラルネットワーク/) - [重みの初期化](https://shion.blog/tag/重みの初期化/) - [一様分布](https://shion.blog/tag/一様分布/) - [Xavier初期化](https://shion.blog/tag/xavier初期化/) - [He初期化](https://shion.blog/tag/he初期化/) - [Kaiming初期化](https://shion.blog/tag/kaiming初期化/) - [全結合層](https://shion.blog/tag/全結合層/) - [隠れ層](https://shion.blog/tag/隠れ層/) - [tanh](https://shion.blog/tag/tanh/) - [出力ユニット](https://shion.blog/tag/出力ユニット/) - [線形ユニット](https://shion.blog/tag/線形ユニット/) - [シグモイドユニット](https://shion.blog/tag/シグモイドユニット/) - [ソフトマックスユニット](https://shion.blog/tag/ソフトマックスユニット/) - [最尤推定](https://shion.blog/tag/最尤推定/) - [尤度関数](https://shion.blog/tag/尤度関数/) - [ガウス分布](https://shion.blog/tag/ガウス分布/) - [マルチヌーイ分布](https://shion.blog/tag/マルチヌーイ分布/) - [恒等関数](https://shion.blog/tag/恒等関数/) - [二乗誤差関数](https://shion.blog/tag/二乗誤差関数/) - [バイナリークロスエントロピー関数](https://shion.blog/tag/バイナリークロスエントロピー関数/) - [クロスエントロピー誤差関数](https://shion.blog/tag/クロスエントロピー誤差関数/) - [Affine変換](https://shion.blog/tag/affine変換/) - [Softmax With CrossEntropy](https://shion.blog/tag/softmax-with-crossentropy/) - [Linear With MSE](https://shion.blog/tag/linear-with-mse/) - [逆伝播](https://shion.blog/tag/逆伝播/) - [バッチ学習](https://shion.blog/tag/バッチ学習/) - [オンライン学習](https://shion.blog/tag/オンライン学習/) - [ミニバッチ学習](https://shion.blog/tag/ミニバッチ学習/) - [線形スケーリングルール](https://shion.blog/tag/線形スケーリングルール/) - [ウォームアップスケジュール](https://shion.blog/tag/ウォームアップスケジュール/) - [GPU並列処理](https://shion.blog/tag/gpu並列処理/) - [バッチ正規化](https://shion.blog/tag/バッチ正規化/) - [レイヤー正規化](https://shion.blog/tag/レイヤー正規化/) - [インスタンス正規化](https://shion.blog/tag/インスタンス正規化/) - [グループ正規化](https://shion.blog/tag/グループ正規化/) - [最適化アルゴリズム](https://shion.blog/tag/最適化アルゴリズム/) - [Momentum](https://shion.blog/tag/momentum/) - [AdaGrad](https://shion.blog/tag/adagrad/) - [RMSprop](https://shion.blog/tag/rmsprop/) - [AdamW](https://shion.blog/tag/adamw/) - [AdaBelief](https://shion.blog/tag/adabelief/) - [RAdam](https://shion.blog/tag/radam/) - [LookAhead Optimizer](https://shion.blog/tag/lookahead-optimizer/) - [Ranger](https://shion.blog/tag/ranger/) - [Lamb](https://shion.blog/tag/lamb/) - [Sophia](https://shion.blog/tag/sophia/) - [学習率の調整](https://shion.blog/tag/学習率の調整/) - [コサインスケジューラー](https://shion.blog/tag/コサインスケジューラー/) - [線形スケジューラー](https://shion.blog/tag/線形スケジューラー/) - [データ拡張](https://shion.blog/tag/データ拡張/) - [正則化手法](https://shion.blog/tag/正則化手法/) - [L２正則化](https://shion.blog/tag/l２正則化/) - [L1正則化](https://shion.blog/tag/l1正則化/) - [SpatialDropout](https://shion.blog/tag/spatialdropout/) - [Variational Dropout](https://shion.blog/tag/variational-dropout/) - [DropConnect](https://shion.blog/tag/dropconnect/) - [Concrete Dropout](https://shion.blog/tag/concrete-dropout/) - [AlphaDropout](https://shion.blog/tag/alphadropout/) - [SELU](https://shion.blog/tag/selu/) - [LeCun正規化](https://shion.blog/tag/lecun正規化/) - [SNN](https://shion.blog/tag/snn/) - [Zoneout](https://shion.blog/tag/zoneout/) - [蒸留](https://shion.blog/tag/蒸留/) - [応答ベース](https://shion.blog/tag/応答ベース/) - [特徴量ベース](https://shion.blog/tag/特徴量ベース/) - [関係ベース](https://shion.blog/tag/関係ベース/) - [FitNets](https://shion.blog/tag/fitnets/) - [Attention Transfer](https://shion.blog/tag/attention-transfer/) - [Soft Targets](https://shion.blog/tag/soft-targets/) - [RKD](https://shion.blog/tag/rkd/) - [CRD](https://shion.blog/tag/crd/) - [Self-Distillation](https://shion.blog/tag/self-distillation/) - [自己蒸留](https://shion.blog/tag/自己蒸留/) - [TinyTL](https://shion.blog/tag/tinytl/) - [DFKD](https://shion.blog/tag/dfkd/) - [信念の一致度](https://shion.blog/tag/信念の一致度/) - [枝刈り](https://shion.blog/tag/枝刈り/) - [宝くじ仮説](https://shion.blog/tag/宝くじ仮説/) - [量子化](https://shion.blog/tag/量子化/) - [PTQ](https://shion.blog/tag/ptq/) - [QAT](https://shion.blog/tag/qat/) - [Early Stopping](https://shion.blog/tag/early-stopping/) - [早期終了](https://shion.blog/tag/早期終了/) - [CNN](https://shion.blog/tag/cnn/) - [畳み込みニューラルネットワーク](https://shion.blog/tag/畳み込みニューラルネットワーク/) - [転移学習](https://shion.blog/tag/転移学習/) - [ファインチューニング](https://shion.blog/tag/ファインチューニング/) - [事前学習](https://shion.blog/tag/事前学習/) - [Dilated Convolution](https://shion.blog/tag/dilated-convolution/) - [Grad-CAM](https://shion.blog/tag/grad-cam/) - [モデルの保存と再利用](https://shion.blog/tag/モデルの保存と再利用/) - [時系列データ](https://shion.blog/tag/時系列データ/) - [ARIMA](https://shion.blog/tag/arima/) - [RNN](https://shion.blog/tag/rnn/) - [LSTM](https://shion.blog/tag/lstm/) - [GRU](https://shion.blog/tag/gru/) - [生成モデル](https://shion.blog/tag/生成モデル/) - [VAE](https://shion.blog/tag/vae/) - [Transfomer](https://shion.blog/tag/transfomer/) - [Self-Attention](https://shion.blog/tag/self-attention/) - [Scaled Dot-Product Attention](https://shion.blog/tag/scaled-dot-product-attention/) - [Multi-Head Attention](https://shion.blog/tag/multi-head-attention/) - [Position Encoding](https://shion.blog/tag/position-encoding/) - [Cross-Attention](https://shion.blog/tag/cross-attention/) - [Bert](https://shion.blog/tag/bert/) - [GPT](https://shion.blog/tag/gpt/) - [時系列データ解析](https://shion.blog/tag/時系列データ解析/) - [自然言語処理](https://shion.blog/tag/自然言語処理/) - [デノイジングオートエンコーダー](https://shion.blog/tag/デノイジングオートエンコーダー/) - [Multi-Head Latent Attention](https://shion.blog/tag/multi-head-latent-attention/) - [MLA](https://shion.blog/tag/mla/) - [AMP](https://shion.blog/tag/amp/) - [自動混合精度](https://shion.blog/tag/自動混合精度/) - [低精度計算](https://shion.blog/tag/低精度計算/) - [FP16](https://shion.blog/tag/fp16/) - [GPU](https://shion.blog/tag/gpu/) - [モデルの圧縮](https://shion.blog/tag/モデルの圧縮/) - [Longformer](https://shion.blog/tag/longformer/) - [Linformer](https://shion.blog/tag/linformer/) - [Performer](https://shion.blog/tag/performer/) - [Reformer](https://shion.blog/tag/reformer/) - [勾配チェックポイント](https://shion.blog/tag/勾配チェックポイント/) - [シーケンス分割](https://shion.blog/tag/シーケンス分割/) - [分散学習](https://shion.blog/tag/分散学習/) - [モデル並列化](https://shion.blog/tag/モデル並列化/) - [データ並列化](https://shion.blog/tag/データ並列化/) - [DataParallel](https://shion.blog/tag/dataparallel/) - [DDP](https://shion.blog/tag/ddp/) - [トークンの圧縮](https://shion.blog/tag/トークンの圧縮/) - [Fixed Interval Sampling](https://shion.blog/tag/fixed-interval-sampling/) - [価格変動ベースのサンプリング](https://shion.blog/tag/価格変動ベースのサンプリング/) - [平均値・中央値ベースの集約](https://shion.blog/tag/平均値・中央値ベースの集約/) - [適応的サンプリング](https://shion.blog/tag/適応的サンプリング/) - [異常値検知](https://shion.blog/tag/異常値検知/) - [勾配変化率](https://shion.blog/tag/勾配変化率/) - [ダウンサンプリング](https://shion.blog/tag/ダウンサンプリング/) - [自己回帰モデル](https://shion.blog/tag/自己回帰モデル/) - [予測](https://shion.blog/tag/予測/) - [マルチアセット解析](https://shion.blog/tag/マルチアセット解析/) - [音声認識](https://shion.blog/tag/音声認識/) - [HMM](https://shion.blog/tag/hmm/) - [GMM](https://shion.blog/tag/gmm/) - [DNN-HMM](https://shion.blog/tag/dnn-hmm/) - [MFCC](https://shion.blog/tag/mfcc/) - [FFT](https://shion.blog/tag/fft/) - [DFT](https://shion.blog/tag/dft/) - [DCT](https://shion.blog/tag/dct/) - [Speech-Transformer](https://shion.blog/tag/speech-transformer/) - [Wav2Vec 2.0](https://shion.blog/tag/wav2vec-2-0/) - [CTC](https://shion.blog/tag/ctc/) - [Zero-shot](https://shion.blog/tag/zero-shot/) - [自己教師あり学習](https://shion.blog/tag/自己教師あり学習/) - [o3-mini](https://shion.blog/tag/o3-mini/) - [o3-mini-high](https://shion.blog/tag/o3-mini-high/) - [o1](https://shion.blog/tag/o1/) - [推論能力の限界](https://shion.blog/tag/推論能力の限界/) - [暗号通貨](https://shion.blog/tag/暗号通貨/) - [市場分析](https://shion.blog/tag/市場分析/) - [データ収集](https://shion.blog/tag/データ収集/) - [統計的分析](https://shion.blog/tag/統計的分析/) - [取引戦略](https://shion.blog/tag/取引戦略/) - [バックテスト](https://shion.blog/tag/バックテスト/) - [リスク管理](https://shion.blog/tag/リスク管理/) - [o3](https://shion.blog/tag/o3/) - [DeepResarch](https://shion.blog/tag/deepresarch/) - [ChatGPT-4.5](https://shion.blog/tag/chatgpt-4-5/) - [Manus](https://shion.blog/tag/manus/) - [OpenManus](https://shion.blog/tag/openmanus/) - [Claude](https://shion.blog/tag/claude/) - [Qwen](https://shion.blog/tag/qwen/) - [AIエージェント](https://shion.blog/tag/aiエージェント/) - [マルチAIエージェント](https://shion.blog/tag/マルチaiエージェント/) - [ハイブリッド型](https://shion.blog/tag/ハイブリッド型/) - [Dify](https://shion.blog/tag/dify/) - [社内共有](https://shion.blog/tag/社内共有/) - [議事録](https://shion.blog/tag/議事録/) - [要約](https://shion.blog/tag/要約/) - [チャットボット](https://shion.blog/tag/チャットボット/) - [論文要約](https://shion.blog/tag/論文要約/) - [情報共有](https://shion.blog/tag/情報共有/) - [Slack](https://shion.blog/tag/slack/) - [Bot](https://shion.blog/tag/bot/) - [SlackBot](https://shion.blog/tag/slackbot/) - [JinaAI](https://shion.blog/tag/jinaai/) - [MCP](https://shion.blog/tag/mcp/) - [Agent](https://shion.blog/tag/agent/) - [Ask](https://shion.blog/tag/ask/) - [Manual](https://shion.blog/tag/manual/) - [ショートカット](https://shion.blog/tag/ショートカット/) - [Metamask](https://shion.blog/tag/metamask/) - [Hyperliquid](https://shion.blog/tag/hyperliquid/) - [フィッシング詐欺](https://shion.blog/tag/フィッシング詐欺/) - [シードフレーズ](https://shion.blog/tag/シードフレーズ/) - [バイブコーディング](https://shion.blog/tag/バイブコーディング/) - [NotebookLM](https://shion.blog/tag/notebooklm/) - [設計](https://shion.blog/tag/設計/) - [HRP](https://shion.blog/tag/hrp/) - [ヒートマップ](https://shion.blog/tag/ヒートマップ/) - [距離尺度の選択](https://shion.blog/tag/距離尺度の選択/) - [gpt-oss](https://shion.blog/tag/gpt-oss/) - [オープンウェイトモデル](https://shion.blog/tag/オープンウェイトモデル/) - [オープンソースモデル](https://shion.blog/tag/オープンソースモデル/) - [GPT-5](https://shion.blog/tag/gpt-5/) - [RLHF](https://shion.blog/tag/rlhf/) - [DPO](https://shion.blog/tag/dpo/) - [LoRA](https://shion.blog/tag/lora/) - [PEFT](https://shion.blog/tag/peft/) - [言語モデル](https://shion.blog/tag/言語モデル-2/) - [初心者向け](https://shion.blog/tag/初心者向け/) - [Query](https://shion.blog/tag/query/) - [Key](https://shion.blog/tag/key/) - [Value](https://shion.blog/tag/value/) - [FFN](https://shion.blog/tag/ffn/) - [Feed Forward Network](https://shion.blog/tag/feed-forward-network/) - [ReLU](https://shion.blog/tag/relu/) - [GELU](https://shion.blog/tag/gelu/) - [Causal Mask](https://shion.blog/tag/causal-mask/) - [自己回帰](https://shion.blog/tag/自己回帰/) - [テキスト生成](https://shion.blog/tag/テキスト生成/) - [用語集](https://shion.blog/tag/用語集/) - [確認問題](https://shion.blog/tag/確認問題/) - [復習](https://shion.blog/tag/復習/) - [BPE](https://shion.blog/tag/bpe/) - [Tokenization](https://shion.blog/tag/tokenization/) - [Positional Encoding](https://shion.blog/tag/positional-encoding/) - [実装](https://shion.blog/tag/実装/) - [行列演算](https://shion.blog/tag/行列演算/) - [Q K V](https://shion.blog/tag/q-k-v/) - [並列学習](https://shion.blog/tag/並列学習/) - [パラメータ分布](https://shion.blog/tag/パラメータ分布/) - [残差接続](https://shion.blog/tag/残差接続/) - [Skip Connection](https://shion.blog/tag/skip-connection/) - [LayerNorm](https://shion.blog/tag/layernorm/) - [Dropout](https://shion.blog/tag/dropout/) - [Pre-norm](https://shion.blog/tag/pre-norm/) - [Post-norm](https://shion.blog/tag/post-norm/) - [勾配消失](https://shion.blog/tag/勾配消失/) - [ResNet](https://shion.blog/tag/resnet/) - [ALBERT](https://shion.blog/tag/albert/) - [GQA](https://shion.blog/tag/gqa/) - [Flash Attention](https://shion.blog/tag/flash-attention/) - [スケーリング](https://shion.blog/tag/スケーリング/) - [KVキャッシュ](https://shion.blog/tag/kvキャッシュ/) - [パラメータ共有](https://shion.blog/tag/パラメータ共有/) - [推論最適化](https://shion.blog/tag/推論最適化/) - [Mixed Precision](https://shion.blog/tag/mixed-precision/) - [BF16](https://shion.blog/tag/bf16/) - [Gradient Checkpointing](https://shion.blog/tag/gradient-checkpointing/) - [数値安定性](https://shion.blog/tag/数値安定性/) - [勾配クリッピング](https://shion.blog/tag/勾配クリッピング/) - [Weight Decay](https://shion.blog/tag/weight-decay/) - [Warmup](https://shion.blog/tag/warmup/) - [Stable Diffusion](https://shion.blog/tag/stable-diffusion/) - [Diffusers](https://shion.blog/tag/diffusers/) - [理論解説](https://shion.blog/tag/理論解説/) - [Google Colab](https://shion.blog/tag/google-colab/) - [Mac対応](https://shion.blog/tag/mac対応/) - [PyTorch](https://shion.blog/tag/pytorch/) - [AI画像生成](https://shion.blog/tag/ai画像生成/) - [GitHub開発](https://shion.blog/tag/github開発/) - [本番化](https://shion.blog/tag/本番化/) - [実装解説](https://shion.blog/tag/実装解説/) - [推論高速化](https://shion.blog/tag/推論高速化/) - [LCM](https://shion.blog/tag/lcm/) - [Diffusion](https://shion.blog/tag/diffusion/) - [Augmented PF-ODE](https://shion.blog/tag/augmented-pf-ode/) - [GitHub Copilot](https://shion.blog/tag/github-copilot/) - [DevOps](https://shion.blog/tag/devops/) - [Knowledge Management](https://shion.blog/tag/knowledge-management/) - [KWF](https://shion.blog/tag/kwf/) - [Playwright](https://shion.blog/tag/playwright/) - [Serena](https://shion.blog/tag/serena/) - [Context7](https://shion.blog/tag/context7/) - [VLM](https://shion.blog/tag/vlm/) - [LLaVA](https://shion.blog/tag/llava/) - [Vision Language Model](https://shion.blog/tag/vision-language-model/) - [論文解説](https://shion.blog/tag/論文解説/) - [Multimodal](https://shion.blog/tag/multimodal/) - [Common Crawl](https://shion.blog/tag/common-crawl/) - [C4](https://shion.blog/tag/c4/) - [データセット](https://shion.blog/tag/データセット/) - [フィルタリング](https://shion.blog/tag/フィルタリング/) - [Webクローリング](https://shion.blog/tag/webクローリング/) - [The Pile](https://shion.blog/tag/the-pile/) - [多様性](https://shion.blog/tag/多様性/) - [ArXiv](https://shion.blog/tag/arxiv/) - [GitHub](https://shion.blog/tag/github/) - [Wikipedia](https://shion.blog/tag/wikipedia/) - [クロスドメイン](https://shion.blog/tag/クロスドメイン/) - [Dolma](https://shion.blog/tag/dolma/) - [前処理](https://shion.blog/tag/前処理/) - [パイプライン](https://shion.blog/tag/パイプライン/) - [重複排除](https://shion.blog/tag/重複排除/) - [デコンタミネーション](https://shion.blog/tag/デコンタミネーション/) - [品質フィルタ](https://shion.blog/tag/品質フィルタ/) - [FineWeb](https://shion.blog/tag/fineweb/) - [FineWeb-edu](https://shion.blog/tag/fineweb-edu/) - [アブレーション実験](https://shion.blog/tag/アブレーション実験/) - [学習効率](https://shion.blog/tag/学習効率/) - [経験的最適化](https://shion.blog/tag/経験的最適化/) - [データセット比較](https://shion.blog/tag/データセット比較/) - [品質](https://shion.blog/tag/品質/) - [トレードオフ](https://shion.blog/tag/トレードオフ/) - [データセット選択](https://shion.blog/tag/データセット選択/) - [意思決定](https://shion.blog/tag/意思決定/) - [プロジェクト管理](https://shion.blog/tag/プロジェクト管理/) - [リソース計画](https://shion.blog/tag/リソース計画/) - [フェーズ別戦略](https://shion.blog/tag/フェーズ別戦略/) - [ドメイン特化](https://shion.blog/tag/ドメイン特化/) - [医療AI](https://shion.blog/tag/医療ai/) - [法律AI](https://shion.blog/tag/法律ai/) - [コード生成](https://shion.blog/tag/コード生成/) - [金融AI](https://shion.blog/tag/金融ai/) - [データブレンディング](https://shion.blog/tag/データブレンディング/) - [マルチデータセット](https://shion.blog/tag/マルチデータセット/) - [自動化](https://shion.blog/tag/自動化/) - [基礎理論](https://shion.blog/tag/基礎理論/) - [実装詳細](https://shion.blog/tag/実装詳細/) - [データセット戦略](https://shion.blog/tag/データセット戦略/) - [詳細設計書](https://shion.blog/tag/詳細設計書/) - [組織戦略](https://shion.blog/tag/組織戦略/) - [Awesome GitHub Copilot](https://shion.blog/tag/awesome-github-copilot/) - [awesome-copilot](https://shion.blog/tag/awesome-copilot/) - [Hooks](https://shion.blog/tag/hooks/) - [ワークフロー](https://shion.blog/tag/ワークフロー/) - [ベンチマーク](https://shion.blog/tag/ベンチマーク/) - [評価](https://shion.blog/tag/評価/) - [GLUE](https://shion.blog/tag/glue/) - [MMLU](https://shion.blog/tag/mmlu/) - [幻覚検出](https://shion.blog/tag/幻覚検出/) - [バイアス](https://shion.blog/tag/バイアス/) - [BLEU](https://shion.blog/tag/bleu/) - [ROUGE](https://shion.blog/tag/rouge/) - [SQuAD](https://shion.blog/tag/squad/) - [評価指標](https://shion.blog/tag/評価指標/) - [データ汚染](https://shion.blog/tag/データ汚染/) - [Data Contamination](https://shion.blog/tag/data-contamination/) - [ドメイン横断性能](https://shion.blog/tag/ドメイン横断性能/) - [Out-of-domain](https://shion.blog/tag/out-of-domain/) - [In-domain](https://shion.blog/tag/in-domain/) - [ロバスト性](https://shion.blog/tag/ロバスト性/) - [LLM評価](https://shion.blog/tag/llm評価/) - [信頼性](https://shion.blog/tag/信頼性/) - [GitHub Copilot SDK](https://shion.blog/tag/github-copilot-sdk/) - [Copilot CLI](https://shion.blog/tag/copilot-cli/) - [Copilot Agent](https://shion.blog/tag/copilot-agent/) - [ストリーミング](https://shion.blog/tag/ストリーミング/) - [カスタムツール](https://shion.blog/tag/カスタムツール/) - [外部CLIサーバー](https://shion.blog/tag/外部cliサーバー/) - [可視化](https://shion.blog/tag/可視化/) - [解釈可能性](https://shion.blog/tag/解釈可能性/) - [Feature Importance](https://shion.blog/tag/feature-importance/) - [品質管理](https://shion.blog/tag/品質管理/) - [コンセプトドリフト](https://shion.blog/tag/コンセプトドリフト/) - [継続的改善](https://shion.blog/tag/継続的改善/) - [導入戦略](https://shion.blog/tag/導入戦略/) - [予算計画](https://shion.blog/tag/予算計画/) - [スタートアップ](https://shion.blog/tag/スタートアップ/) - [エンタープライズ](https://shion.blog/tag/エンタープライズ/) - [スケール選択](https://shion.blog/tag/スケール選択/) - [小規模LLM](https://shion.blog/tag/小規模llm/) - [大規模LLM](https://shion.blog/tag/大規模llm/) - [コスト分析](https://shion.blog/tag/コスト分析/) - [性能比較](https://shion.blog/tag/性能比較/) - [チェックリスト](https://shion.blog/tag/チェックリスト/) - [インフラ](https://shion.blog/tag/インフラ/) - [チーム編成](https://shion.blog/tag/チーム編成/) - [ロードマップ](https://shion.blog/tag/ロードマップ/) - [フェーズ](https://shion.blog/tag/フェーズ/) - [PoC](https://shion.blog/tag/poc/) - [本格導入](https://shion.blog/tag/本格導入/) - [学習計画](https://shion.blog/tag/学習計画/) - [スケール則](https://shion.blog/tag/スケール則/) - [性能予測](https://shion.blog/tag/性能予測/) - [LLM基礎](https://shion.blog/tag/llm基礎/) - [パラメータ数](https://shion.blog/tag/パラメータ数/) - [計算資源](https://shion.blog/tag/計算資源/) - [FLOPs](https://shion.blog/tag/flops/) - [訓練コスト](https://shion.blog/tag/訓練コスト/) - [DeepMind](https://shion.blog/tag/deepmind/) - [Chinchilla](https://shion.blog/tag/chinchilla/) - [検証](https://shion.blog/tag/検証/) - [Chinchilla則](https://shion.blog/tag/chinchilla則/) - [最適配分](https://shion.blog/tag/最適配分/) - [D/N比](https://shion.blog/tag/d-n比/) - [計算効率](https://shion.blog/tag/計算効率/) - [定義](https://shion.blog/tag/定義/) - [索引](https://shion.blog/tag/索引/) - [参考資料](https://shion.blog/tag/参考資料/) - [Power Law](https://shion.blog/tag/power-law/) - [両対数グラフ](https://shion.blog/tag/両対数グラフ/) - [Perplexity](https://shion.blog/tag/perplexity/) - [フィッティング](https://shion.blog/tag/フィッティング/) - [Uカーブ](https://shion.blog/tag/uカーブ/) - [μTransfer](https://shion.blog/tag/μtransfer/) - [GPU最適化](https://shion.blog/tag/gpu最適化/) - [限界](https://shion.blog/tag/限界/) - [データ品質](https://shion.blog/tag/データ品質/) - [アーキテクチャ依存性](https://shion.blog/tag/アーキテクチャ依存性/) - [Chain-of-Thought](https://shion.blog/tag/chain-of-thought/) - [Beam Search](https://shion.blog/tag/beam-search/) - [Speculative Decoding](https://shion.blog/tag/speculative-decoding/) - [混合精度](https://shion.blog/tag/混合精度/) - [段階的スケーリング](https://shion.blog/tag/段階的スケーリング/) - [計算予算](https://shion.blog/tag/計算予算/) - [飽和検出](https://shion.blog/tag/飽和検出/) - [運用](https://shion.blog/tag/運用/) - [RoPE](https://shion.blog/tag/rope/) - [位置エンコーディング](https://shion.blog/tag/位置エンコーディング/) - [Llama](https://shion.blog/tag/llama/) - [コンテキスト長](https://shion.blog/tag/コンテキスト長/) - [計算リソース](https://shion.blog/tag/計算リソース/) - [ライフタイムコスト](https://shion.blog/tag/ライフタイムコスト/) - [推論コスト](https://shion.blog/tag/推論コスト/) - [Chinchilla Trap](https://shion.blog/tag/chinchilla-trap/) - [品質スコア](https://shion.blog/tag/品質スコア/) - [キュレーション](https://shion.blog/tag/キュレーション/) - [合成データ](https://shion.blog/tag/合成データ/) - [MoE](https://shion.blog/tag/moe/) - [アーキテクチャ](https://shion.blog/tag/アーキテクチャ/) - [Mixtral](https://shion.blog/tag/mixtral/) - [オンプレミス](https://shion.blog/tag/オンプレミス/) - [クラウド](https://shion.blog/tag/クラウド/) - [AWS](https://shion.blog/tag/aws/) - [Spot インスタンス](https://shion.blog/tag/spot-インスタンス/) - [マルチタスク](https://shion.blog/tag/マルチタスク/) - [創発性](https://shion.blog/tag/創発性/) - [In-Context Learning](https://shion.blog/tag/in-context-learning/) - [閾値現象](https://shion.blog/tag/閾値現象/) - [Grokking](https://shion.blog/tag/grokking/) - [汎化](https://shion.blog/tag/汎化/) - [実験設計](https://shion.blog/tag/実験設計/) - [パラメータスケーリング](https://shion.blog/tag/パラメータスケーリング/) - [データスケーリング](https://shion.blog/tag/データスケーリング/) - [効率指標](https://shion.blog/tag/効率指標/) - [信頼度](https://shion.blog/tag/信頼度/) - [修正スケール則](https://shion.blog/tag/修正スケール則/)