albatrosary's blog

はじめに：なぜ生成AIを「数理」から読み解く必要があるのか

現在、生成AIをめぐる議論の多くは「いかに上手なプロンプトを書くか」といった表面的なテクニックに偏りがちである。しかし、私たちが直面する「ハルシネーション」や「長い対話での文脈の崩壊（話が通じなくなる現象）」は、単なるAIのバグでも、プロンプトの不備でもない。それらは、大規模言語モデル（LLM）の根底にある数理的な構造がもたらす必然的な限界である。

本連載は、生成AIを擬人化して語ることをやめ、「次トークン予測の確率分布」や「Softmax関数の性質」、「高次元空間における意味の経路」といった本質的な数理の視点から、AIの挙動と限界を解剖することを目的としている。

ミクロな数理的振る舞い（局所的な整合性）が、いかにしてマクロな意味の崩壊（全体忠実度の乖離）を引き起こすのか。そのメカニズムを理解することは、企業システムへのAI導入や、エージェント開発における「アーキテクチャの設計原理」を考えるうえで不可欠な土台となるはずだ。

なお、本連載の本編はZennにて公開している。執筆媒体としてZennを選んだのは、これらの議論に不可欠な「数式」を適切に記述できるプラットフォームが、実質的にZennしか存在しなかったためである。

本稿は、その一連の議論を体系的に辿るための学習ロードマップ（目次）としてまとめたものだ。以下の各リンクからZennの各記事へ飛べるようになっているので、ぜひ順に読み進めてみてほしい。

第1部：生成AIの「根本的な振る舞い」を数理から捉え直す（基礎編）

AIを「確率分布のサンプリング」という本来の姿に立ち返らせ、基礎となる数理的視点を提示する。

第2部：なぜAIは間違え、逸れていくのか？（挙動と限界の解剖編）

「ハルシネーション」や「文脈崩壊」がなぜ起きるのか。Softmax Crowdingや意味ドリフトといった数理法則から解明する。

第3部：商用AI・マルチエージェントシステムの現実（応用編）

理論を踏まえ、私たちが普段利用している商用モデルや、自律エージェント型AIが抱える構造的な壁に迫る。

第4部：人間と生成AIはどう向き合うべきか（システム設計・実践編）

数理的知見を現実の業務システム適用へと落とし込み、AI時代におけるシステム設計の在り方を問う。

おわりに

本連載を通じて、生成AIのブラックボックスを読み解くために、以下のような数学的知識・数理的知見を補助線として用いてきた。関連する専門書や教科書を探す際の参考にしていただければと思う。

確率論・統計学（および多変量解析）

条件付き分布の概念、高次元空間におけるサンプリングの振る舞い

解析学・最適化理論（機械学習の数理）

LogitとSoftmax関数の数学的性質とその限界（Softmax Crowdingのメカニズム）

微分幾何学（リーマン幾何学）・物理数学

意味空間の計量と幾何学（inverse Riemannian）、局所から全体を評価する「経路積分」の概念

力学系理論・システム工学

決定論的写像の錯覚、局所的な整合性とシステム全体の忠実度（マクロな振る舞い）の関係

ぜひ、本連載を単なる「読み物」として消費して分かった気になるのではなく、ご自身の目で数式を追い、関連する専門書を開いてみてほしい。

生成AIと本気で向き合うつもりなら、表面的なプロンプトをこねくり回す前に、まずはこれらの基礎的な数理を泥臭く「勉強」すること。それが、ブラックボックスを読み解くための唯一にして最強の近道である。