記事の内容
この記事では、
『入門 情報幾何 統計的モデルをひもとく微分幾何学』
という本を紹介します。
この記事では、以下のような目的で概観を掴むことを目指します。
- 情報幾何は何を目指す学問なのか。
- この学問を面白くするためには、どんな概念が必要なのだろう。
もちろん、習得には数式を深く理解しなければなりません。そちらは、ゆっくりと焦らずに進めていきましょう。
入門 情報幾何 統計的モデルをひもとく微分幾何学
●目次
第1章 確率関数からなる統計的モデル
1.1 ユークリッド空間
1.2 統計的モデル（その1）
1.3 期待値と分散
1.4 十分統計量
第2章 フィッシャー計量
2.1 リーマン計量
2.2 写像の微分
2.3 マルコフはめ込み
2.4 チェンツォフの定理（その1）
2.5 フィッシャー計量と単調性，不変性
2.6 チェンツォフの定理（その2）
第3章 α-接続
3.1 測地線
3.2 ベクトル場
3.3 レビ-チビタ接続
3.4 アファイン接続とα-接続
3.5 曲率とe-接続，m-接続
第4章 確率密度関数からなる統計的モデル
4.1 測度空間
4.2 可測関数と積分
4.3 統計的モデル（その2）
4.4 フィッシャー計量とα-接続
第5章 統計多様体
5.1 距離空間と位相空間
5.2 連続写像とハウスドルフ空間
5.3 多様体
5.4 接ベクトルと写像の微分
5.5 ベクトル場とアファイン接続
5.6 双対接続と統計多様体
第6章 指数型および混合型分布族
6.1 部分多様体
6.2 誘導接続と平行移動
6.3 自己平行部分多様体（その1）
6.4 可積分条件
6.5 平坦アファイン接続
6.6 自己平行部分多様体（その2）
第7章 双対平坦空間
7.1 双対平坦空間の定義
7.2 ダイバージェンス
7.3 クラメル-ラオの不等式
本書から主要な概念を要約
あくまでも、イメージです。正確な定義は数式が必要です。
2章 フィッシャー計量
確率関数どうしの距離（どの程度違うのか）を定義したい。情報幾何学は、確率分布の集合を幾何学的な空間として扱う。
リーマン計量
-
イメージ：
リーマン計量は、曲がった空間上での「距離」や「角度」を測るためのルールです。例えば、地球の表面上で2点間の距離を測るときに使います。 -
数学的な意味：
リーマン計量は、空間の各点での「微小な距離」を定義します。確率分布の空間では、フィッシャー計量がリーマン計量の役割を果たします。
写像の微分
-
イメージ：
写像の微分は、ある空間から別の空間への「変化の度合い」を表します。 -
数学的な意味：
写像の微分は、確率分布の空間上での「変化の敏感さ」を表します。例えば、パラメータを少し変えたときの確率分布の変化を測ります。
マルコフはめ込み
-
イメージ：
マルコフはめ込みは、確率分布の空間をより大きな空間に「埋め込む」方法です。例えば、簡単な確率モデルを複雑なモデルに拡張します。 -
具体例：
コイン投げの確率モデル（表か裏か）を、サイコロの確率モデル（1から6の目）に拡張するイメージです。 -
数学的な意味：
マルコフはめ込みは、確率分布の空間上での「関係性」を保ちながら、より大きな空間に埋め込む手法です。
十分統計量を使って、マルコフはめ込みを定義する。
チェンコフの定理
-
イメージ：
チェンツォフの定理は、確率分布の空間上での「距離」が一意的に決まることを示します。例えば、地球の表面上での距離が一意的に決まるように、確率分布の空間上での距離も一意的に決まります。 -
具体例：
コイン投げの確率θ=0.5とθ=0.8の「距離」は、フィッシャー計量を使って一意的に決まります。 -
数学的な意味：
チェンツォフの定理は、確率分布の空間上でのリーマン計量がフィッシャー計量に限られることを示します。
統計的モデルのテンソル場に対して、マルコフはめ込みに関して変わらない不変性に注目する。
フィッシャー計量と単調性、不変性
-
イメージ：
フィッシャー計量は、確率分布の空間上での「距離」を測るためのルールです。単調性と不変性は、この距離が「情報の量」を反映する性質です。 -
数学的な意味：
-
単調性：情報が増えるほど距離が大きくなる性質。
-
不変性：座標系を変えても距離が変わらない性質。
-
フィッシャー情報行列がリーマン計量として機能する。
統計モデルから統計モデルへの変換にて、フィッシャー計量は単調性を持つ。その普遍性は変換が十分統計量のときになりたつ。
- フィッシャー情報行列（Fisher Information Matrix）
- 確率分布の「パラメータを少し変えたときの変化の敏感さ」を表す
- 例
- 正規分布の「平均μ」と「分散σ²」をパラメータとします。μやσ²を少し変えたときの確率分布の変化をフィッシャー情報行列で測ります。
- 例えば、σ²が小さい（分布が尖っている）ほど、μを少し変えたときの変化が大きくなります。
第3章 α-接続
接続の微分幾何学。
-
測地線：曲がった空間上の「直線」。
-
ベクトル場：空間の各点での「変化の方向と速さ」。
-
レビ-チビタ接続：曲がった空間上での「平行移動のルール」。
- リーマン計量を用いて、ベクトル場に関するベクトル場の共変微分を定める。
-
アファイン接続とα-接続：曲がった空間上でのベクトルを移動させる一般的なルール、その特別なバージョン。
-
曲率とe-接続，m-接続：空間の「曲がり具合」と確率分布の空間上での「距離」や「曲がり具合」を測るルール。
- 特別なα-接続がもつ平坦性という特徴。
第4章 確率密度関数からなる統計的モデル
R上の統計的モデルへ
Rの高々可算な部分集合上の統計的モデルから、R上の統計的モデルへ一般化する。そのためには、「測度」概念が必須。可測空間、可測関数の積分を準備すれば、R上の統計的モデルを定義できる。
5章 統計多様体
統計多様体
-
イメージ：
統計多様体は、確率分布の集合を「曲がった空間」として表したものです。例えば、正規分布の「平均μ」と「分散σ²」をパラメータとして、2次元の曲面を想像します。 -
具体例：
コイン投げの確率θをパラメータとするベルヌーイ分布は、1次元の統計多様体です。正規分布の「平均μ」と「分散σ²」をパラメータとする場合は、2次元の統計多様体です。 -
数学的な意味：
統計多様体は、確率分布の集合を多様体（曲がった空間）として表現し、その上で幾何学的な性質を調べます。
双対接続と統計多様体
-
イメージ：
双対接続というアファイン接続は、同じ現象を2つの異なる視点（e-接続とm-接続）から見る方法です。統計多様体は、確率分布の集合を「曲がった空間」として表したものです。 -
具体例：
-
e-接続：最尤推定（データからパラメータを推定）に使われる接続。
-
m-接続：ベイズ推定（事前知識を考慮した推定）に使われる接続。
-
-
数学的な意味：
-
双対接続：同じ現象を異なる視点から解析する手法。
-
統計多様体：確率分布の集合を多様体として表現し、その上で幾何学的な性質を調べる。
-
統計多様体上での「距離」を最小化することで、最尤推定やベイズ推定を行います。例えば、最尤推定は、統計多様体上での「最短経路」を探す問題と見なせます。
統計多様体を定義するために必要な概念たち
- 多様体
- アファイン接続
- リーマン計量
- 捩れ
- コダッチの方程式（Codazzi equation）
統計モデルは、フィッシャー計量とα接続を考えることによって、統計多様体になる。
関連記事
