記事の内容
この記事では、エリオット・ソーバーの『科学と証拠』を取り上げます。
科学哲学、統計の哲学に興味がある人にとって、とてもおすすめな一冊です。また、この日本語訳版も素晴らしく、読者に向けた様々な配慮があります。
この記事では、本旨の要約、そして、読書メモをまとめます。
もちろん、私が解釈したものなので、間違いが含まれる可能性があります。ご注意を。
結論の要約
結論
- 単純仮説
- 事前確率が客観的に与えられるケースならばベイズ主義に従い、そうでなければ尤度主義に従う。
- 複合仮説
- AIC（もしくはそれを発展させたモデル）に従う。
ソーバーの態度
- 客観主義
- 現在の証拠から何がわかるのか、ということが科学の方法である。
- 客観性の意味
- 誰でも認めざるを得ないような証拠
しかし、現実の統計的実践に基づく科学は、この基準を満たしていないケースがある。
それは、尤度主義、ベイズ主義、頻度主義が混雑しているからだ。
戦略的土台は「尤度主義」
証拠に対して客観性を求めるという原則からは、戦略としては、尤度主義の採用が基本になる。
問題によって、ベイズ主義や頻度主義と補完して使用する。
- 尤度
- 仮説を仮定したときに観測済みデータ得られる条件つき確率
- 尤度の法則
- 比較される二つの仮説のうち、尤度の高い方が、証拠によって支持される。
どの理論が真なのか、ではなく、どの理論がその証拠によって最も裏付けられているか。
ベイズ主義との共同
事前確率が客観的に与えられるケースならばベイズ主義に従い、そうでなければ尤度主義に従う。
頻度主義との共同
頻度主義とは？
- 「試行を何度も繰り返したときの頻度が極限においてとる値」を確率とみなす。
- 頻度主語はさまざまなタイプを含み、一枚岩ではない。
- フィッシャーの有意性検定、ネイマンピアソンの仮説検定も頻度主義の仲間ではある。
- 何の頻度か？という点が異なる。
- 「客観性の基準」を満たさないため、ソーバーはネイマンピアソン流の仮説検定を認めない。
- 単純仮説
- 尤度の法則を適用できる。
- 複合仮説
- 尤度の法則を適用できない。
- AICを利用する。
- AIC
- 平均対数尤度の近似的な不偏推定量
- 不偏推定量も、何度も試行を繰り返すという前提があるため、頻度主義の仲間となる。
- 問いを転換している。
- 「真理とは？」から「より正確な予測とは？」へ
- 「カルバック-ライブラー距離」
- 予測正確性に関して不偏推定量を与える
読書メモ
ロイヤルの3つの問い
1 現在の証拠から何が分かるか
尤度主義
2 何を信じるべきか
ベイズ主義
3 何をするべきか
頻度主義
ロイヤルは1が最も重要だと考えた。ソーバーも基本的にはこの立場。
1 ベイズ主義
ベイズ主義は哲学であり、知識や信念に関する認識論の一種だ。ゆえに、数学のベイズの定理よりも多くの主張を含む。
確率と尤度の違い
仮説Hの尤度がわかっても、Hでない場合の尤度はわからない。 ゆえに、尤度の和は1にならない。
論理的に強い仮説は、論理的に弱い仮説より高い確率を持つことはできない。一方、尤度はそうとは限らない
ベイズの定理では、確率同士の関係を表す。ゆえに、共時的である。一方、ベイズ主義の場合、更新規則にかかわり、確率の通時的な関係を問う。
ベイズ主義は更新規則に関するアドバイス、と解釈できる。ゆえに、認識論の観点からいってこのアドバイスは有用である。
尤度比という核心
観察により事後確率を更新できるかどうかは、仮説の尤度の比に依存する。つまり、尤度が同じ場合、更新されず、事前確率と事後確率は等しい。
観察の無条件確率
二者択一の仮説のもとでなされる確率の平均である。つまり、重みづけされた２つの尤度の平均のこと
確証、反証の意味
ベイズ主義の確証と反証は、確率の比較を必ず伴う。確率の絶対的値だけでは何も言えない。確証の度合いの定義は、基本的には、定性的なものだけとなる。
信頼性
ベイズの定理の数学的な対称性とは異なり、検査という具体例の場合、検査手続きの物理的な特徴が無視できない。ゆえに、尤度はしばしば事前確率とは独立であり、手続きの信頼性は尤度と関係する。
ベイズ主義のテーゼの一つ
何らかの確率の入力無しには、確率の出力はない。
ベイズ主義の欠点
・事前確率や尤度に、客観的に値を付与できない場合がある。
・ある仮説は、その否定と比較する必要がある。しかし、ある仮説の否定には無限のパターンが含まれる。
・無差別の原理という指針はあるが、論理空間の分割方法は複数あるため、矛盾を生んでしまう。
2 尤度主義
ベイズ主義のように「仮説の確からしさ」ではなく、尤度主義は「証拠による支持」を述べる。ゆえに、事前確率が客観的に与えられないときが尤度主義の真価だ。
・証拠が仮説の確率を上げたか、下げたのか、とは問わない。
・明確な尤度を持つ仮説のみを互いに比較する。たとえば、一般相対性理論とその否定を比較するのではなく、一般相対性理論と代替理論を比較する。
尤度の法則
・証拠が仮説1よりもある仮説2を指示する裏付けは、２つの仮説についての比でしか表せない。証拠が一つの仮説を指示する度合い、は間違い。
・単独の仮説の尤度がもつ絶対的な値ではなく、異なる仮説の尤度との関係が重要。尤度主義では、仮説の確率の確からしさを主張しない。
・これは定理ではなく、提唱に過ぎない。
・尤度主義よりもベイズ主義が有効な場面があるからといって、尤度主義の敗北ではない。ベイズ主義がまずいときに尤度主義は有効である、という立場だ。
条件付き確率の定義
定義に登場する3つの量の関係を示す。それらの存在や認識は、確率の解釈による。現れる全ての量が必ず意味を持つ、と主張しているのではない。
全証拠の原則
・知っているすべてを考慮に入れよ。
・尤度主義者、ベイズ主義者は、どちらもこの原則を受け入れる。
・論理的に弱いデータ記述に変更したとき、証拠が示す評価が変わるなら、そうした論理的な変更は許されない。
尤度主義の限界
・証拠が何を示すかに注目し、何を信じるべきか、何をするべきかを言わない。
・科学の仮説は、ほとんどが単純仮説ではなく、複合仮説である。複合仮説の尤度は、尤度は一つのパラメータを固定してその確率密度を計算するものなのだから、計算できない。よって、尤度を単一の値にまとめる工夫が必要だが方法に任意性がある。しかも、その選択によって結論が変わるかもしれない。
頻度主義 有意検定
頻度主義は一枚岩ではない。
頻度主義は、確率の意味論というよりも、認識論で捉えるべきだ。
推論規則に関する認識論
同じ規則を用いて繰り返し判断を行ったとき、悪い結果＝判断を謝ることに陥る頻度が小さい、と考えられる推論規則を採用するような態度のこと。
※認識論
知識の成立や信念の正当化に関わる問題
フィッシャーの有意性検定
有意性検定は、確率論的MTである。しかし、確率論的MTは推論形式としては妥当ではない。
確率論的MT
Pr(O|H)は非常に高い
Oではない
----------------------------
Hは棄却されるべき
理由1
仮説を棄却するための確率の境界線はどこに引くべきか？
そんな境界線は存在しない。
理由2
証拠は仮説に対する反証と考えればいいか？
このままでは考えられない。
この解釈をとるには、本質的に、対立仮説の特定が必要になる。テストには、仮説の比較が必要である。
理由3
全証拠の原則に反する。
有意性検定の二つの解釈
帰無仮説が棄却されるべきかどうか
帰無仮説に対する反証の強さを測る
弱点1
データの記述方法が複数ありうる。ゆえに、結論も変わってしまう。
例
弱点2
サンプルの大きさに敏感である。
頻度主義 ネイマンピアソンの仮説検定
証拠の解釈ではなく、受け入れと棄却についての助言を与える態度決定の理論。
ネイマンピアソンの仮説検定は3ステップからなる。
どちらを帰無仮説にするか決める。
第１種の誤りの上限を決める。
第二種の誤りを最小限にする。
これら方針に対して、帰無仮説の選択具体的なαの数値の設定が恣意的になってしまう。そして、尤度の法則とズレる。全証拠の法則に反することが欠点。
頻度主義者の最尤推定
正当化には汎用的方針を使う。
推定方法が許容的でなければならない。
許容的
誤差が小さくなること。
十分性、一致性、有効性、情報量など。
尤度比検定は頻度主義である。
二つのモデルは入れ子になっており、尤度が小さい方が分子に来る。
このとき、帰無仮説選択の恣意性は消える。
頻度主義 モデル選択理論
モデル選択理論は、実は、その中身は、モデル選択ではなく、モデル比較を扱う。
理論による予測の正確性をいかに見積もるべきか？につながる。
既存データに適合させたモデルがどれほど正確に新しいデータを予測できるか、この度合いを見積もることができる。
一般的に、複雑なモデルの方が、簡単なモデルよりも尤度は高くなる。しかし、複雑なモデルの方が予測精度がいい、とは言えない。
モデル性能の平均的な良さ、つまり、期待値を知りたい。データ数には依存しない
この基準が、赤池情報量基準だ。
データに対するモデルの適合度、モデルの単純性の両方を考慮している。
どのモデルが真かではなく、モデルの予測正確性を推定する。
不偏な推定値を得る方法である。
AICは、長期的な試行において意味をもつ「不偏性」がベースになっている。しかし、頻度主義に本質的に結びついているわけではなく、ベイズ主義、尤度主義と共存可能。
関連記事
