統計用語 Q&A広場

統計専門家のための情報量規準：理論、応用上の注意点、そして現代的視点

はじめに：情報量規準の重要性と位置づけ

統計モデリングにおいて、複数の候補モデルの中から「最良」のモデルを選択することは極めて重要な課題です。このモデル選択の文脈で広く用いられているのが情報量規準です。赤池情報量規準 (AIC: Akaike Information Criterion) やベイズ情報量規準 (BIC: Bayesian Information Criterion) は、多くの分野で標準的なツールとして活用されています。しかし、これらの規準がどのような理論的背景に基づいているのか、また、適用する際にどのような点に注意すべきかについては、専門家間でも時に深い議論が必要となります。

本稿では、統計学に深く携わる専門家の皆様に向けて、情報量規準、特にAICとBICの理論的基盤を掘り下げ、その応用上の注意点や現代的な議論、そして教育の現場での説明のポイントについて考察します。単なる定義の確認に留まらず、これらの規準が持つ意味合いや限界を理解することで、より適切かつ批判的にモデル選択を行うための知見を深めることを目的としています。

基本的な情報量規準：AICとBICの定義

まず、基本的な情報量規準であるAICとBICの定義を確認いたします。一般に、対数尤度を最大化する最尤推定量を用いて、候補モデルの適合度を評価します。モデルの複雑さに対するペナルティを導入することで、過学習を防ぎ、汎化性能の高いモデルを選択しようとするのが情報量規準の基本的な考え方です。

候補モデル $M$ の下でのデータ $D$ の対数尤度を $\log L(\hat{\theta}_M | D)$ とし、モデル $M$ に含まれるパラメータの数を $k$ とします。標本サイズを $n$ とすると、AICとBICは以下のように定義されます。

• 赤池情報量規準 (AIC): $\text{AIC} = -2 \log L(\hat{\theta}_M | D) + 2k$ より小さいAICの値を持つモデルが良いと判断されます。

• ベイズ情報量規準 (BIC): $\text{BIC} = -2 \log L(\hat{\theta}_M | D) + k \log(n)$ より小さいBICの値を持つモデルが良いと判断されます。

ご覧の通り、両規準ともデータへの適合度を表す $-2 \log L$ の項と、モデルの複雑さを表すペナルティ項から構成されています。ペナルティ項において、BICはAICに比べて標本サイズ $n$ に依存し、パラメータ数 $k$ に対するペナルティがより強くなる傾向があります。これは、両規準の異なる理論的背景に由来します。

理論的背景：KL情報量とベイズ規準

AICとBICの定義の差は、それぞれ異なる理論的な出発点に基づいていることに起因します。

• AICの理論的背景：カルバック・ライブラー情報量 AICは、赤池弘次博士によって情報理論的な観点から導出されました。その根幹にあるのは、真の確率分布と候補モデルによって推定される確率分布との間の「隔たり」を測るカルバック・ライブラー (KL) 情報量です。KL情報量が小さいほど、モデルが真の分布をよく近似していると考えられます。

  AICは、未知である真の分布に対する候補モデルの予測誤差（正確には、期待されるKL情報量の推定値）の不偏推定量を与えるものとして導出されます。より厳密には、データが生成された真の分布 $g$ と、候補モデル $f(\cdot|\theta)$ の下での最尤推定量 $\hat{\theta}$ で特徴づけられるモデル $f(\cdot|\hat{\theta})$ との間のKL情報量 $E_g [ \log(g(X) / f(X|\hat{\theta})) ]$ の推定に基づいています。このアプローチは、候補モデルの中に真のモデルが含まれていない状況（モデル誤特定）においても有効な場合が多いと解釈されます。AICは、将来のデータに対する予測性能を重視する規準であると言えます。

• BICの理論的背景：ベイズ規準 一方、BICは、ベイズ統計学におけるモデル選択の枠組みから導出されます。具体的には、特定の候補モデルが真のモデルであるという仮定の下での、データの周辺尤度 (marginal likelihood) を近似することに基づいています。ベイズ統計学では、モデルの事後確率 $P(M|D) \propto P(D|M)P(M)$ を最大化するモデルを選択することが自然なアプローチとなります。ここで $P(D|M)$ はモデル $M$ の周辺尤度、 $P(M)$ はモデル $M$ の事前確率です。

  BICは、ラプラス近似を用いて周辺尤度 $\log P(D|M) = \log \int P(D|\theta_M, M) P(\theta_M|M) d\theta_M$ を近似した際に現れる主要項から導出されます。この近似は、標本サイズ $n$ が十分に大きい場合に有効です。BICは、候補モデルの中に真のモデルが含まれているという仮定（モデル特定）の下で、正しいモデルを一致推定する（$n \to \infty$ の極限で真のモデルを選択する確率が1に収束する）性質を持ちます。この意味で、BICは真のモデルを発見することを目的とする規準であると言えます。

応用上の注意点と落とし穴

情報量規準は強力なツールですが、その適用にあたってはいくつかの注意点があります。

• モデル族の定義: 情報量規準による比較は、比較対象となるモデル群が適切に定義されている場合に意味を持ちます。例えば、 nested models (階層的な関係にあるモデル) の比較は自然ですが、全く異なる構造を持つモデル間（例：線形回帰と決定木）の比較は、情報量規準の理論的な仮定から外れる場合が多く、その結果の解釈には慎重さが必要です。特に、対数尤度の定義が大きく異なるようなモデルクラス（例：異なる確率分布を仮定したモデル）を単純に比較することは避けるべきです。

• サンプルサイズの影響: 前述のように、BICのペナルティ項は $n$ に依存します。一般に、サンプルサイズが大きくなるにつれて、BICはよりシンプルなモデル（パラメータ数の少ないモデル）を選択しやすくなります。これはBICの一致性の性質の反映ですが、予測性能という観点からは、特にサンプルサイズが非常に大きい場合に、真のモデルが複雑であるにも関わらず過度にシンプルなモデルを選択してしまう可能性も指摘されています。一方、AICは一般にBICより複雑なモデルを選択する傾向があります。これは、AICが予測性能を重視する性質を持つためと考えられます。

• 異なるタイプのモデル間での比較: 情報量規準の計算は、対数尤度に基づいていますが、これは同じ目的変数に対するモデルでの比較を前提としています。例えば、正規分布を仮定した線形回帰モデルと、ベルヌーイ分布を仮定したロジスティック回帰モデルのように、目的変数の性質や仮定する分布が異なるモデル間では、対数尤度のスケールが異なるため、計算された情報量規準の値を単純に比較することはできません。比較可能なのは、例えば同じ目的変数に対する異なる説明変数の組み合わせを持つ線形回帰モデル群や、異なるリンク関数を持つGLMモデル群などです。

• 変数選択以外の目的での使用: 情報量規準は主に変数選択やモデル構造の選択に用いられますが、モデルの適合度そのものを示すものではありません。例えば、非常に小さなAIC値やBIC値が得られたとしても、それはあくまで候補モデル群の中での相対的な良さを示すものであり、そのモデルがデータの生成プロセスを「よく説明できている」ことを保証するものではありません。残差分析や適合度検定などを組み合わせて、モデルの絶対的な適合度も評価することが重要です。

• 解釈上の注意: 情報量規準の値そのものの絶対的な意味は限定的です。重要なのは、候補モデル間での相対的な大小関係です。モデルAのAICがモデルBより小さい場合、モデルAがモデルBよりも予測性能が良いと「推定される」と解釈します。これらの値の差が小さい場合は、どちらのモデルが良いかを情報量規準だけで判断するのは難しく、他の基準（解釈可能性、理論的整合性など）も考慮する必要があります。一般的に、AICやBICの差が2未満であれば実質的な差はないと見なすといった経験的なガイドラインも存在しますが、これに厳格に従う必要はありません。

関連手法と現代的な議論

AICとBIC以外にも、様々な情報量規準やモデル評価手法が存在します。

• 修正AIC (AICc): AICcは、標本サイズ $n$ がパラメータ数 $k$ に対して小さい場合にAICがモデルの複雑さを過小評価する傾向があることを補正するために提案された規準です。特に、$n/k$ の比率が小さい場合に利用が推奨されます。 $\text{AICc} = \text{AIC} + \frac{2k(k+1)}{n-k-1}$ $n \to \infty$ の極限でAICに漸近します。

• 逸脱度情報量規準 (DIC) と渡辺・赤池情報量規準 (WAIC): ベイズモデリングにおいては、MCMCなどの計算手法を用いてモデルを推定することが一般的です。このようなベイズモデルのモデル選択に用いられる情報量規準として、逸脱度情報量規準 (DIC: Deviance Information Criterion) や渡辺・赤池情報量規準 (WAIC: Widely Applicable Information Criterion) があります。DICは、逸脱度の事後平均とパラメータの有効数（例えば、事後平均と最尤推定値に基づく定義など複数の定義が存在しうる）に基づいて計算されます。WAICは、周辺尤度ではなく、予測分布の対数尤度をベイズ的に平均化することに基づき、より広いモデルクラス（特異モデルなど）に適用可能となるように拡張された規準です。これらの規準は、MCMCサンプルを用いて比較的容易に計算できるため、ベイズ統計家にとって重要なツールとなっています。

• 交差検証との関連: 情報量規準は、漸近理論やベイズ理論に基づいて予測性能やモデルの真実性を評価しようとするものですが、交差検証 (Cross-validation) はデータを実際に分割してモデルの汎化性能を直接的に評価する手法です。理論的には、AICは leave-one-out cross-validation によって推定される期待対数尤度と漸近的に等価であることが知られています。AICやBICが計算機的に容易である一方、交差検証はより計算コストがかかる場合がありますが、情報量規準の理論的な仮定が満たされない状況でも適用しやすいという利点があります。両者は相補的な関係にあり、可能であれば両方の手法を用いてモデルを評価することが望ましいと言えます。

• 高次元データでの課題と新しい規準: 説明変数の数 $p$ が標本サイズ $n$ に近い、あるいは $p > n$ となるような高次元データにおいては、通常の線形モデルやGLMにおける情報量規準の仮定が崩れる場合があります。特に、$k$ の定義が曖昧になったり、最尤推定量が存在しなかったりする場合があるため、そのまま適用するのは困難です。高次元データ解析においては、LassoやRidgeのような正則化手法が広く用いられますが、これらのモデルのモデル選択やハイパーパラメータチューニングのためには、特定の情報量規準（例えば、正則化項を考慮した拡張や、Degrees of Freedomの概念を拡張したものなど）や交差検証を用いることが一般的です。また、近年では高次元状況に特化した新しい情報量規準も提案されています。

教育上の説明のポイント

専門家を目指す大学院生や学部生に対して情報量規準を教育する際には、以下の点を強調することが効果的であると考えられます。

• 単なる公式の暗記ではないこと: AICやBICの公式だけでなく、それぞれが予測性能（AIC）と真のモデルの一致推定（BIC）という異なる目的を持っていること、そしてその理論的背景（KL情報量 vs. ベイズ規準）を説明することが重要です。
• モデル選択の「ガイドライン」であること: 情報量規準は絶対的な基準ではなく、あくまでモデル選択のための一つの「手がかり」や「ガイドライン」であることを明確に伝える必要があります。理論的な仮定が満たされない状況や、規準間の結果が一致しない場合の対処法についても議論を促すべきです。
• 他のモデル評価手法との連携: 情報量規準だけでなく、残差分析、適合度検定、交差検証など、他のモデル評価手法と組み合わせて総合的に判断することの重要性を教えるべきです。
• 実践的な応用例: 仮想的なデータや実際の研究データを用いた応用例を示すことで、情報量規準がどのように機能し、どのような解釈上の注意が必要かを具体的に理解させることができます。例えば、変数選択の例だけでなく、異なるリンク関数を持つGLMの比較、時系列モデルの比較など、多様な応用例を示すことが有効です。

まとめと今後の展望

情報量規準、特にAICとBICは、統計モデリングにおけるモデル選択の基本的なツールとして確立されています。AICが予測性能、BICが真のモデルの発見を目指すという異なる目的に基づいており、それぞれKL情報量とベイズ規準という異なる理論的背景から導出されることを理解することは、これらの規準を適切に使用し、その結果を批判的に解釈するために不可欠です。

また、これらの規準を応用する際には、比較対象となるモデル族、サンプルサイズ、モデルのタイプの違い、そして規準の解釈上の注意点などを十分に考慮する必要があります。ベイズモデルに対するDICやWAIC、高次元データ解析における課題など、情報量規準に関する議論は今なお活発に行われています。

統計専門家として、情報量規準の理論的な理解を深め、その応用上の注意点を常に意識し、他のモデル評価手法と組み合わせて用いることで、より信頼性の高い統計モデリングを行うことができると考えられます。情報量規準に関する最新の研究動向にも注目し続けることは、自身の研究を深化させる上でも、後進を指導する上でも重要となるでしょう。

本稿が、情報量規準に関する専門家の皆様の理解をさらに深め、日々の研究や教育活動の一助となれば幸いです。