統計用語 Q&A広場 - 分配関数 (Partition Function) の統計学への応用：理論的基盤、統計計算、そして現代的視点

分配関数 (Partition Function) の統計学への応用：理論的基盤、統計計算、そして現代的視点

Tags: 分配関数, Partition Function, 統計計算, 確率モデル, ベイズ推論, MCMC, 変分推論, グラフィカルモデル

はじめに：統計学における分配関数の意義

統計学、特に統計物理学に端を発する確率モデルの文脈において、「分配関数 (Partition Function)」という概念は、一見すると単なる正規化定数であるかのように見えます。しかしながら、その数学的な構造は極めて豊かであり、確率分布の性質を理解し、統計的推論や計算を実行する上で中心的な役割を果たします。これは、特にグラフィカルモデル、ベイズ統計学、そして様々な複雑な確率モデルを扱う際に顕著になります。本稿では、専門家である皆様に向けて、分配関数が統計学においていかに理論的基盤となり、統計計算を支え、そして現代的な応用へと繋がっているのかを深く掘り下げていきます。単なる定義に留まらず、その構造が持つ意味、計算上の課題、そして多様な応用例について論じます。

分配関数の理論的基盤：確率分布との関係性

分配関数は、特定の形の確率分布、特に統計物理学におけるギブス分布（あるいはボルツマン分布）の形式を持つ分布と密接に関連しています。離散的な状態空間 $\mathcal{X}$ 上の確率変数 $X$ を考え、その同時確率質量関数が非正規化確率として $p^*(x) = \exp(-E(x))$ の形で与えられるとします。ここで、$E(x)$ はエネルギー関数などと呼ばれる関数です。この非正規化確率は、すべての可能な状態 $x \in \mathcal{X}$ について足し合わせても総和が1になるとは限りません。

真の確率分布 $p(x)$ を得るためには、総和が1になるように正規化する必要があります。この正規化定数こそが分配関数 $Z$ です。

$Z = \sum_{x \in \mathcal{X}} p^*(x) = \sum_{x \in \mathcal{X}} \exp(-E(x))$

そして、正規化された確率分布は $p(x) = \frac{1}{Z} p^*(x) = \frac{\exp(-E(x))}{Z}$ となります。

連続的な状態空間の場合も同様に、積分として定義されます。

$Z = \int_{\mathcal{X}} p^*(x) dx = \int_{\mathcal{X}} \exp(-E(x)) dx$

このように、分配関数は確率分布全体の質量を表現する正規化定数としての役割を担います。しかし、その重要性はこれに留まりません。分配関数は、確率分布に関する多くの重要な量、例えば期待値、分散、相関、エントロピー、自由エネルギーなどを計算するための「母関数」のような機能も持つのです。

例えば、特定の関数 $f(x)$ の期待値 $E[f(x)]$ は、分配関数を用いて以下のように表現できる場合があります（微分の順序交換などが正当化される場合）。

$E[f(X)] = \sum_{x \in \mathcal{X}} f(x) p(x) = \frac{1}{Z} \sum_{x \in \mathcal{X}} f(x) \exp(-E(x))$

ここで、適切な関数 $f(x)$ を選び、$E(x)$ がパラメータ $\theta$ に依存する場合、分配関数の対数 $\log Z(\theta)$ をパラメータで微分することで、期待値を計算できることがあります。これは統計物理学における熱力学とのアナロジー（自由エネルギーと期待値の関係）としてよく知られており、統計学においては指数型分布族の性質などにも繋がります。

統計計算における分配関数の役割と計算上の課題

分配関数が確率分布の正規化に不可欠であることは明らかですが、多くの複雑なモデル、特に高次元データや構造を持つモデル（例：複雑なグラフィカルモデル）においては、この分配関数 $Z$ を正確に計算することが非常に困難、あるいは計算量的に不可能な場合が多いです。これは、可能なすべての状態についての総和（または積分）を計算する必要があるためです。状態空間のサイズが変数の数の指数関数的に増加する場合（例：二値変数からなるシステム）、この総和は天文学的な項数になります。

この分配関数の計算困難性は、統計的推論における主要な課題の一つとなります。例えば、最尤推定を行う際には尤度関数 $L(\theta) = p(\text{data}|\theta)$ を最大化する必要がありますが、ギブス分布の形式を持つモデルの場合、尤度関数は分配関数を含みます：

$p(x|\theta) = \frac{1}{Z(\theta)} \exp(-E(x|\theta))$

対数尤度は $\log p(x|\theta) = -E(x|\theta) - \log Z(\theta)$ となり、$\log Z(\theta)$ の計算が必要になります。

このような背景から、分配関数の計算または近似が、複雑なモデルにおける統計計算の鍵となります。これに対処するための主要なアプローチには、以下のようなものがあります。

サンプリング法:
- マルコフ連鎖モンテカルロ法 (MCMC): MCMC法は、直接的に分配関数を計算するのではなく、目的の確率分布 $p(x)$ からサンプルを生成することを目指します。分配関数は正規化定数なので、遷移核の詳細釣り合い条件などを設計する際に必要な比率 $p(x')/p(x)$ は $p^(x')/p^(x)$ に等しくなり、分配関数がキャンセルされます。したがって、MCMC法自体は分配関数を陽に計算することなくサンプリングが可能ですが、サンプリングの効率は分配関数の構造に影響されます。また、サンプリングから周辺尤度（モデルの分配関数と関連）を推定する手法（例：熱力学的積分、 path sampling）も存在します。
- 重要度サンプリング: 別の提案分布からサンプルを生成し、重みをつけて期待値を推定する手法です。これも原理的には分配関数の推定に利用可能ですが、提案分布の選択が難しく、高次元空間では分散が大きくなりがちです。
変分推論 (Variational Inference):
- 目的の確率分布 $p(x)$ を、扱いやすい変分分布 $q(x)$ で近似する手法です。変分推論では、対数尤度の下限（Evidence Lower Bound; ELBO）を最大化します。ELBOは $\log p(x) = \log E_{q(x)} \left[\frac{p(x)}{q(x)}\right] \ge E_{q(x)}\left[\log \frac{p(x)}{q(x)}\right] = E_{q(x)}[\log p(x)] - E_{q(x)}[\log q(x)]$ から導出され、変分下限 $L(q)$ は、ELBO = $-\text{KL}(q||p) + \log Z$ の関係にあることから、変分下限の最大化はKLダイバージェンスの最小化（つまり$q(x)$を$p(x)$に近づけること）と等価であり、同時に$\log Z$の下限を計算することにもなります。したがって、変分推論は分配関数の正確な値を与えるものではありませんが、その下限の良い近似を提供します。
構造的アプローチ:
- 疑似尤度 (Pseudo-Likelihood): 周辺化や条件付けによって、全体的な尤度（分配関数を含む）を計算困難な積ではなく、計算可能な小さな項の積に分解して近似する手法です。これにより分配関数の計算を回避できますが、統計的な効率性は失われる可能性があります。
- グラフ構造の利用: グラフィカルモデルのように、変数間の依存関係が局所的である場合、分配関数や周辺分布の計算が、そのグラフ構造を利用した効率的なアルゴリズム（例：和積アルゴリズム on tree-structured graphs）によって可能になることがあります。ただし、グラフがループを含む場合は厳密な計算は困難になり、近似アルゴリズム（例：信念伝播法、ループのあるグラフでの和積アルゴリズムの変種）が必要になります。

これらの計算手法は、いずれも分配関数の計算困難性という根源的な問題への応答として発展してきたものです。

応用分野：多様な統計モデルにおける分配関数

分配関数は、統計学の様々な分野でその姿を現します。

グラフィカルモデル: マルコフ確率場 (Markov Random Field; MRF) は、変数の同時確率分布がグラフ構造上のポテンシャル関数（またはエネルギー関数）を用いて表現されます。この分布の正規化定数として分配関数が出現します。画像処理、統計物理学、社会ネットワーク分析など、多くの分野で利用されています。
統計物理学: 統計物理学における分配関数は、系のマクロな熱力学的量（例：自由エネルギー、エントロピー、比熱）とミクロな状態（配置）の確率分布を結びつける中心的な概念です。統計学における分配関数は、まさにこの概念を確率モデルに応用したものです。
ベイズ統計学: ベイズ推論において、事後分布 $p(\theta|D) = \frac{p(D|\theta)p(\theta)}{p(D)}$ を計算する際には、周辺尤度 $p(D) = \int p(D|\theta)p(\theta)d\theta$ が正規化定数として現れます。この周辺尤度は、モデルとデータの組み合わせに対する「エビデンス」であり、モデル選択基準（例：ベイズファクター）の計算に不可欠ですが、複雑なモデルでは分配関数と同様に計算が困難な場合が多いです。MCMCや変分推論は、この周辺尤度の計算（あるいは近似）のためにも用いられます。
機械学習: 特に深層生成モデルにおけるボルツマンマシンとその派生モデル（制限付きボルツマンマシンなど）は、エネルギーベースモデルの一種であり、その学習や推論において分配関数の計算が重要な課題となります。変分オートエンコーダーや生成対抗ネットワークのような現代的な生成モデルも、暗黙的に分配関数を扱う、あるいは計算を回避する仕組みを持っています。
指数型分布族: 指数型分布族の確率密度関数は $p(x|\eta) = \frac{1}{Z(\eta)} h(x) \exp(\eta^T T(x))$ の形をしており、ここでも正規化定数 $Z(\eta)$ が分配関数として現れます。この分配関数と自然パラメータ $\eta$ の関係は、期待値パラメータとの間の勾配関係など、多くの重要な性質をもたらします。

教育上の説明のコツと課題

分配関数は、統計物理学や情報理論の背景を持つ専門家にとっては馴染み深い概念ですが、純粋な統計学の教育においては、その重要性や応用が必ずしも十分に強調されない場合があります。教育上の説明においては、以下の点を意識すると良いでしょう。

正規化定数以上の意味を強調する: 単なる分母ではなく、確率分布の性質、特に期待値などのモーメントを計算するための「ポテンシャル関数」であるという視点を提示します。
統計物理学とのアナロジー: 熱力学的な概念（エネルギー、自由エネルギー、温度）との類推を用いることで、直感的な理解を助けることができます。ただし、アナロジーの限界も明確にする必要があります。
計算困難性の具体例: 組み合わせ的に爆発するような簡単なモデル（例：相互作用のある多数の二値変数）を提示し、分配関数の計算がいかに非現実的になるかを示すと、MCMCや変分推論といった近似手法が必要とされる理由が明確になります。
簡単なモデルでの計算例: 計算が容易なモデル（例：独立な変数からなるモデル、シンプルなグラフ構造のモデル）で、実際に分配関数を計算し、そこから期待値などを導出する例を示すと、その「母関数」的な性質が理解しやすくなります。

まとめと今後の展望

分配関数は、複雑な確率モデルにおける理論的解析と計算の両面において中心的な役割を果たす概念です。その直接的な計算困難性は、MCMC法、変分推論、疑似尤度といった多様な統計計算手法の発展を促してきました。グラフィカルモデル、ベイズ統計学、機械学習といった分野横断的な応用を持つ分配関数の理解は、現代の統計学研究者にとって不可欠です。

今後の展望としては、より複雑なモデル（例：深層学習モデルと組み合わせた確率モデル）や大規模データに対する分配関数の効率的な近似・推定手法の開発、あるいは分配関数を計算せずに済む新たなモデリング・推論パラダイムの探求が挙げられます。また、異なる分野（統計物理学、情報理論、計算機科学）における分配関数に関する知見を統計学に取り込むことで、新たな理論的洞察や計算手法が生まれる可能性も十分にあります。分配関数を巡る議論は、今後も統計学研究の重要なドライビングフォースの一つであり続けると考えられます。