統計用語 Q&A広場 - 統計専門家のための欠測データ処理：理論、実践、そして最新アプローチ

統計専門家のための欠測データ処理：理論、実践、そして最新アプローチ

Tags: 欠測データ, 多重代入法, 尤度法, MAR, NMAR, 統計モデリング, データ前処理, 統計教育

はじめに：専門家が改めて問う欠測データ処理の重要性

私たちが扱う実世界データにおいて、欠測は避けて通れない問題です。調査票の無回答、測定機器の故障、追跡調査からの脱落など、その原因は多岐にわたります。データが完全であれば最も望ましいですが、欠測がある場合にそれをどのように扱うかが、その後の統計的推論の妥当性や効率性に決定的な影響を与えます。

学部レベルや初学者向けの統計学教育では、欠測データに対してリストワイズ削除や平均値補完といった単純な手法が紹介されることがあります。しかし、これらの手法がしばしば深刻なバイアスや推定精度の損失を引き起こすことは、専門家であれば十分に認識しているでしょう。例えば、リストワイズ削除は、欠測が完全にランダム（MCAR; Missing Completely At Random）でない場合にバイアスを生じさせます。また、欠測がランダム（MAR; Missing At Random）であっても、分析対象となるサンプルサイズが著しく減少する可能性があります。平均値補完に至っては、変数の分散を過小評価し、変数間の共分散を歪めるなど、多くの問題を引き起こします。

本稿では、これらの単純な手法では対応できない、現実の複雑な欠測データ問題に対し、専門家が知っておくべき近代的なアプローチ、その理論的背景、実践上の注意点、そして最新の議論について深く掘り下げていきます。特に、多重代入法（Multiple Imputation; MI）と尤度ベースの手法に焦点を当て、それぞれの利点と限界、適用上のポイントを解説します。

欠測メカニズムの理解：分析手法選択の鍵

適切な欠測データ処理手法を選択するためには、まずデータがどのようなメカニズムで欠測しているかを理解することが極めて重要です。統計学における主要な欠測メカニズムは以下の3つに分類されます。

MCAR (Missing Completely At Random): ある変数の欠測が、その変数自身の値にも、データセット内の他のどの変数の値にも依存しない場合です。例えば、アンケート調査において、特定の質問項目が印刷ミスで完全に抜け落ちている場合などです。MCARは理想的な状況であり、欠測データに関する多くの理論的な結果はこの仮定に基づいています。MCARの下では、リストワイズ削除で不偏推定が得られますが、統計的効率は低下します。
MAR (Missing At Random): ある変数の欠測が、その変数自身の値ではなく、データセット内の他の観測されている変数の値に依存する場合です。例えば、収入という変数の欠測が、教育レベルという観測されている変数に依存する場合などです。すなわち、教育レベルが同じ人々の間では、収入が欠測しているかどうかが、その人の実際の収入に依存しない状況です。MARはMCARよりも現実的であり、近代的な欠測データ処理手法（多重代入法、尤度法）の多くはこの仮定の下で妥当な推論を提供します。
NMAR (Missing Not At Random): ある変数の欠測が、その変数自身の（観測されていない）値に依存する場合です。例えば、収入という変数の欠測が、その人の実際の収入の値に依存する場合（高収入・低収入の人ほど回答しにくいなど）です。NMARは最も複雑なケースであり、他の観測変数だけでは欠測プロセスを完全に説明できません。NMARの場合、MARを仮定する標準的な手法ではバイアスが生じる可能性が高く、より高度な手法や、欠測メカニズムに関する追加的な仮定が必要になります。

欠測メカニズムが実際にどのタイプであるかをデータのみから完全に特定することは一般に困難です。専門家は、ドメイン知識やデータ収集プロセスに関する情報を活用して、最も可能性の高いメカニズムについて推測し、その仮定に基づいた分析を行う必要があります。また、NMARの可能性が疑われる場合は、感度分析（異なるNMARメカニズムを仮定して分析結果がどのように変化するかを調べる）を行うことが推奨されます。

近代的な欠測データ処理手法

古典的な手法の限界を克服するために、近年では多重代入法と尤度ベースのアプローチが主流となっています。

尤度ベースのアプローチ（完全情報最尤法: FIML）

完全情報最尤法 (Full Information Maximum Likelihood; FIML) は、構造方程式モデリング (SEM) などで広く用いられる手法です。データが多変量正規分布に従うと仮定できる場合、あるいは一般化線形モデルなどの尤度関数が明示的に指定できる場合に適用可能です。FIMLは、各観測データの観測されている部分に基づいた尤度関数を構築し、これを最大化することでパラメータを推定します。

FIMLの利点は、MARの下で不偏推定が得られること、そしてすべての観測情報（完全なケースと不完全なケースの観測されている部分）をモデル推定に利用するため、リストワイズ削除よりも統計的に効率が高い（推定量の標準誤差が小さい）傾向があることです。理論的には、FIMLと適切な多重代入法はMARの下で等価な結果をもたらします。ただし、FIMLは特定のモデル（例：正規線形モデル、特定のGLM）や仮定（例：多変量正規性）に強く依存するという側面があります。また、計算上の負荷が高い場合もあります。

多重代入法 (Multiple Imputation: MI)

多重代入法は、Rubin (1987) によって体系化された強力な手法です。これは、単一の欠測データセットから、$M$個（例えば $M=5$ または $M=10$）の異なる「補完された」データセットを生成し、それぞれで分析を行い、最後にそれらの分析結果を結合するという3つのステップからなります。

代入 (Imputation): 欠測値を、観測されているデータや欠測メカニズムに関する仮定に基づいて、確率的に予測・補完します。このステップでは、欠測パターンや変数の種類（連続、カテゴリ、順序など）に応じて、様々な代入モデル（回帰モデル、予測平均マッチング、多変量正規分布に基づく方法など）が用いられます。特に、連鎖方程式による多重代入（MICE: Multivariate Imputation by Chained Equations）は柔軟性が高く、広く利用されています。重要なのは、欠測値を単一の点推定値で置き換えるのではなく、不確実性を反映して複数の異なる値を確率的に生成することです。
分析 (Analysis): 生成された $M$個の完全なデータセットそれぞれに対して、目的とする統計分析（回帰分析、分散分析、ロジスティック回帰など）を通常通り実行します。これにより、$M$組の推定値と標準誤差が得られます。
結合 (Pooling): $M$個の分析結果を、Rubinの結合ルール（Rubin's Rules）に基づいて結合し、最終的な推定値、標準誤差、検定統計量などを算出します。この結合ルールは、分析内分散（各データセット内での推定量の分散）と分析間分散（$M$個の推定値間の分散、代入の不確実性を反映）を適切に組み合わせることで、欠測による不確実性を考慮した有効な推論を可能にします。

多重代入法の利点は、一度代入されたデータセット群があれば、その後の分析は標準的な手法で行えるため、様々な統計モデルに適用しやすい点です。また、NMARの可能性が疑われる場合でも、代入モデルを工夫したり、感度分析の枠組みに組み込んだりすることが比較的容易です。一方、適切な代入モデルの選択や実装、代入されたデータセットの診断などは専門的な知識を要します。

実践上の注意点と課題

欠測データ処理を実際に行う際には、いくつかの重要な注意点があります。

代入モデルの指定: 多重代入法において、代入モデルの適切性は結果に大きく影響します。分析モデルに含まれる変数だけでなく、欠測変数と関連が深い他の変数（たとえ分析モデルに含まれないとしても）も代入モデルに含めるべきです（"impute then analyze"ではなく"include everything related"のアプローチ）。カテゴリ変数や交互作用項を含む場合の代入モデルの指定も慎重に行う必要があります。
欠測メカニズムの仮定: MIもFIMLも、多くの場合MARを仮定します。この仮定が満たされない（NMARである）場合、これらの手法を用いてもバイアスが生じます。NMARが疑われる場合は、選択モデル（selection model）やパターン混合モデル（pattern-mixture model）といったより複雑なモデルの使用や、前述の感度分析の実施を検討する必要があります。ただし、NMARモデルは識別性が低く、モデル指定に強い仮定や外部情報が必要になることが多いという課題があります。
ソフトウェアの実装: 現在、R (e.g., mice, amelia, mi packages)、Python (e.g., fancyimpute, sklearn.impute), SAS (PROC MI, PROC MIANALYZE), Stata (mi command) など、多くの統計ソフトウェアで近代的な欠測データ処理手法が実装されています。しかし、各実装には細かな違いや制約があるため、使用する際はドキュメントを詳細に確認する必要があります。
診断: 多重代入後には、代入された値が観測された値の分布と大きく乖離していないか、収束診断がうまくいっているかなどを確認することが重要です。
複雑なデータ構造: 縦断データ、階層データ、空間データなど、独立性の仮定が成り立たないデータ構造における欠測データ処理は、標準的な手法をそのまま適用できない場合があります。例えば、縦断データでは、時間依存性の欠測メカニズムや、過去の観測値を用いた代入モデルが必要です。階層データでは、階層構造を考慮した多レベル多重代入モデルなどが用いられます。

まとめ

欠測データ問題は、統計的推論の妥当性と効率性に直接関わる、極めて重要な課題です。古典的な単純補完法の限界を理解し、MAR仮定の下での標準的な手法である多重代入法や尤度ベースのアプローチを適切に適用する能力は、現代の統計専門家にとって必須です。さらに、NMARの可能性に対する感度分析や、複雑なデータ構造への対応、そして最新の研究動向をフォローアップしていく姿勢が求められます。

本稿で概観したように、欠測データ処理は深い理論と慎重な実践を要する分野です。読者の皆様がご自身の研究や教育活動において、欠測データ問題に効果的に向き合うための一助となれば幸いです。

参考文献の示唆

欠測データ処理に関する詳細な理論や具体的な手法については、例えば Rubin の原著論文や書籍 (Little & Rubin の "Statistical Analysis with Missing Data" など) を参照されることをお勧めします。また、多重代入法の実際の実装や診断については、統計ソフトウェアのマニュアルや関連する学術論文が参考になります。