1. ∼シリーズ前処理2013∼
欠測への対応
＠dichika

2. 自己紹介
• @dichika
• 現代史に興味があります
– ジャニーズ
– プロレス
– 参考書籍があれば教えて下さい

3. 前処理とは
• 手元にある観測データを、意図する分析手法
が適用できる形にまでもっていく方法、と広く
定義します。
• たとえば

4. たとえば
• 欠測値への対応
• 連続データの離散化
• 外れ値処理
• 単位の変換（標準化）
• サンプリング
• 不均衡データ
• 属性抽出
• データ形式の変換（時系列、グラフ等）

5. 俺たちの日常
やりたかった分析
前処理

6. シリーズ前処理について
• 一説では、データ分析の8-9割の時間を占め
るといわれながら、その方法についてはあまり
語られることのない前処理について迫っていく
シリーズです。
• 私の発表をたたき台にして、「ぼくのかんがえ
たさいきょうのまえしょり」をみんな共有してく
れると嬉しいです。
• 一人で続けるのはしんどいので、誰か続いてく
れると嬉しいです。

7. これまでの前処理＠Tokyo.R
• Rで学ぶロバスト推定（第13回）
– 外れ値
• xtsパッケージで時系列解析（第15回）
– データ形式の変換
• Rを用いた地理的情報解析（第16回）
– データ形式の変換
• 不均衡データのクラス分類（第20回）
– 不均衡データ
• 二部グラフを使ったソーシャルネットワーク（第21回）
– データ形式の変換
• 抽出・推定・誤差評価（第27回）
– サンプリング

8. ということで

9. 本日は
欠測への対応

10. 最初に
• 欠測とは、データの欠落を想定しています
• R in Actionの第15章超おすすめなので欠測
の扱いについて手っ取り早く知りたければここ
を読むのがオススメ
身長 体重
145 42
168 65
192 89
158 NA

11. 欠測への対応はこれだ！
欠測の可視化 どのように欠測しているか可視化
欠測について
ランダムな欠測かどうか判断する
考える
欠測処理を
欠測に合わせた手法を選ぶ
選ぶ

12. まずは可視化から
欠測の可視化 どのように欠測しているか可視化
欠測について
ランダムな欠測かどうか判断する
考える
欠測処理を
欠測に合わせた手法を選ぶ
選ぶ

13. 欠測の可視化
• sleepデータを例に取る
– VIMパッケージに含まれている
– 哺乳類の睡眠に関するデータ
– 体重、脳の重さ、睡眠時間、レム睡眠の時間等１
０種類の変数
– 今回はレム睡眠（Dream）に着目

14. VIM（vimではない）で可視化
• VIMパッケージが便利
– matrixplot
• 各列に対して標準化を行った上で図示
• 標準化により、文字列は欠測扱いになるので注意
– marginplot
• ２変数を散布図＋箱ひげ図で図示
• 箱ひげ図は、もう一方の変数が欠測している／いない
場合での比較になっている

15. Index
0 10 20 30 40 50 60
BodyWgt
BrainWgt
NonD
Dream
Sleep
Span
Gest
matrixplot
Pred
Exp
Danger

16. Index
0 10 20 30 40 50 60
BodyWgt
BrainWgt
に欠測しやすい
NonDとDreamは共
NonD
Dream
Sleep
Span
Gest
Pred
Exp
Danger
並び替えて欠測パターンを確認

17. marginplot
100
80
60
Dreamが
Span
40
欠測した場合
の箱ひげ図が
赤
20
0
Spanの 4
欠測数 1 12
0 1 2 3 4 5 6
共通した
欠測数 Dream
Dreamの
欠測数

18. ちょっと考える
欠測の可視化 どのように欠測しているか可視化
欠測について
ランダムな欠測かどうか判断する
考える
欠測処理を
欠測に合わせた手法を選ぶ
選ぶ

19. 欠測はランダムか
• MCAR（Missing Completely At Random）
– 欠測が完全にランダム
• MAR （Missing At Random）
– 欠測をデータ内で統制すればランダム
• これを仮定することが多い
• NMAR （Not Missing At Random）
– 欠測がランダムではない
• 欠測メカニズムをモデル化して組み込む必要あり
• 難しいので今回は扱わない

20. よろしい、ならばMARだ
• 原則、MARとして対応するのが無難
– 後述する多重代入法もしくは最尤法で対応
• 事前知識及び可視化の結果からNMARの疑
いがある場合のみ対応を考える
– 欠測をモデリング
• Heckmanモデル等
– 感度分析
• モデルや特定のパラメータを変えてどの推定結果が変
わるか
– かなりめんどくさい

21. 考えたところで手法を選ぶ
欠測の可視化 どのように欠測しているか可視化
欠測について
ランダムな欠測かどうか判断する
考える
欠測処理を
欠測に合わせた手法を選ぶ
選ぶ

22. 欠測処理を選ぶ
推定したパラメータにバイアス
欠測処理 内容 が生じるどうか
MCAR MAR NMAR
欠測データを行単位で
リストワイズ 削除 ○
削除 分析に用いた変数の範
ペアワイズ 囲で欠測データを行単 ○
位で削除
欠測を考慮した形で最
最尤法 尤法を適用する（EMア ○ ○ △
ルゴリズム等適用）
平均値や、他の変数に
単一代入法 よる予測値を代入 ○
代入
多重代入法 この後説明 ○ ○

23. 削除はバイアスが生じる
推定したパラメータにバイアス
欠測処理 内容 が生じるどうか
MCAR MAR NMAR
欠測データを行単位で
リストワイズ 削除 ○
削除 分析に用いた変数の範
ペアワイズ 囲で欠測データを行単 ○
位で削除
欠測を考慮した形で最
最尤法 尤法を適用する（EMア ○ ○ △
ルゴリズム等適用）
平均値や、他の変数に
単一代入法 よる予測値を代入 ○
代入
多重代入法 この後説明 ○ ○

24. ぶっちゃけ最尤法か多重代入法
• MARを前提に考えると削除は無い
10％は
• 欠測の割合に着目 目安
– 10％未満→リストワイズでも良いという話も
– 10％以上→最尤法か多重代入法
• 最尤法と多重代入法どっちを選ぶかは好み
– 欠測の教科書など読む時には、この人は最尤法
推しなんだなとか考えて読む必要がある

25. せっかくだから俺はmiceをえらぶぜ
• 多重代入法の方が直観的にわかりやすかった
– 個人の感想です
– 最尤法もmvnmleパッケージを使えばできるが理解
が間に合わなかった
– あと、なんとなくRubinリスペクト
• 多重代入法にはいくつかアルゴリズムがある
– 今回はMICEアルゴリズム
• miceパッケージとして実装されている

26. ここでRubin伝説
• ハーバードの統計学の教授
• Educational Testing Service（ETS）に勤めて
いた数年であげた業績
– Rubinの因果推論モデル
– 傾向スコア
– 多重代入法
– EMアルゴリズム

27. 多重代入法（MICEアルゴリズム）
分析
代入 統合

28. 多重代入法（MICEアルゴリズム）
1. 代入
– なんらかの方法で欠測値を予測し、その結果を代
入したデータを複数作る
• 初期設定はPredictive mean matching
2. 分析
– 作ったデータそれぞれに対して目的とする分析手
法の適用
• 例えば回帰分析
3. 統合
– 分析で求めたパラメータを統合する

29. Predictive mean matching
• 他の変数を使って、欠測値を予測する
• 予測値に近い値を欠測していない値からもっ
てくる
• もってきた値からランダムに１つ取り出して欠
測値を補完する
• これを全ての欠測値に対して適用する

30. 実際の使用例
library(mice)
data(sleep, package = "VIM")
imp <- mice(sleep) # 代入
fit <- with(imp, lm(Dream ~ Span + Gest)) # 分析
pooled <- pool(fit) # 統合
summary(pooled) # 結果の確認

31. 実際の使用例
with
mice pool

32. 補足事項
• 作成するデータセットの数を指定できる
– mice(data, m = 5)
• miceを適用した結果から単一のデータセットを
抽出できる 作成した
データセットの
– complete(imp, action = 3) 範囲内の数を指定
• with関数で使用できる分析手法
– 線形回帰がメイン
– lm、glm、gam、nbrm

33. まとめ
• 欠測はMARのつもりで最尤法か多重代入法
• 理論（特にバイアス）はすっとばしたので参考
資料をご覧ください
• Rubinすごい

34. 参考資料（書籍）
文献名 著者 出版社等 コメント
R in Action Robert Manning, 15章が実にわかりやすい。忙しい人はこ
Kabacoff 2011 れだけ読んでおけば良い。
Flexible Stef van CRC Press, multiple imputationについて網羅されて
Imputation of Buuren 2012 る。
Missing Data
不完全データの 岩崎 学 エコノミスト 新しくはないが日本語で網羅されている。
統計解析 社, 2002 おすすめ。
欠測データ解析 逸見 昌之 統計数理 統計数理研究所の公開講座。NMARに踏
法（講義資料） 星野 崇宏 研究所, み込んだ解説あり。資料は非公開。
2012

35. 参考資料（web その１）
文献名 著者 出版社等 コメント
欠測値データ解析 狩野裕 https://sites.google.com/ 日本語かつケーススタディあ
の意味と有効性 site/ksp397kano/ り。おすすめ。
Handling Missing Paul D. http:// MIと最尤法の比較あり。この
Data by Maximum Allison www.statisticalhorizons.com 人は最尤法推し。この人も欠
Likelihood /wp-content/uploads/ 測データに関して教科書を書
MissingDataByML.pdf いている。
Missing Data and http://www.upa.pdx.edu/ SEMに関しての文献だが簡潔
Missing Data IOA/newsom/semclass/ にまとまってるので復習する
Estimation ho_missing.pdf 時にチートシートっぽく使える。
何があっても割り付 佐藤俊哉 http://www.kbs.med.kyoto- 医学系の例。
けどおりに解析する 松岡淨 u.ac.jp/01Sep15.pdf

36. 参考資料（web その２）
文献名 著者 出版社等 コメント
Missing data 村山航 http://www4.ocn.ne.jp/ 日本語。最尤法と多重代
analysis ~murakou/ 入法の丁寧な説明あり。
missing_data.pdf おすすめ。
CRAN Task View http://cran.r- Rでパッケージを探すとき
（Multivariate→ project.org/web/views/ はまずここから。
Missing data） Multivariate.html

37. 今後のシリーズ前処理
• 最終的には、チェックリストを作りたい
• 欲しいデータ形式に向けてサンプルデータをひ
たすら綺麗にしていくデータ前処理ハッカソン
をしてもよいかもしれない

38. enjoy!!!