LET中部支部 外国語教育研究基礎研究部会 第1回年次例会 講演 「量的データの分析・報告で気をつけたいこと」水本篤（関西大学） 2014/02/22@名古屋大学

1. LET中部支部
外国語教育研究基礎研究部会
第1回年次例会
2014/02/22@名古屋大学
量的データの分析・報告で
気をつけたいこと
水本 篤（関西大学）

2. 自己紹介

3. 前田・山森（編著）(2004)

4. 竹内・水本（編著）(2012)

5. http://mizumot.com/handbook
書籍で使用したデータと分析方法

6. アウトライン
1.再現性（その中身が気になる）
2.図表愛
3.どうしたらいいの？

7. アウトライン
1.再現性（その中身が気になる）
2.図表愛
3.どうしたらいいの？

8. 1.再現性（その中身が気になる）
(1) 生データ

9. 1.再現性（その中身が気になる）
(1) 生データ
スペースの無駄では？

10. 10

11. Photo Credit:

12. 外国語教育研究ハンドブック p. 125

14. 1.再現性（その中身が気になる）
(1) 生データ
可視化を心がける

15. 1.再現性（その中身が気になる）
(2) 必要な情報を書く

16. 前田・山森（編著）(2004)
「必要な情報はきちんと書く。
情報は追試できるように書く。
読者にわかりやすく書く。」
（p. 172）

17. déjà-vu
「結果は図3に示した。プリテストと
ポストテストの間で8.2点の得点上昇が
あり，統計的にも有意な上昇であった
（(t11)=9.108, p<.01, 両側検定）。」

18. ダメ。ゼッタイ。
•
• 人数・総数が不明。
p 値のみの報告。
•
平均・標準偏差の記載なし。
（* がたくさん。）

19. （分析の）追試に必要な情報
•
サンプルサイズ，平均，
標準偏差
•
信頼性係数
•
相関係数（対応ありデータ，SEMなど）
（相関係数平均への回帰，
相関の希薄化の修正など）

20. 具体例
ある国際誌掲載論文の一部
何かがおかしい気がする...
青木繁伸先生作成のRコードで追試（http://aoki2.si.gunma-u.ac.jp/R/my-t-test.html）
! ウエルチの方法による，二群の平均値の差の検定!
n1 = 11, mean1 = 78.91, variance1 = 70.8964!
n2 = 11, mean2 = 76.82, variance2 = 54.9081!
t = 0.618, df = 19.682, p-value = 0.5437

21. おすすめ
• R の "rpsychi" パッケージ
http://cran.r-project.org/web/packages/rpsychi/
index.html
• 作成者：奥村泰之先生（医療経済研究機構）
http://blue.zero.jp/yokumura/
• 論文に公開されている情報から検定を行い，
効果量と信頼区間も求める。検定力分析や
メタ分析に活用できる。

22. rpsychi
ハンドブック（p. 143）
重回帰分析を相関行列から再現

23. 1.再現性（その中身が気になる）
(2) 必要な情報を書く

24. 1.再現性（その中身が気になる）
(3) ストップ p 値信仰

25. 前田・山森（編著）(2004)
「有意差は差の大小については何
も語ってくれません。差の大きさ
を見たいときは，平均値の違いそ
のものを見ましょう。」（p. 34）

26. p < .05（0.05以下）
統計的に有意な
statistically significant

27. 効果量（Effect Size）
•
統計的検定の問題点
- サンプルサイズが影響。
- 有意差あり・なしのみの判断。
- p 値は実質的な差を示さない。

28. •
効果量（Effect Size）
- サンプルサイズに影響されない。
- 効果の大小を示す。
- 実質的な差を確認できる。
•
APA 6th では報告が「不可欠」

29. 各群の人数が等しい場合
p 値を算出するための検定統計量との関係
検定統計量 = 効果量 (d)
サンプルサイズ
（南風原, 2002, p. 163）
詳しくは浦野(2013)を参照。
http://www.slideshare.net/uranoken/let2013workshop

30. 効果量 d = 0.2
効果量 d = 0.2

31. M = 30
SD = 10

32. M = 30
SD = 10
M = 32
SD = 10

33. M = 30
SD = 10
2/10 = 0.2
M = 32
SD = 10
d = 0.2
（効果量小）

34. M = 30
SD = 10
5/10 = 0.5
M = 35
SD = 10
d = 0.5
（効果量中）

35. M = 30
SD = 10
8/10 = 0.8
M = 38
SD = 10
d = 0.8
（効果量大）

36. Oswald and Plonsky (2010)
•
• d = 0.70, medium effect
d = 1.00, large effect
•
d = 0.40, small effect

37. 効果量の統合＝メタ分析
Study
Effect Size [95%CI]
Study01
Study02
Study03
Study04
Study05
Study06
Study07
Study08
Study09
Study10
Study11
Study12
Study13
Study14
Study15
Study16
Study17
Study18
Study19
Study20
Study21
Study22
Study23
Study24
Study25
Study26
Study27
Study28
Study29
Study30
Study31
Study32
Study33
Study34
Study35
Study36
Study37
Study38
Study39
Study40
Study41
Study42
Study43
Study44
Study45
Study46
Study47
Study48
Study49
Study50
Study51
Study52
Study53
Study54
Study55
Study56
Study57
Study58
Study59
Study60
Study61
Study62
Study63
1.41
4.12
0.34
0.66
0.33
0.35
0.51
0.00
0.37
3.89
2.65
2.14
0.40
-0.15
0.18
0.55
1.18
0.58
1.49
0.80
-0.11
0.43
-0.01
0.16
0.42
0.65
0.60
1.26
0.50
0.21
0.23
1.96
0.20
0.33
0.62
0.45
0.05
0.14
0.65
0.44
1.14
1.52
0.37
0.55
1.43
0.91
1.49
1.10
1.42
1.23
1.09
2.23
0.08
0.44
0.41
0.95
1.69
1.37
0.69
0.66
0.18
-0.09
1.03
RE Model
-2.00
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
0.85
3.23
-0.24
0.06
0.02
0.04
-0.11
-0.60
-0.35
2.11
1.21
-0.32
-0.13
-0.67
-0.26
0.10
0.46
-0.10
0.74
0.10
-0.69
-0.16
-0.59
-0.42
-0.13
0.06
0.19
0.83
0.10
-0.19
-0.17
1.31
-0.24
-0.12
0.17
-0.01
-0.39
-0.30
0.21
-0.02
0.75
1.11
0.00
0.19
0.63
0.54
0.98
0.61
0.88
0.89
0.76
1.84
-0.27
0.08
0.05
0.48
1.32
1.01
0.23
0.31
-0.34
-0.56
0.66
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
1.98
5.01
0.91
1.25
0.64
0.65
1.12
0.60
1.10
5.67
4.08
4.60
0.93
0.38
0.62
0.99
1.89
1.27
2.24
1.50
0.47
1.02
0.57
0.74
0.97
1.24
1.01
1.70
0.90
0.61
0.63
2.61
0.64
0.77
1.07
0.91
0.49
0.59
1.10
0.90
1.54
1.93
0.74
0.91
2.23
1.28
2.01
1.59
1.96
1.56
1.42
2.62
0.44
0.80
0.77
1.42
2.06
1.73
1.16
1.01
0.71
0.38
1.39
]
]
]
]
]
]
]
]
]
]
]
]
]
]
]
]
]
]
]
]
]
]
]
]
]
]
]
]
]
]
]
]
]
]
]
]
]
]
]
]
]
]
]
]
]
]
]
]
]
]
]
]
]
]
]
]
]
]
]
]
]
]
]
0.76 [ 0.59 , 0.93 ]
0.00
2.00
Standardized Mean Difference
4.00
6.00

38. p 値は再現性がない
同じ条件
同じ参加者数（サンプルサイズ）
同じ平均値の差（効果量）

39. Cumming (2012)

40. 2群の比較，各群32名，効果量 d = 0.5

41. 2群の比較，各群32名，効果量 d = 0.5

42. d = 0.5 なのに有意差なし？
•
シミュレーション
- 1つのグループに32名（計64名）
- d は 0.5（効果量中）
- p < .05 となったのは50%程度
→ 検定力（power）が足りない

43. 検定力（statistical power）
• 本当に差がある場合に，有意差を
検出することができる力。
• 0 ~ 1の範囲の値（100%）
• Cohen (1988) は 0.8 (80%) を提唱。

44. 先ほどの例
•
シミュレーション
- 1つのグループに32名（計64名）
- d は 0.5（効果量中）
- p < .05 となったのは50%程度

45. 2群の比較，各群32名，効果量 d = 0.5

46. 本当は差があるはずなのに
= d は 0.5（効果量中）
p < .05 となったのは50%程度
検定力 = 0.5

47. 検定力（statistical power）
•
本当に差がある場合に，有意差を
検出することができる力。
• 検定力0.5の場合は半分の場合，
「差がない」と判断されてしまう。
• もう少し噛み砕いて言うと，
「p < .05の結果を得られる再現性」。

48. 検定力分析（power analysis）
検定力（power）を大きくし，
できるだけ小さなサンプルサイズで
検定するために，必要なサンプルサ
イズを見積もる方法。

49. 統計的検定における4つの要素
• 有意水準 (α)
• サンプルサイズ
• 効果量
• 検定力

50. 検定力分析で必要サンプルサイズがわかる
A priori（事前の分析）
？

51. 検定力 0.5
G*Power 3
http://www.gpower.hhu.de/

52. 検定力を推奨されている0.8にしたい
？
0.8
小，中，大

53. 検定力 0.8で1群につき
64名必要

54. 2群の比較，各群32名，効果量 d = 0.5

55. 2群の比較，各群64名，効果量 d = 0.5
信頼区間

56. なぜ信頼区間？
Confidence Interval
•（帰無仮説検定の場合）＋αの情報量
•再現性がある。
点推定は「過剰評価」しがち。
•
区間推定が研究の本質。

57. これからの考え方
Study
Effect Size [95%CI]
Study01
Study02
Study03
Study04
Study05
Study06
Study07
Study08
Study09
Study10
Study11
Study12
Study13
Study14
Study15
Study16
Study17
Study18
Study19
Study20
Study21
Study22
Study23
Study24
Study25
Study26
Study27
Study28
Study29
Study30
Study31
Study32
Study33
Study34
Study35
Study36
Study37
Study38
Study39
Study40
Study41
Study42
Study43
Study44
Study45
Study46
Study47
Study48
Study49
Study50
Study51
Study52
Study53
Study54
Study55
Study56
Study57
Study58
Study59
Study60
Study61
Study62
Study63
1.41
4.12
0.34
0.66
0.33
0.35
0.51
0.00
0.37
3.89
2.65
2.14
0.40
-0.15
0.18
0.55
1.18
0.58
1.49
0.80
-0.11
0.43
-0.01
0.16
0.42
0.65
0.60
1.26
0.50
0.21
0.23
1.96
0.20
0.33
0.62
0.45
0.05
0.14
0.65
0.44
1.14
1.52
0.37
0.55
1.43
0.91
1.49
1.10
1.42
1.23
1.09
2.23
0.08
0.44
0.41
0.95
1.69
1.37
0.69
0.66
0.18
-0.09
1.03
RE Model
-2.00
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
0.85
3.23
-0.24
0.06
0.02
0.04
-0.11
-0.60
-0.35
2.11
1.21
-0.32
-0.13
-0.67
-0.26
0.10
0.46
-0.10
0.74
0.10
-0.69
-0.16
-0.59
-0.42
-0.13
0.06
0.19
0.83
0.10
-0.19
-0.17
1.31
-0.24
-0.12
0.17
-0.01
-0.39
-0.30
0.21
-0.02
0.75
1.11
0.00
0.19
0.63
0.54
0.98
0.61
0.88
0.89
0.76
1.84
-0.27
0.08
0.05
0.48
1.32
1.01
0.23
0.31
-0.34
-0.56
0.66
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
1.98
5.01
0.91
1.25
0.64
0.65
1.12
0.60
1.10
5.67
4.08
4.60
0.93
0.38
0.62
0.99
1.89
1.27
2.24
1.50
0.47
1.02
0.57
0.74
0.97
1.24
1.01
1.70
0.90
0.61
0.63
2.61
0.64
0.77
1.07
0.91
0.49
0.59
1.10
0.90
1.54
1.93
0.74
0.91
2.23
1.28
2.01
1.59
1.96
1.56
1.42
2.62
0.44
0.80
0.77
1.42
2.06
1.73
1.16
1.01
0.71
0.38
1.39
]
]
]
]
]
]
]
]
]
]
]
]
]
]
]
]
]
]
]
]
]
]
]
]
]
]
]
]
]
]
]
]
]
]
]
]
]
]
]
]
]
]
]
]
]
]
]
]
]
]
]
]
]
]
]
]
]
]
]
]
]
]
]
0.76 [ 0.59 , 0.93 ]
0.00
2.00
Standardized Mean Difference
4.00
6.00

58. 70
65
差のCI
55
5
50
差のCI
0
n = 20 n = 20
1
2
Comparison 1
40
45
Mean
55
50
0
45
5
40
Mean
d = 0.5
p < .001
60
d = 0.5
p = .12
60
65
70
エラーバーは95%CI
n = 200 n = 200
1
2
Comparison 2

59. 70
70
65
60
55
差のCI
0
45
0
1
d = 0.1
p < .001
50
50
55
Mean
差のCI
n = 20
n = 20
1
2
Comparison 1
40
65
60
d = 0.1
p = .75
45
40
Mean
エラーバーは95%CI
n = 2000 n = 2000
1
2
Comparison 2
1

60. •
•
•
•
•
p 値は再現性を考えるとひどい指標。
信頼区間がベター（結果を蓄積）。
実質的な差や効果は「効果量」。
先行研究からどの程度の効果か考える。
検定にこだわるのなら「検定力」を確認。
• 1回の研究で断言できることはほぼなし。

61. Replication（追試）や
メタ分析マインドを！
Photo Credit: write_adam via Compfight cc

62. 検定力分析は
なぜ広まらないのか？
• 研究者（特に指導者）の理解・認識不足
• ワンショットの研究が多い
• 「独創的な研究」が求められる
• 対象トピックの先行研究が少ない
→ Replicationをもっと推奨すべき。

63. Precision Analysis（正確度分析）
AIPE: accuracy in parameter estimation
• 検定力分析の信頼区間バージョン。
• 信頼区間の幅を先に決めておいて，
サンプルサイズ設計を行う。
• RのMBESSパッケージ
http://cran.r-project.org/web/packages/MBESS/
http://www3.nd.edu/~kkelley/site/MBESS.html

64. 1.再現性（その中身が気になる）
(3) ストップ p 値信仰

65. 1.再現性（その中身が気になる）
(1) 生データ
(2) 必要な情報を書く
(3) ストップ p 値信仰

66. 前田・山森（編著）(2004)
「統計処理を行うということは，ある実体を見
いだすことではないのです。あくまでも，研究
者が取ったデータに対して，確率的にどうなの
か，もしくはデータの傾向くらいしか言えない
のです。結果の記述の際には，データと分析結
果に対して忠実に記述する慎重さが求められま
す。」（p. 173）
→ 効果量，信頼区間で情報付加

67. アウトライン
1.再現性（その中身が気になる）
2.図表愛
3.どうしたらいいの？

68. アウトライン
1.再現性（その中身が気になる）
2.図表愛
3.どうしたらいいの？

69. テキスト
図表の作成
「ハンドブック」第21章も参照

70. 図表の作成
デフォルトはNG！"
APAをまねる"
Excel 右クリックで調整
「神は細部に宿る」

71. まずい表の例

72. サンプルをまねる
not italicized & w/o period
italicize & capitalize
Table 3.5 (p. 23) in Nicol, A. A. M., & Pexman, P. M. (2010) Presenting your findings: A practical guide for creating
tables (6th ed.). Washington, DC: American Psychological Association.

73. サンプルをまねる
Table 4.1 (p. 30) in Nicol, A. A. M., & Pexman, P. M. (2010) Presenting your findings: A practical guide for creating
tables (6th ed.). Washington, DC: American Psychological Association.

74. サンプルをまねる
Table 7.2 (p. 43) in Nicol, A. A. M., & Pexman, P. M. (2010) Presenting your findings: A practical guide for creating
tables (6th ed.). Washington, DC: American Psychological Association.

75. 表作成注意点
• 論文中の表は形式を統一する。
• 本文中では表の順番通り説明する。
• 表は本文の説明の後に置く。
• フォントは本文と同じにする。
（APA では Times New Roman, 12 points）
•
省略形などは必ず Note. で説明する。

76. 某ジャーナルエディター

77. まずい図の例

78. まずい図の例
75#
70#
65#
60#
CALL
55#
50#
45#
40#
10
20
40

79. サンプルをまねる
Figure 2.4 (p. 19) in Nicol, A. A. M., & Pexman, P. M. (2010) Displaying your findings: A practical guide for
creating figures, posters, and presentations (6th ed.). Washington, DC: American Psychological Association.

80. 「隠れる」「隠される」
情報がない
100
***
90
CALL
80
***
70
60
50
40
30
20
10
0
10
20
OK
40
Better

81. 個別のデータも見せる
0.700
0.600
Oxy-Hb(mM-mm)
0.500
0.400
0.300
0.200
0.100
0.000
Normal
Scanning
81

82. 個別のデータも見せる
82

83. 論旨に合った図示方法
前田啓朗 (2008). WBTを援用した授業で成功した学習者・
成功しなかった学習者. ARELE, 19, 253–262.

84. 図作成注意点
• 論文中の図は形式を統一する。
• フォントはサンセリフ（Arialやゴシック体など）。
• フォントは最小8，最大14ポイントで
最小と最大に4ポイント以上の差をつけない。
• 本文中では図の順番通り説明する。
• 図の説明は本文と同じフォント。
• 3Dグラフにしたり妙な飾りはつけない。

85. 図作成注意点
• 図中のタイトルやラベルは，大文字で始める。
例）Goal Orientation Mean Score
Fulfillment/Meaning of Life Averages
• y軸（縦軸）はx軸（横軸）の2/3か3/4程度の
長さにする。
• x軸とy軸はデータの最大値よりも大きく取る。
• エラーバーが何を意味するのかを明記する。

86. アウトライン
1.再現性（その中身が気になる）
2.図表愛
3.どうしたらいいの？

87. アウトライン
1.再現性（その中身が気になる）
2.図表愛
3.どうしたらいいの？

88. 3. どうしたらいいの？
何の情報が必要か理解するために：
• （量・質ともに）二次データでの
分析の追試練習
• 効果量や検定力分析の算出練習
• メタ分析の練習（先行研究概観にも）

89. 「良い追試は，リサーチデザインのきち
んと練られていない独創的な研究よりも，
分野としての発展に貢献する可能性が高い」
（外国語教育研究ハンドブック p. 342）
→ Replicationをもっと推奨すべき。
（もしくは関心に応じて質的な方法を）

90. Porte (2012)

91. 再現性は科学の基本
•
データの二次利用を推奨すべき。
例えば，使用したデータを（個人情報に
気をつけて）オンラインなどで公開。
•
ソフトウェアのコードも
公開すれば，誰でも再現可能。

92. どうやって
やればいいですか？
92

93. http://rpubs.com/
RStudio + Markdown

94. ソフトの比較

95. https://sites.google.com/site/casualmacr/home
RをGUIで利用できる
（Mac用アプリケーション）

96. http://norimune.net/had
なんでもExcelでできちゃう

97. 最後にちょっと宣伝
ウェブアプリケーション
langtest.jp を開発しました。

98. langtest.jp
• ハンドブックの量的チャプターの
サンプルを使用して再現。
• アウトプットの見方がわかる
• 自分でも簡単に分析できる。
• グラフを充実させている。
• Excelのデータをコピペするだけ。

99. こういうのを作りたかった
http://hoxom-hist.appspot.com/hist.html

100. ここにExcelから
データをコピペするだけ

101. パス図作図も

102. 注意点
• 誰でもできる… だけに危険。
• ドキュメンテーションがない。
• 自由度ゼロ（改善予定）
• コードが残らないので再現性に乏しい。
（MacRならコードが保存できる）

103. とりあえず
一番楽な方法
langtest.jp

104. 「ご清聴ありがとうございました。」
なんていわないよ絶対。
http://mizumot.com/lablog/archives/1011
「こういう学会は退会」2014/02/06

105. 量的データの分析・報告で
気をつけたいこと
1. 再現性：データの可視化
必要な情報を書く
p 値信仰は危険
2. 図表にこだわる
3. 提案：二次データを使った練習