LET関西メソ研20140915公開版

LET関西支部メソドロジー研究部会
2014年度第2回研究会 in 長野 2014年9月15日
メタ・メタ分析
大切なことは全て効果量が教えてくれ…るか？
亘理陽一
eywatar@ipc.shizuoka.ac.jp
静岡大学
References: http://bit.ly/metho201409watari

メタ分析
なんか
カッコいい
…気がする♣
　　　イメージ→

メタ分析
• 「過去に行われた複数の独立な研究結果を
統合するための（統合できるか否かの検討
も含めた）統計解析」（丹後, 2002, p. 1）
• 詳しくは、浦野・亘理 (2013):
• http://www.urano-ken.com/blog/
2013/10/25/methoken-in-akita/

メタ分析
• 例えば…
• Mizumoto, A., Urano, K., &
Maeda, H. (ママ) (2014). A
systematic review of published
articles in ARELE 1-24: Focusing
on their themes, methods, and
outcomes. ARELE, 25, 33-48.
• 全体の効果量はチュー程度！
(g = 0.76, 95% CI [0.59, 0.93])
• 検定力不足多！29人以上で♡

メタ分析
• Plonsky’s list: 187 (September, 2014)
• oak.ucc.nau.edu/ldp3/bib_metaanalysis.html
• もはやブームですやん; 粗製濫造が心配…
META-ANALYSIS IN L2 RESEARCH 87
1
2 2
10
14
16
14
12
10
8
6
4
2
0
1996-1998 1999-2001 2002-2004 2005-2007 2008-in press
Year of meta-analysis
Number of meta-analyses
Fig. 1. Growth of meta-analysis in L2 research.
Oswald & Plonsky (2010, p. 87)
magnitudes and patterns of relationships as well as the circumstances that
affect them.

• 例えばポリンキー
• Plonsky & Brown (2014)
• Corrective feedback
に関するメタ分析13
もあって結果バラバ
ラ(d = -0.16 to 1.16)
なのワロス

Plonsky, L. (2014) Paper presented at AILA Worlds Congress 2014.

• 例えばポリンキー２
• Plonsky (2012)
• L2研究のメタ分析
を評価する枠組み
44点まんてーん！
の提案

• 本発表はそういうカッ
コいいものでも野心
的なものでもなく…
• 亘理がメタ分析につ
いて気になっている
いくつかのことをみ
んなに訊く

• そもそも、それをメタ分析しちゃって
いいのかどうかがわからない
• どのレベルで「ひとつの効果量」をだ
していいのかわからない
• 誰もがメタ分析を実際にやれるのかが
わからない

Norris & Ortega (2000)
• Effectiveness of L2 instruction: A research
synthesis and quantitative meta-analysis.
Language Learning, 50, 417–528.
META-ANALYSIS IN L2 RESEARCH 87
1
2 2
10
14
16
14
12
10
8
6
4
2
0
1996-1998 1999-2001 2002-2004 2005-2007 2008-in press
Year of meta-analysis
Number of meta-analyses
Fig. 1. Growth of meta-analysis in L2 research.
Oswald & Plonsky (2010, p. 87)
magnitudes and patterns of relationships as well as the circumstances that
affect them.
The third problem with narrative review concerns the limitations of the re-viewers

• 40研究の明示的指導(k = 71)
• d = 1.13 95% CI [0.93, 1.33]
• 19研究の暗示的指導(k = 29)
• d = 0.54 95% CI [0.26, 0.82]
• 本当に？どういう意味で？
• Watari (2013; 2014)

• 38(40)研究の明示的指導(Explicit, k = 71)
• + Rule explanation (deductive/metalinguistic,
Exp. FonFs) (k = 47)
• d = 1.08 95% CI [0.80, 1.36]
• + direction to attend to forms and arrive at
rules (explicit induction) (Exp. FonF, k =24)
• d = 1.22 95% CI [0.91, 1.53]

In Norris & Ortega (2000) …
DeKeyser (1997, p. 208)
Exp. FonFs vs. Control
Artificial
Number/person/gender
Leow (1998, p. 55) MLJ
Exp. FonF vs. Exp. FonFs
Spanish
Number/person/gender

一緒にしていいんすか？
効果量＝標準化した平均差を求めているとはいえ…
Shin (2010)でも言われてることだが…

メタ分析の結果の妥当性の問題
（山田・井上, 2012, p. 18）
• Apples and oranges problem:
• 多様な研究がごちゃ混ぜばんばん！
• Garbage in, garbage out:
• はっはっはまるでゴミのような研究だ
• File drawer problem:
• はいはい出版された研究えらいえらい

そもそも…
• “When the outcome is
reported on a meaningful
scale and all studies in the
analysis use the same
scale, the meta-analysis
can be performed directly
on the raw difference in
means.” (Borenstein, et al.,
2009, Chapter 4, Section
2, para. 1)

そもそも…
• ちゃんとした尺度に
基づいて結果が報告
されてて、分析に含
めた研究が全部同じ
尺度を使ってるって
んなら！生データで！

メタ分析の結果の妥当性の問題
（山田・井上, 2012, pp. 29-30）
• 研究の内的妥当性:
• 独立変数xと従属変数yとの間に因果関係があるとい
う主張する研究があるとき，その主張が説得力を持
つ程度のこと
• 研究の外的妥当性:
• 研究結果を一般化しうる程度
• 「君たちキウイパパイヤマンゴーだね」と唄いたい時
の「フルーツ」の許容範囲とは…

また、この話になるのかもしれませんが
Cf. 浦野(40) in 広島
untimed GJT
メタ言語知識テスト
timed GJT
口頭物語テスト
模倣テスト
明示的知識を測定暗示的知識を測定

括りで納得を得られるかどうか
が鍵かしら; と同時に、In’nami & Koizumi (2009)のように
意味のある調整変数を設定して何か示せるか

• VanPatten & Cadierno (1993)の追試:
• Cadierno (1995), VanPatten & Sanz (1995), DeKeyser &
Sokalski (1996), VanPatten & Oikkenon (1996),
(Kubota (1996)), Salaberry (1997)
• Tomasello & Herron (1988, 1989)の追試:
• (Fotos & Ellis (1991)), Ellis et al. (1994), Kubota (1995a)
• 「ちゃんと追試を増やして、まずはその範囲ごとに
やればいいのにね」って(Cf. Shintani, 2015)

• VanPatten & Cadierno (1993)とその追試(n = 7; k = 29):
• g = 0.55, 95% CI [0.27, 0.83]
0.24
[-0.26, 0.74]
0.68
[0.30, 1.07]
0.84
[0.13, 1.56]
0.25
[-0.80, 1.30]

• GJT(を測定に用いているもの)だけでやってみた:

そもそも効果量とは…
（Borenstein, et al., 2009; 山田・井上, 2012, p. 104）
• 平均（連続変数）に基づくもの
• Cohen’s d（記述統計）, Hedge’s g（推測統計）
• 二値変数に基づくもの
• (対数)オッズ比、リスク比
• 相関に基づくもの
• Fisher’s z

平均値の差に基づく効果量
• 標準偏差あたりでどんくらい
離れてるっつーの？
• 分布はどのっくらい重なって
るってーの？
• …という指標

• 1. 統制群と1つ以上の処置群とを事後テストの結果で比べて
Cohen’s dを算出(n = 10)
• 2. 比較群と処置群とを事後テストの結果で比べて算出(n = 20)
• 3. （人工言語などの）前提知識なしとして統制群を設けていな
いものについては、なるたけ偶発的な条件をベースラインの比
較群として、処置群と事後テストの結果で比べて算出(n = 4)
• 4. 統制群も比較群もないが、事前・事後の結果を報告している
ものについては、各処置群について事前・事後で算出(n = 5)
• 5. 統制群も比較群もなく事前についての報告もないものについ
ては、なるたけ…なベースラインを比較群とし、…(n = 10)

一緒にしていいんすか？
「なるたけ多くの研究の知見を入れたかったん！」
と断っているはいえ…

Watari (2014)
watariyoichi.net
research and
on
the L2
types of
specific
because
mechanisms
a series
point.
sample
to be
Table 2. Types of comparison & timing of metalinguistic intervention
Before B&W While After None g (95% CI)
Focus on FormS Exp.
vs Control 10 9 20 0 3 [0.60, 1.13]
vs Focus on FormS Exp. 2 0 7 0 3 [0.05, 1.05]
vs Focus on Form Imp. 2 0 2 0 0 [-0.84, 0.85]
vs Focus on FormS Imp. 0 2 0 0 0 [-1.29, 1.02]
FonF Exp.
vs Control 16 2 4 0 9 [0.75, 1.37]
vs Focus on Form Imp. 1 0 11 0 0 [0.28, 1.24]
vs Focus on FormS Exp. 2 4 0 0 0 [0.22, 1.58]
vs Focus on Form Exp. 2 0 0 0 0 [-0.25, 2.20]
g (95% CI) [0.53, 1.11] [0.21, 0.99] [0.72, 1.22] N/A [0.25, 1.11] [0.66, 0.99]
Biased toward giving rule description deductively, so we can’t get the whole picture
unless we construct and include rule discovery kind of instruction, with

Norris Ortega (2000)
• 両群のn, M, SDからCohen’s dを計算(58％)
• ｱﾝﾌｫｰﾁｭﾅﾄﾘ報告ない場合、両群のn, t値
とdfからCohen’s dを計算
• ｱﾝﾌｫｰﾁｭﾅﾄﾘ報告ない場合、両群のn, F値
と誤差項dfからCohen’s dを計算
• →…いいんすか？3水準のとか…

In Norris Ortega (2000) …
Cadierno (1995, p. 186)
Exp. FonF vs. Control
Exp. FonFs vs. Control
Spanish, Tense/Time phrases

ノリオル、全部dでやっておられますが…
• めっちゃわかりやすい→
• めっちゃわかりやすい→
• 「ヘッジのgは，2群間を比較
し、2群のどちらも統制群では
ないときに使います。一方，
グラスのデルタは2群間の比較
であっても統制群があり，そ
の群からどの程度異なるかを
調べるときに用い，…」(印南,
2012, p. 229)

いち研究、いち効果量？
どの研究もあれやこれや測定・報告しているんですが…

In’nami Koizumi (2009)
• When multiple effect sizes were
available in a single study, a weighted
mean of the means was calculated,
along with a weighted mean of the
SDs, … Thus, each study contributed a
single effect size. This weighted-average
procedure for means and SDs
is widely used to reduce the bias
caused by dependency between the
effect sizes in one study. … However,
this procedure might mix up some
potentially important variables that
the primary researcher independently
investigated; therefore, information
on moderator variables could be lost.
(p. 229-230)

In’nami Koizumi (2009)
• 「研究ごとに1つの効果量
• 各研究の効果量間の非独
立性によるバイアスを減
らすため
• 重要かもしれない変数を
混ぜちゃうので、調整変
数に関する情報が失われ
るかも」(p. 229-230)

• 処置のタイプ(FonF/FonFs/Explicit/Implicit)や下位分類ご
とに平均効果量を算出
• 処置のタイプ、群ごとに事前・事後の変化の平均効果量
• 処置の長さ(brief/short/medium/long)ごとの平均効果量
• 遅延事後の平均効果量
• 従属変数のタイプごとの平均効果量(constrained
constructed response, free response, metalinguistic
judgements, selected response)

• 分析の単位は、効果量ではなく個別研究; 効果量はひとつに
まとめるか代表（orランダムに）効果量を選択
• なんてLipsey Wilson (2001)がやいのやいの言うておりま
すけども、選択肢はあるよねー:
• (a) 研究ごとに一つの効果量のみ含める
• (b) 各研究の全ての効果量を含めるが、慎重な記述に努め、
それ以上の（因果関係の）推測的な分析は避ける
• (c) 観測値の独立性からの逸脱を処理する統計手法を用いる

• (b) 各研究の全ての効果量を含めるが、慎重
な記述に努め、それ以上の（因果関係の）推
測的な分析は避ける
• “Given the limitations of (a), and the technical
and primary study reporting demands of (c), we
would suggest that option (b) generally
provides the most broadly applicable strategy
for the basic interpretive demands of meta-analysis
in LLLT research.” (p. 30)

• (b) 各研究の全ての効果量を含めるが、慎重な
記述に努め、それ以上の（因果関係の）推測
的な分析は避ける
• 「ひとつにまとめて情報失われるとか元デー
タ集めるのしんどいとか考えると、言語学習・
教育研究のメタ分析でとりま知りたいことか
らすれば、(b)がまあ一番ええんちゃいます
か」(p. 30)

で、どっちやねーん
たぶんメタ分析を通じて知りたいことによる
という残酷な天使のテーゼ

Review
Narrative Review
subjective qualitative
Systematic Review
objective quali/quanti-tative
Meta-Analysis
quantitative

E.g., Jeon Yamashita (2014, p. 176)
←どういう範囲で検索し
Cf. In’nami Koizumi (2010)
←どういう基準で採用し
絞り込みの所はprincipled
traceableなので、間違い
なくナラティブ・レビュー
より客観性・再現性が高い

ナラティブ・レビューと比べての
利点がいろいろと説かれますけども…
• め ry) →
• 「第3に，該当分野の研究者に
連絡をとり，収集に漏れがな
いかを確認します」(印南,
2012, p. 228)
• 「第3に，著者に連絡をとり必
要な情報を送ってもらうこと
で，研究者間のネットワーク
が広がります」(印南, 2012, p.
248)

それよくなくなくなくない?!
たぶん研究コミュ力and/orコネ力が高くないとつらい
それ以上に、送ってくれるかどうか次第になっちゃっちゃ

提案
• 著者に連絡してゲット
したのか、連絡すれば
ゲットできるのかどう
か論文中に明記する
• Or 必要な情報が記載
されていない論文は一
切分析に採用しない

さらに
• 論文へのaccessibility問題
• 研究環境リッチモンドじゃな
い学生・院生、研究者がやる
のは大変
• 「水本の甘いワナ」問題
• langtest.jp 便利過ぎ♡ →ブラッ
クボックス化
• 混合効果モデル、違うタイプ
の効果量の同時使用→欲しい
の♡

• 亘理が気になっているいくつかのこと
• そもそも、それをメタ分析しちゃって
いいのかどうかがわからない
• どのレベルで「ひとつの効果量」をだ
していいのかわからない
• 誰もがメタ分析を実際にやれるのかが
わからない
LET関西支部メソドロジー研究部会
2014年度第2回研究会 in 長野 2014年9月15日
大切なことは全て効果量が教えてくれ…るか？
亘理陽一
eywatar@ipc.shizuoka.ac.jp
静岡大学
• 測定法や尺度の異なるものを一緒にしていいの？; その括りに意
味はあるか
• 比較の仕方が異なるものを一緒にしていいの？; 効果量はどのレ
ベルで一つにまとめるのが適切か
• その論文・データ・計算過程にaccessできるの？; principled
traceableがその存在意義であるならば…
• References: http://bit.ly/metho201409watari

LET関西メソ研20140915公開版

Recommandé

Recommandé

Contenu connexe

Tendances

Tendances (20)

Similaire à LET関西メソ研20140915公開版

Similaire à LET関西メソ研20140915公開版 (20)

Plus de youwatari

Plus de youwatari (20)

Dernier

Dernier (6)

LET関西メソ研20140915公開版