臨床推論能力の評価法

1. 臨床推論の評価法
Key Feature問題について
大西弘高
東京大学大学院医学系研究科
医学教育国際研究センター

2. 臨床推論能力の測定法
 医学生なら
 一緒に症例問題を解いてみればよい？
 研修医，医師なら
 一緒に何度かカンファレンスに出れば分かる?

3. 評価の種類
 形成的評価
 総括的評価
 特にHigh-stake test：卒業試験，資格試験等
 下にいくほど信頼性重視される
 点数の標準誤差が多ければ判定ミス増える
 信頼性係数はHigh-stake testなら0.8欲しい

4. 妥当性
内容
試験のブループリント，領域に対する項目の代表性，達成領域
に対するテスト内容の論理的／経験的な関連性
処理
プロセス
学習者によるテストフォーマットへの慣れ，スコアや評価の正確
性，部分点の分析
内的構造
項目分析データ：項目の難易度と識別係数など，項目の信頼性，
測定の標準誤差，一般化可能性分析
他の変数
との関係
収束的相関，弁別的相関，エビデンスの一般化可能性
結果
テスト結果が学習者や社会に与える影響，合否基準スコアの決
定方法の妥当性，合否結果：決定の信頼性と分類の正確さなど
 信頼性は妥当性の条件の一つ

5. 症例特異性（case specificity）
 ある症例問題における臨床推論能力の
測定値と別の症例問題のそれとの間で
相関係数が0.1～0.3 （Elstein）
 問題数が一定以上でなければ信頼性は
低い
全臨床領域
←信頼性と妥当性
の比較

6. Spearman-Brownの公式
 nは問題数，ρは１問からなるテストの信頼性係数，
ρnはn問からなるテストの信頼性係数
 ρ(X) = 0.1のとき， ρn(X) = 0.7になるnは21 ，
ρn(X) = 0.8になるnは36
 ρ(X) = 0.2のとき， ρn(X) = 0.7になるnは10 ，
ρn(X) = 0.8になるnは16
   
   Xn
Xn
Xn



11 


7. 各種評価法
 筆記評価，パフォーマンス評価に大別
 筆記：信頼性重視，主に臨床前評価
 パフォーマンス：妥当性・正統性重視，主に
臨床評価

8. MCQ
 4～6個の選択肢から最もよいものを選ぶ（one
best answer）が最善の形式
 症状や所見から鑑別診断を想起するのではなく，
与えられた選択肢間の比較しかできない
 選択肢が手掛かりになりやすい（cueing effect）
下記の事例に関し，最も近いと思われる診断をＡ～Ｅの中から挙げて下さい．
15歳女性に生じた発熱，全身関節痛，口腔アフタ，蛋白尿，鼻背部を含む
頬部紅斑 （ ）
Ａ．慢性関節リウマチ Ｂ．全身性エリテマトーデス Ｃ．皮膚筋炎
Ｄ．全身性硬化症 Ｅ．混合性結合組織病

9. Extended-matching Item
(EMI)
 cueing effectが薄まる（0ではないが…）
 選択肢再利用を可能に→MCQよりは作成簡単
 NBMEのMCQ/EMIブックレットには選択肢一覧あり
下記の事例に関し，最も近いと思われる診断をＡ～Ｏの中から挙げてください．
15歳女性に生じた発熱，全身関節痛，口腔アフタ，蛋白尿，鼻背部を含む頬部紅斑
（ ）
Ａ．慢性関節リウマチ Ｂ．全身性エリテマトーデス Ｃ．皮膚筋炎
Ｄ．全身性硬化症 Ｅ．混合性結合組織病 Ｆ．ウェゲナー肉芽腫症
Ｇ．Churg-Straus症候群 Ｈ．結節性動脈周囲炎 Ｉ．成人スティル病
Ｊ．痛風 Ｋ．強直性脊椎炎 Ｌ．乾癬性関節炎
Ｍ．Reiter症候群 Ｎ．シェーグレン症候群 Ｏ．ベーチェット病

10. 記述式問題（Short Answer Q）
 MCQは自動採点可能だが，記述式は教員の手
を必要とする
 SLEが正答のとき，Systemic Loops Erythematosis
という回答の点数は？
 cueing effectはなくなる
 言葉を知っているかどうかを問うことができる
 MCQ, EMIだけでは語学能力低下？
下記の事例に関し，最も近いと思われる診断を記入してください．
15歳女性に生じた発熱，全身関節痛，口腔アフタ，蛋白尿，鼻背部を
含む頬部紅斑 （ ）

11. Patient Management
Problem (PMP)
 症例シナリオの用紙に臨床情報が埋め込まれて
印刷されており，それを特殊なペンで浮かび上
がらせながら，収集すべき情報を網羅できる度
合いが点数につながるタイプのテスト
 表面妥当性が高いと言われていた
 1問の回答に15分→症例特異性の問題
 網羅的に情報収集する回答に高得点
 網羅的な情報収集は正しい臨床推論につながらない
ことが知られているため，妥当性が低くなる

12. Key Feature Problem (KFP)
 Bordageらがカナダの医師国家試験用に開発
36歳男性X氏はバスを待っている際に歩道で意識不明になって
救急搬送された．倒れる直前，見えない人に向かって口論し，
興奮・混迷しているようだった．倒れた後，手足をしばらく強直
させ，顔面蒼白となり，1分ほど全身をガクガクと震わせた．
しばらく意識は戻らなかった．搬送中の10分で意識は戻らず，
さらに2回ほど同様の発作があり，到着直後3回目の発作を
目にした．体温37.8度，意識反応なし．家人，知人は同行せず．
Q1. この時点での診断仮説を2つまで挙げよ
Q2. 初期マネジメントに必要な処置を列挙せよ（いくつでも）
Q3. 処置後10分経っても意識は戻らない．家人に電話する際
したい質問を6つまで選べ

13. Q3の選択肢
1. 腹痛
2. 飲酒
3. 背部痛
4. ベンゾジアゼピン服用
5. 悪性腫瘍
6. コカイン使用
7. 冠動脈バイパス術
8. 糖尿病既往
9. 下痢
10. ふらつき
11. 薬物アレルギー
12. 家族歴
…
27. 性行動
28. 喫煙
29. 社会的困難
30. 手術
31. 旅行歴
32. ウイルス感染
33. 視力異常
34. 嘔吐
35. この時点での
電話は不適切

14. 採点
Q1. 「てんかん重積」が含まれていればOK
Q2. まずは，いわゆるABC
そして生食＋Vit B＋ブドウ糖＋ジアゼパム等
Q3. 飲酒歴＋薬物使用歴（特にベンゾジアゼピン）
＋コカイン（ヘロイン）濫用＋糖尿病既往

15. KFPの観点，エビデンス
 KF：臨床判断にとって最も重要な知識
 てんかん重責状態であることを認識
 循環呼吸機能の維持と初期マネジメント
 痙攣の原因を同定するための病歴聴取
 診断やマネジメントをピンポイントで質問
 34問で3時間半（1問6.1分）
 Reliability: 0.77

16. Script Concordance test
(SCT)
 診断仮説を挙げておき，さらに患者データ，症状，所見といった新たな
情報が付け加わったときにその診断仮説の確からしさがどう変化する
かをみるテスト
 診断推論にはillness scriptという「診断仮説→新たな情報→その仮説
の可能性がどう変化するか」に関するscript＝手続き的知識が必要
以下の診断
仮説を考えたとき
この情報が加わると 診断仮説に以下の影響＊が生じる
（回答に○）
乳がん
線維腺腫
線維腺腫
嚢包
嚢包性病変
患者は50歳以上
患者は30歳未満
非常に可動性のある腫瘤
重大な炎症反応
両側性の腫瘤
Ａ Ｂ Ｃ Ｄ Ｅ Ｆ Ｇ
Ａ Ｂ Ｃ Ｄ Ｅ Ｆ Ｇ
Ａ Ｂ Ｃ Ｄ Ｅ Ｆ Ｇ
Ａ Ｂ Ｃ Ｄ Ｅ Ｆ Ｇ
Ａ Ｂ Ｃ Ｄ Ｅ Ｆ Ｇ
＊A=この診断仮説だけを考えるべき，D=診断仮説に影響しない，G=診断仮説は完全に否定される

17. Long case
 １症例に30-45分をかけて患者への面接，診察を
実施し，受験者が評価者に所見を述べ，評価者
が口頭試問を行う．英国系臨床教育で今でも根
強い支持を受けている
 OSLER（objective structured long exam. record）：
診察の観察評価を入れたもの
 信頼性が最大の課題
 DOCEE（direct observation clin. encounter exam.）：
４ｽﾃｰｼｮﾝに評価者各２名で標準化．G係数=0.84

18. Mini-CEX (Clinical Eval. Exercise)
 米国ABIM: 1972年に認定医試験の口頭試問を
廃止し，CEXを導入→1例のみ．信頼性低い
 Mini-CEX: 簡便化，標準化されたフォーマット．
12～14例で信頼性係数0.8

19. OSCE
 USMLE-CS（15分/ｽﾃｰｼｮﾝ）の評価要素
 Integrated Clinical Encounter (Information
Gathering/Documentation)
 Communication and Interpersonal Skills
 Spoken English Proficiency
 これらの統合的能力は測定可能
 臨床推論のみを抜き出す形での評価は
難しい

20. 症例プレゼンテーションによる
臨床推論能力の評価
第１段階
• 問題点：用語・情報の吟味，プレゼンの型の習得
第２段階
• 問題点：症例全体像の把握と包括的鑑別診断
第３段階
• 問題点：pertinentな陽性・陰性症状・所見の列挙
第４段階 これらが全てOK

21. 表．臨床推論能力に応じた症例プレゼン向上の段階モデル
（大西．日内会誌97(10)，2596‐2603, 2008より改編）
プレゼンの状況 プレゼンターの臨床レベル 指導者からのフィードバック
第
１
段
階
症例プレゼンに不可欠な
情報が網羅されていない，
情報や用語が不正確，
順序が不適切などの理
由で，聴衆に患者像が十
分に伝わらない．
患者像が把握できていない
か，上手く表現できていない．
プレゼンの構成・用語理解が
不十分．
プレゼンが長くなってもよい
ので，最低限必要な情報の
うち何が足りなかったかを
指摘．情報や用語が怪しい
場合は確認．プレゼン技法
の問題があれば練習させる．
第
２
段
階
症例プレゼンに不可欠な
情報は網羅され，患者像
は明確になっているが，
鑑別診断を自ら列挙でき
てはいない．
患者の情報の連絡役は果た
せているが，自ら問題点の全
体像を把握し，解釈すること
はできていない．
情報が揃っている点は褒め
る．徐々にプレゼンを短くす
るよう指示し，不足している
鑑別診断についてフィード
バックする
第
３
段
階
鑑別診断はある程度でき
ているが，その鑑別診断
に必要な陽性・陰性の症
状・所見が十分には盛り
込まれていない
症状や所見の情報を得る際
に，患者の全体像や鑑別診
断との十分な関連づけができ
ていない
鑑別診断は一定レベルと褒
める．必要な症状や所見に
ついて，具体的に何が不足
しているのかをフィードバッ
クする
第
４
段
階
鑑別診断と共に，必要な
陽性・陰性の症状・所見
が盛り込まれている
症状や所見の情報を得る際
に，患者の全体像や鑑別診
断との関連づけができている
できている点を具体的に
フィードバックする

22. 各種臨床推論評価の位置づけ
に関する私見
妥当性
信
頼
性
MCQ EMI
SAQ
PMP
KFPSCT
Long
case DOCEE
Mini-CEX，症例提示
筆記評価
パフォーマンス評価
OSCE
総括評価
の方向性

23. まとめ
 評価法の良し悪しは妥当性（信頼性含む）で判断
 総括的評価には中でも信頼性を重視
 cueing effect：客観テストには限界あり
 症例特異性：信頼性向上には課題を多くし１課題
あたりの時間を短くする必要あり
 key feature problemはこれらの性質を併せ持つ
 筆記とパフォーマンスの組合せが重要か