Recommandé
Recommandé
Contenu connexe
Similaire à Paper: clinically accuratechestx-rayreport generation_noself
Similaire à Paper: clinically accuratechestx-rayreport generation_noself (20)
Plus de Yusuke Fujimoto
Paper: clinically accuratechestx-rayreport generation_noself
- 2. Agenda 1. 概要 2. 提案手法 3. データセット 4. 評価指標 5. 結果 1
- 3. 1. 概要 胸部X線画像からレポート(複数の文章)を生成する研究 既存のレポート生成モデルでは、文章としての自然さ(読みやすさ)が 優先され、臨床的正確さがないケースがあった この論文では以下のアプローチで対処 アプローチ1 階層的な生成モデルを使用(CNN-RNN-RNN model) 画像からトピック特徴量(≒文ベクトル?)を生成して、 それと画像特徴量を使って1文内の各単語を生成する 既存研究[1] アプローチ2 強化学習を使って上記モデルを fine-tuning する Clinically Coherent Reward を使って学習する 「文章としての読みやすさ」と「臨床的正確さ」の両方を考慮した報酬 本研究の提案手法 2 この論文では Findings を生成する
- 4. 1. 概要 データセットは以下2つ Open-I MIMIC-CXR 以下の評価指標 言語生成用の評価指標(他の分野でも使われているもの) CheXpert 用評価指標(胸部X線レポート用の評価指標) 関連研究よりも指標が高かった 既存報酬関数と組み合わせた場合 一部超えてないような… 3
- 5. 2. 提案手法(モデル) 4 データ生成手順 Image encoder(CNN) で画像から Image Embedding を生成 Sentence decoder(RNN) で Image Embedding から Topic Vectors を生成 Word Decoder(RNN) で Topic Vector と Image Embedding を使って文内の各単語を生成する (Topic → Word の順に生成するのは LDA と似ている)
- 6. 2. 提案手法 5 補足: 系列生成 + 強化学習 2017 年頃から盛んになっている？ Self-Critical Sequence Training for Image Captioning[2] CIDEr という文生成に関する報酬関数を設定している
- 7. 2. 提案手法(報酬関数) 6 ただし CIDEr では臨床的正確さが十分でない 偽陰性はインパクトが大きい(無いと判断したけど実はあった) 単純な指標を最適化してしまうと、病状よりも病名の有無のみ判別するモデ ルが作られてしまう可能性がある 間違ったモデルの出力例(1単語しか違わないが意味が真逆) ground truth : no pleural effusion (胸水なし) model predict : mild pleural effusion (軽度の胸水) そこで著者達は Clinically Coherent Reward (CCR) を提案 CheXpert (Irvin et al., 2019) を使って clinical efficacy を直接最適化 Rule-based disease mention annotator 12種類の胸部疾患またはX線関連の診断の分類を行う サポート機器への言及もラベル付けされている
- 8. 2. 提案手法(報酬関数) 7 Clinically Coherent Reward (CCR) Z: 予測で出力した文 Z*: Ground Truth : CheXpert annotator が出力するラベル positive(正), negative(負), uncertain(不明), absent mention(言及なし) 真の s は分からないことに注意
- 9. 2. 提案手法(報酬関数) 8 Clinically Coherent Reward (CCR) 全体報酬に対して exponential moving average (EMA) を適用する代わりに各単語について EMA を定義した また既存研究(自然言語処理用の報酬関数)と組み合わせることもできる
- 10. 3. データセット データセットは以下2つを使用 Open-I MIMIC-CXR 9
- 11. 3. データセット データセットは以下2つを使用 Open-I “findings” を含まないデータを削除 6,471 images and 3,336 reports Tokenization → 低頻度語彙の削除(3回未満) → 残った語彙数 948 コーパスのサイズが小さいため 3回 MIMIC-CXR 重複画像(明るさや輝度を調整したもの)を削除 327,281 images and 141,783 reports レポートから “findings” のみ抽出 Tokenization → 低頻度語彙の削除(5回未満) → 残った語彙数 5,571 その他情報 Train: Valid: Test = 7:1:2, no patient overlap between sets Words that are excluded were replaced by an “unknown” token Word embeddings are pretrained separately for each dataset 10
- 12. 4. 評価指標 Natural Language(文章としての自然さ) 2つの文章間(正解と予測)での統計的関係を測るための指標 具体的な評価指標 CIDEr-D (Vedantam et al., 2015) ROUGE-L (Lin, 2004) BLEU (Papineni et al., 2002) clinical accuracy ??? → 要調査(高い方が良いことだけ確認済) Clinical(臨床的正確さ) CheXpert (Irvin et al., 2019) CheXpert データセットに付随しているレポートの精度評価指標 ルールーベースによってレポートの臨床的正確さを測る 胸部疾患および補助装置に関する 14項目の評価指標がある いずれも高い方が良い 11
- 14. 5. 結果(Clinical Finding Scores) 13
- 15. References [1] Jonathan Krause, Justin Johnson, Ranjay Krishna, and Li Fei-Fei. “A hierarchical approach for generating descriptive image paragraphs”, In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 317–325, 2017. [2] Steven J Rennie, Etienne Marcheret, Youssef Mroueh, Jerret Ross, and Vaibhava Goel. “Selfcritical sequence training for image captioning”, In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 7008–7024, 2017. 14