2018年12月1日 Kaggle Tokyo Meetup #5 LT 講演資料 平野湧一郎「RSNA Pneumonia Detection Challenge 6th Place Solution」 ソースコード：https://github.com/pfnet-research/pfneumonia

1. RSNA 肺炎コンペ
6th Place Solution
チーム PFNeumonia
Preferred Networks, Inc.
Kaggle Tokyo Meetup #5 on Dec 1st.

2. 参加までの経緯
 PFDetの活躍をすごいな〜と思って見ていた
 新しく肺炎のコンペが開催されると聞く
 しかも同じObject detection!!
 ちょうど他のプロジェクトが一段落したところ

3. チームメンバー
Motoki ABE
Yuichiro HIRANO
Keita ODA
Yohei SUGAWARA
Shuji SUZUKI
Masashi YOSHIKAWA

4.  期間：8月末〜10月末
 Stage 1: 7th
 Stage 2: 7th 6th

5. 問題設定

6.  X線画像 (1x1024x1024) から
肺炎の位置を矩形で予測
 Bounding-boxのラベルは
「肺炎」一種類のみ
 画像全体のラベルは3種類
 正常
 正常でも肺炎でもない
 肺炎
Ground-truthの一例

7. 8525
11500
5659
0
2000
4000
6000
8000
10000
12000
14000
正常 正常でも肺炎でもない 肺炎

8.  t = 0.4, 0.45, 0.5, ..., 0.75 それぞれに対し，
IoU ≥ t なら TP (true positive)
 各画像について以下の値を計算
 ↑の平均がスコア

9. 我々の解法
 基本はU-net風のsemantic segmentation
 各ピクセルが
 Bounding-box内かどうか (‘seg’)
 肺炎/非肺炎の境界にあるかどうか (‘edge’)
をそれぞれ予測する

10. What is ‘seg’ and ‘edge’ layer?
Ground-truth Ideal ‘seg’ layer Ideal ‘edge’ layer

11. Input Image
3x512x512
64x256x256
256x128x128
512x64x64
1024x32x32
2048x16x16 1024
ResNet
152
⊕ 512
⊕ 256
⊕ 128
⊕
64x256x256
Output vector
⊕
3x3 conv, ReLU
2x Unpooling
Concatenation
U-net-like Backbone

12. 64x256x256
Output vector
1x256x256
‘seg’ layer
⊕
4x256x256
‘edge’ layer
1x1 conv
sigmoid
1x1 conv
sigmoid
3x3 conv
ReLU
3x3 conv
ReLU
Network Head
Copy

13. Inference
縦に2分割
長方形を全通り試す
‘edge’ layerの
相乗平均の積が
最大のものを見つける
p = ptop * pbottom * pleft * pright

14. Loss
 Ledge : ‘edge’ layer の cross entropy loss
 Lseg : ‘seg’ layer の F1値をf1としたとき，1 – f1
 L = Lseg + α2 Ledge
 α: ‘seg’ layer の pixel-wise accuracy

15. 解法に至った経緯
 問題設定としてはobject detection
 下記のような理由で，semantic segmentation
ベースの解法を考え始めた
 Bounding-boxのラベルが一種類
 Bounding-boxどうしのoverlapがない
 肺炎は一部を切り取っても肺炎 ←？

16. Not a 猫 肺炎

17. Semantic segmentation
 出力サイズは最初16x16
 Score 0.14〜0.16程度
 他の方のアドバイスにより，
 Unpoolingで解像度を復元
 肺炎と非肺炎の境界を予測
したところ，LB 0.2まで上昇

18. 問題点① 計算量
 長方形を全通り試す→愚直にやるとO(N4)
アルゴリズム的に改良できないか？
 →頑張って考えたが思いつかなかった
しょうがないので愚直に4重ループ＋枝刈り

19.  辺の候補をスコアの良い順に試す
 それより先が最高でも最高記録に届かなければbreak

20. 問題点② ‘edge’のインバランス
 ‘edge’ layerは，たとえ肺炎の画像でも
ほとんどのpixelがnegative
 → negative pixel の約99.8%を
学習時に無視

21. アンサンブル
 Test time augmentation (x-flip) + 10-fold CV
 LB 0.211 → 0.231

22. アンサンブル
 testデータは，bounding-boxが被っていた場合
3人の医師のintersectionを取ったとのこと
 これを真似して，10モデルを5+5にわけて，
それぞれで予測してintersectionを最終予測にした
 LB 0.236

23. 最終提出
 90-degree rotation, zoom-in/outを追加
 ResNet101 → ResNet152
 10 epoch → 30 epoch
 LB 0.236 → 0.241 (Stage1 7th)

24. 他の上位陣の解法

25. 1st Place
 Classification + Detection
 膨大なアンサンブル
 全てのbboxを87.5%に縮小
 LB 0.222 → 0.260!

26. アンサンブル
 Classification: InceptionResNetV2, Xception,
DenseNet169
 Detection: RetinaNet, Deformable R-FCN,
Deformable Relation Networks
 TTAも膨大

27. 2nd Place
 SE-ResNeXt101-RetinaNet
 4-fold CV
 Box sizeのアンサンブル時に，
小さめ（20パーセンタイル値）の値を採用

28. 3rd Place
 RetinaNet
 全てのbboxを83%に縮小
→ 全員bboxを縮小している……

29. 重要な気付き
 Bboxを縮小すると，スコアが増える
 我々の解法でも，アンサンブル時にintersectionを
取ることでimplicitに小さくしていたが，
固定倍率で縮小するのは試していなかった
 （まさかそんなに変わるとは思っていなかった）

30.  5+5でアンサンブルしてスコアが伸びたのも，
おそらく単にbboxが小さくなったため
 試しに10-CVで予測 → 90%に縮小したところ，
0.23478 → 0.24877 (2位！)

31. 反省点・感想
 Discussionをあまり読んでいなかった
 trainとtestの違い等に気付くのが遅れた
 Bboxを縮小することを試さなかった
 PFNの計算環境は神
（Tesla P100を常時8〜16台使っていた）

32. 閾値 t によるスコアの変化（Stage 1）
• Adopted t = 0.3
(mAP = 0.24128)
• Best t = 0.29794
(mAP = 0.24388)

33. 実装の詳細
 Data augmentation: x-flip, 90-degree rotation,
zoom-in/out, random contrast changes
 3x oversampling of positive samples
 Optimizer: Adam w/ weight decay 1e-4, 30 epochs
 divide alpha by 10 after 20 & 27 epochs finish
 Batch size: 10
 Code: https://github.com/pfnet-research/pfneumonia