発表者: 株式会社アイヴィス 応用技術開発部/人工知能開発チーム メテオサーチチャレンジ: https://stair.center/archives/events/awards-ceremony-for-meteor-search-challenge

1. 株式会社アイヴィス
応用技術開発部
人工知能開発チーム
メテオサーチチャレンジ 報告
(C) 2018 株式会社アイヴィス

2. (株)アイヴィス 応用技術開発部について 2
■顧客業種・適用分野
- 自動車メーカー（設計・製造工程）
- 官公庁・公的研究機関（防衛省、JAXA）
Copyright ©2017 IVIS,INC.All Rights Reserved. 株式会社アイヴィス
http://www.ivis.co.jp/rd.html
社名 株式会社アイヴィス
事業内容 ソフトウェアの受託開発
・研究サービス
所在地 [本社] 東京都文京区本郷
従業員数 480名
■ミッション
- 先端IT技術を積極的に導入
- 即効性のある応用技術開発に特化
- 社内外と連携して付加価値の高い
サービス･製品を提供
■主要開発分野
①画像処理 (機械学習、AI導入済み)
②3D画像計測及びモデリング
③信号解析、データ分析 (機械学習、AI導入済み)
④IoT、ロボット

3. アプローチ
3D-CNNとResNetを組み合わせた構成を採用
 3D-CNN
時間方向にも畳み込うネットワーク
動作認識やボリュームデータ(立体等)の認識で利用されている
 ResNet
ショートカット接続を導入し，深い構成でも学習可能なネットワーク
様々なタスクで高精度を出している
(C) 2018 株式会社アイヴィス
3
中間層に3D-Convを採用したResNetベースの構成を採用
ResBlock1-1
ResBlock1-2
ResBlock2-1
ResBlock2-2
ResBlock3-1
ResBlock3-2
Linear
クラス
尤度
3DConv
AvgPooling
MaxPooling
入力
データ
3DConv
3DConv
中間
データ
次の層へ
ResBlock
ショートカット接続
ネットワーク構成

4. 学習の流れ
学習の処理フローは下図の通り
4
データ読み込み
前処理
データ増強
forward
backward
終了
検定データ評価
学習データ全体に共通の前処理
バッチ毎にランダムなデータ増強を実施
学習データを パラメタ更新用:検定用 = 9:1
に分割し学習状況を監視

5. 前処理
マシンリソースの制約のため，データを減らす前処理を実施
① ダウンサンプリング
動画の縦/横/frame を1/2に縮小
⇒ 縮小後に流星の状態は目視で確認．判定可能と判断
② グレースケール化
RGB→Grayに色変換
⇒ 黒い背景に高輝度(白色)の星が映る．
カラー情報は不要と判断
(C) 2018 株式会社アイヴィス
5
ダウンサン
プリング グレースケール化
前処理

6. データ増強
動画全体に共通の2D回転/平行移動を実施
① 上下/左右 反転
② 90度単位の回転
③ X-Y平行移動
畳み込みしているため効果は薄いが，
動画端の流星を誤分類したため実施
(C) 2018 株式会社アイヴィス
6
元データ
加工後データ
加工後データ
元データ
加工後データ
元データ

7. コンペトライ状況 (1/5) - 初回トライ
6層の3D-CNNを適用したが，未知データすべて流星なしと識別
(C) 2018 株式会社アイヴィス
7
3DConv1
3DConv2
3DConv3
3DConv4
Linear1
Linear2
MaxPooling
クラス
尤度
入力
データ
 ネットワーク構成
 前処理 : リサイズのみ
 データ増強 : なし
 結果
学習データは正しく識別できるが，未知データをすべて流星なしと判定
検定データ
流星なし精度
検定データ
流星あり精度
暫定スコア
1.00000 0.00000 0.50000
考察
① CNNのstrideによって流星の情報がなくなっている?
⇒ Strideをpoolingに変更
② 流星外の情報で識別している
⇒ DropOut導入

8. コンペトライ状況 (2/5) - StrideをPoolingに変更
StrideをPoolingに変更し，未知の流星ありデータを一部識別可能になった
(C) 2018 株式会社アイヴィス
8
3DConv1
MaxPooling
3DConv2
MaxPooling
3DConv3
MaxPooling
3DConv4
Linear1
Linear2
MaxPooling
クラス
尤度
入力
データ
 ネットワーク構成
 前処理 : リサイズのみ
 データ増強 : なし
 結果
検定データ-流星ありの精度が0.00→0.25に改善
検定データ
流星なし精度
検定データ
流星あり精度
暫定スコア
0.98877 0.25000 0.66458
考察
学習データは識別できるが，
未知の流星データ精度が悪い問題は解消していない
⇒ DropOut導入を実施

9. コンペトライ状況 (3/5) -DropOutを導入
DropOut導入により，未知の流星データ精度が学習データと同等に改善
(C) 2018 株式会社アイヴィス
9
3DConv1
MaxPooling
3DConv2
MaxPooling
3DConv3
MaxPooling
3DConv4
Linear1
Linear2
MaxPooling
クラス
尤度
入力
データ
 ネットワーク構成
 前処理 : リサイズのみ
 データ増強 : なし
 結果
学習データの流星あり精度が低下 (1.0→0.7)
検定データの流星あり精度が大幅に改善 (0.25→0.7)
検定データ
流星なし精度
検定データ
流星あり精度
暫定スコア
0.95306 0.70000 0.90143
考察
6層構成では性能が頭打ち
→ ResNetベースの構成に変更し層を増やす
※全中間層にDropOutを導入

10. コンペトライ状況 (4/5) - ResNet構成に変更
ResNet構成に変更し，検定データの流星あり精度が9割に改善
(C) 2018 株式会社アイヴィス
10
 ネットワーク構成
 前処理 : リサイズ+グレースケール化
 データ増強 : なし
 結果
検定データの流星あり精度が大幅に改善 (0.7→0.9)
検定データ
流星なし精度
検定データ
流星あり精度
暫定スコア
0.96122 0.90000 0.95740
考察
コンペ終了が近いため，簡単なデータ増強とパラメタ調整で追い込み
※全中間層でDropOut

11. コンペトライ状況 (5/5) - データ増強導入
データ増強導入により，検定データの流星あり精度が改善
(C) 2018 株式会社アイヴィス
11
 ネットワーク構成
 前処理 : リサイズ+グレースケール化
 データ増強 : あり
 結果
検定データの流星あり精度が改善 (0.90→0.95)
検定データ
流星なし精度
検定データ
流星あり精度
暫定スコア
0.96122 0.95000 0.97515
※全中間層でDropOut

12. 0.5
0.68458
0.9
0.957
0.975
0
0.2
0.4
0.6
0.8
1
初回トライ
(3DCNN)
Stride →
Poolingに変更
DropOut
導入
ResNet化 データ拡張
+パラメタ調整
1 2 3 4 5
流星なしAcc(検定用)
流星ありAcc(検定用)
暫定評価
スコア推移
(C) 2018 株式会社アイヴィス
12
最終評価:0.99469

13. 難しいデータ
「流星なし」の識別精度は高い．
「流星あり」を「流星なし」に誤識別するケースはどんなものか？
① 高輝度の背景が流れているケース
流星でも星でもない明るいものが移動している中に流星がある
② 流星の軌跡が極端に短いケース
手前から奥に流れている(?)ため，線状の軌跡にならず点滅して見える
(C) 2018 株式会社アイヴィス
13
T=32 T=180T=100
T=78 T=79 T=81T=80 T=82 T=83
上記ケースを重点的にデータ拡張する必要がある (未実施)

14. まとめ
 株式会社アイヴィス 応用技術開発部よりチーム参加
 3DCNNとResNetを組み合わせて適用
 前処理は1/2リサンプリング+グレースケール化のみ
 平行移動/回転の単純なデータ拡張を実施
 識別の難しいデータのさらなる分析が必要
 高輝度の背景
 軌跡の短い流星
(C) 2018 株式会社アイヴィス
14