ae-5. 物体検出，セグメンテーション
•Télécharger en tant que PPTX, PDF•
0 j'aime•939 vues
ディープラーニング（スライドとプログラム例，Python を使用）（全１５回） トピックス：画像理解, 物体検出, セグメンテーション, セグメンテーションの仕組み, セグメンテーションの種類, ディープラーニング, 人工知能 https://www.kkaneko.jp/ai/ae/index.html 金子邦彦研究室ホームページ https://www.kkaneko.jp/index.html
Recommandé
Contenu connexe
Similaire à ae-5. 物体検出，セグメンテーション
Similaire à ae-5. 物体検出，セグメンテーション (20)
Plus de kunihikokaneko1
Plus de kunihikokaneko1 (20)
ae-5. 物体検出，セグメンテーション
- 4. コンピュータによる画像理解 • 一般的な画像（実験室で撮影などの制約が無い） • さまざまな応用：スマホ，デジカメ，自動車，ロ ボット • さまざまな種類：画像分類，物体検出，セグメン テーション，超解像，３次元化など 4
- 5. 画像理解の主な種類 ① 画像分類 「何があるか」を理解 ② 物体検出 場所と大きさも理解 ③ セグメンテーション 画素単位で領域を理解 5 person bicycle person bicycle
- 8. 畳み込みニューラルネットワーク（CNN） さまざまなバリエーション 8 畳み込みニューラルネットワークは，畳み込み 層と，プーリング層を交互に繰り返すディープ ニューラルネットワーク 畳 み 込 み 層 • 畳み込み層 ・・・ 畳み込みによるパターンの識別 • プーリング層 ・・・ 画像の小移動に対して，出力が不 変になる 畳 み 込 み 層 畳 み 込 み 層 畳 み 込 み 層 畳 み 込 み 層 プ ー リ ン グ 層 プ ー リ ン グ 層 プ ー リ ン グ 層 プ ー リ ン グ 層 プ ー リ ン グ 層
- 9. アウトライン 9 番号 項目 5-1 ディープラーニングによる物体検出の仕組み 5-2 ディープラーニングによるセグメンテーション の仕組み 5-3 物体検出の演習 5-4 セグメンテーションの演習 各自、資料を読み返したり、課題に取り組んだりも行う
- 17. R-CNN の Selective Search（2014年発表の物体検出 手法） 17 Ross Girshick, Jeff Donahue, Trevor Darrell, Jitendra Malik, Rich feature hierarchies for accurate object detection and semantic segmentation, arXiv:1311.2524, 2014. 1. 入力画像 2. 領域の候補 単純に画像を区切る ⇒ 課題：あらゆる可能性を試すので，区切りの数が多すぎる ⇒ 解決策：領域の候補（さまざまな場所，大きさ）を 自動で得る．領域の候補の数は，数千以下に絞る． 3. 畳み込みニューラル ネットワークでの処理 4. 領域について，画像 分類の結果を得る
- 20. FCN （2015年発表） • 画素ごとに分類結果の正解を与えての学習を可能にする技術 • 最終層を畳み込み層にする ＝ FCN と呼ぶ 20 Jonathan Long, Evan Shelhamer, Trevor Darrell, Fully Convolutional Networks for Semantic Segmentation, arXiv:1411.4038, 2015. 畳み込みニューラルネット ワークによる画像分類 元画像 結果 元画像 結果 最終層は 全結合層 最終層は FCN 畳み込みニューラルネットワー クと FCN によるセマンティッ ク・セグメンテーション
- 21. FCN （2015年発表）まとめ • 画像分類を行う畳み込みニューラルワーク（出力は分類結 果）で，最終層を FCN に置き換え • セマンティック・セグメンテーションに応用 21 Jonathan Long, Evan Shelhamer, Trevor Darrell, Fully Convolutional Networks for Semantic Segmentation, arXiv:1411.4038, 2015.
- 23. U-Net (2015年発表) の仕組み 23 元画像 特 徴 マ ッ プ 特 徴 マ ッ プ セマンティック・セグメンテーションの結果を鮮明にするための Skip connection の導入．画像縮小の際に輪郭情報が失われるという問題を解決． マルチスケール の特徴マップ サイズを拡大しながら 結果を得る サ イ ズ 縮 小 サ イ ズ 縮 小 特 徴 マ ッ プ サ イ ズ 拡 大 途 中 結 果 サ イ ズ 拡 大 途 中 結 果 途 中 結 果 最 終 結 果 全体で多層のニューラルネットワーク Skip connection Skip connection 両方を入力と して使用 両方を入力と して使用 Olaf Ronneberger, Philipp Fischer, Thomas Brox, U-Net: Convolutional Networks for Biomedical Image Segmentation, arXiv:1505.04597, 2015.
- 24. U-Net (2015年発表) の仕組み 24 Olaf Ronneberger, Philipp Fischer, Thomas Brox, U-Net: Convolutional Networks for Biomedical Image Segmentation, arXiv:1505.04597, 2015. 元論文では次のように図解． 畳み込みニューラルネットワークであることが確認できる．
- 25. まとめ • ニューラルネットワークの層の種類 • 畳み込み層 • プーリング層 • 全結合層 • 物体検出、セグメンテーションを可能にする追加 の技術 • マルチスケール • 特徴マップ、特徴マップを用いた画像の区切り • FCN （最終層を畳み込み層にする） • Skip connection 25
- 26. セグメンテーションの種類 26 • OneFormer のデモサイトを使用 • URL: https://huggingface.co/spaces/shi-labs/OneFormer • 訓練データは COCO • バックボーンは DiNAT-L を使用 元画像 パノプティック・セグメンテーション インスタンス・セグメンテーション セマンティック・セグメンテーション
- 28. 5-3. 物体検出の演習 28
- 29. ① 物体検出を動かしてみる 1. 使用するページ: https://colab.research.google.com/github/tensorflow/ hub/blob/master/examples/colab/object_detection.ip ynb 2. 必要な事前知識 • 物体検出が行うこと：物体のバウンディングボッ クス、ラベル、確率を得る • 事前学習済みのモデルを使用 3. 各自で実行すること 実際に実行し、物体検出を試す． スピード、精度も確認 29
- 30. ① 物体検出を動かしてみる 30
- 32. Google Colaboratory の使い方概要 ① 32 Google Colaboratory ノートブック コードセルの再実行や変更には， Google アカウントでのログインが必要 実行 コードセル
- 33. テキストセル コードセル コードセル • WEBブラウザでアクセス • コードセルは Python プログラム． 各自の Google アカウント でログインすれば， 変更，再実行可能 Google Colaboratory の使い方概要 ② 33 実行 一番上のコードセルから順々に実行 実行
- 34. ② セマンティック・セグメンテーション 1. 使用するページ: https://colab.research.google.com/drive/1NKmQfbD G0XCR0bO6vcFP304gy4iqeD7L?usp=sharing 2. 必要な事前知識 • セマンティック・セグメンテーション用のモデル がさまざまあること • 事前学習済みのモデルを使用 3. 各自で実行すること ページを読み、確認する （実行したい人は実行できるようにしている） 34
- 35. 35
- 36. ③ パノプティック・セグメンテーション 1. 使用するページ: https://colab.research.google.com/drive/1xWaQuJt50Lq Ywyw9ohsYERZ_Ix1gy1rN?usp=sharing#scrollTo=az0N ragleQUI 2. 必要な事前知識 • パノプティック・セグメンテーションは，セマン ティック・セグメンテーションとインスタンス・セグ メンテーションをあわせもつ • 事前学習済みのモデルを使用 3. 各自で実行すること ページを読み、確認する （実行したい人は実行できるようにしている） 36
Notes de l'éditeur
- 画像分類の例 画像に対して，いくつかのラベル， それぞれのラベルに対しての確率が得られています． 例えば，この結果を見ると，この画像，ラベルが lab_coat である確率が，約 0.98 のように結果が得られています． このように，１枚の画像に対して，複数のラベルとそれぞれの確率を得ること． それが画像分類です． 画像分類は，画像を扱う他の人工知能，例えば，物体検出などの基礎になっています． 画像分類の説明は以上です． 視聴ありがとうございました．
- 画像分類の例 画像に対して，いくつかのラベル， それぞれのラベルに対しての確率が得られています． 例えば，この結果を見ると，この画像，ラベルが lab_coat である確率が，約 0.98 のように結果が得られています． このように，１枚の画像に対して，複数のラベルとそれぞれの確率を得ること． それが画像分類です． 画像分類は，画像を扱う他の人工知能，例えば，物体検出などの基礎になっています． 画像分類の説明は以上です． 視聴ありがとうございました．