Contenu connexe
Similaire à Superpixel Sampling Networks (20)
Plus de yukihiro domae (9)
Superpixel Sampling Networks
- 2. Learning Superpixels with Segmentation Aware Affinity Loss
• Superpixelを使用してSegmentationを行うために作られた手法
• （SEALと呼ばれている）
• おもな特徴
• 親和性学習のためのSegmentationのエラーを考慮したLoss関数（提案）
• アフィニティ予測用のPixel Affinity Net（提案）
• SEALはEnd to Endで学習できない
• CVPR2018
• NVIDIA
• UC Merced
2
- 3. Superpixel Sampling Networks
• Superpixel Sampling Network (SSN)を提案
• SSNの主な特徴
• End to Endでトレーニング可能（他のモデルと統合可能）
• 柔軟な損失関数を使用してタスク固有のスーパーピクセルを学習
• 実行時間が高速
• SEALと同じ著者
• ECCV2018
• NVIDIA
• UC Merced
3
- 7. SLICアルゴリズム概要
① 初期化→それぞれのSuperpixelの特徴と平均位置を決める
𝐼 ： 入力、5次元( 𝑥, 𝑦, 𝐿, 𝑎, 𝑏)
② 各PixelがどのSuperpixelに特徴が似ているのかを探す
➡ Pixelとsuperpixelの特徴の距離が最小のsuperpixelにPixelを関連付け
（SSNではここを微分可能にした（Differentiable SLIC））
③ それぞれの関連付けされたPixelの特徴の平均をsuperpixelの特徴にする
（Superpixelの更新）
7
- 8. SLICの具体的なアルゴリズム
• 𝐼 ： 入力、5次元(𝑥, 𝑦, 𝐿, 𝑎, 𝑏)
①初期クラスタ𝑆0 ∈ ℝ 𝑚×5をサンプリング
• 画像の勾配に基づく局所的な摂動を用いてピクセル全体にわたり一様に実行
②各ピクセル𝑝をSuperpixelに割り当てる
• 各ピクセルを5次元空間内で最も近いSuperpixelに関連付ける
• 𝐻 𝑝
𝑡 = argmin
𝑖∈{0,…,𝑚−1}
𝐷(𝐼 𝑝, 𝑆𝑖
𝑡−1
)
• 𝐷 ： ユークリッド距離
③新しいSuperpixelの要素を得るためにクラスタ内のそれぞれの特徴を平均
• 𝑆𝑖
𝑡
=
1
𝑍𝑖
𝑡 𝑝|𝐻 𝑝
𝑡=𝑖 𝐼 𝑝
(特徴: 𝑥, 𝑦, 𝐿, 𝑎, 𝑏)
④②～③を収束するまで複数回繰り返す
𝑝 ： Pixelのインデックス, 𝑖 ： Superpixelのインデックス 8
- 10. Differentiable SLICアルゴリズム
• 入力 𝐼 （n×5, １pixel5次元(𝑥, 𝑦, 𝐿, 𝑎, 𝑏)）
① 𝐼 をCNNに入力 ➡ 出力 𝐹 𝑛 × 𝑘
(𝑛 : ピクセル数, 𝑘 : チャネル数）
② 初期Superpixel 𝑆0 = 𝐽(𝐹) (規則的なグリッド)
③ t 回繰り返しSuperpixelを更新
1. すべてのPixelとSuperpixelの関係を算出
𝑄 𝑝𝑖
𝑡
= 𝑒
− 𝐼 𝑝−𝑆𝑖
𝑡−1
2
2. Superpixelの情報を更新（Pixel特徴の加重和）
𝑆𝑖
𝑡
=
1
𝑝 𝑄 𝑝𝑖
𝑡
𝑝=1
𝑛
𝑄 𝑝𝑖
𝑡
𝐼 𝑝
➡ ③が 行列積で計算可能 → 微分可能 10
𝐼 𝑝 ： Pixel p の特徴
𝑆𝑖
𝑡−1
： Superpixel i の特徴
𝐼 𝑝 の周囲 9 個のSuperpixelを計算
➡ 計算量削減
- 11. SSN(CNN)
• 最後の層以外
• フィルタサイズ ： 3 × 3
出力チャネル ： 64
• 最後の層
• フィルタサイズ ： 3 × 3
• 出力サイズ ： 𝑘 − 5 (𝑘 = 20)
• 2,4,6層目の特徴マップをConcat
• ↑ ： Bilinear Upsampling (original sizeにUpsampling)
• Concat-Conv-ReLUの後に入力 𝐼 (𝑥, 𝑦, 𝐿, 𝑎, 𝑏) を Concat
11
Concat-Conv-ReLU
- 14. Compactness Loss
𝐿 𝑐𝑜𝑚𝑝𝑎𝑐𝑡 = 𝐼 𝑥𝑦 − 𝐼 𝑥𝑦
2
• 各Superpixelクラスタ内が低い分散を持つようにするため
• スーパーピクセルの画素と入力画像の画素値で誤差が小さくなるように学習
• 𝐼 𝑥𝑦 ： 入力画像の
• 𝐼 𝑥𝑦
： 𝐼 𝑥𝑦
と対応するSuperpixel後のpixel値
14
- 15. Lossまとめ
𝐿 = 𝐿 𝑟𝑒𝑐𝑜𝑟𝑛 + 𝜆𝐿 𝑐𝑜𝑚𝑝𝑎𝑐𝑡
(𝜆 = 10−5)
• 各Superpixelクラスタ内が低い分散になり、
Segmentation結果がよくなるようなSuperpixelを学習する
15
Cross
Entropy
Compactness
Loss
- 18. 結果の示し方
• SSN 𝑝𝑖𝑥 ： SLICアルゴリズム
• SSN 𝑑𝑒𝑒𝑝 ： SSN
• SSN𝑙𝑖𝑛𝑒𝑎𝑟 ： SSNのCNNを単一の畳み込みレイヤに置き換えた（線形変換）
（ベースライン）
18
- 19. ASAとBRスコア（BSD Dataset）
• 指標
• ASA ： 生成されたSuperpixelを使用して達成可能な精度の上限
• BR ： Superpixelの境界がGTの境界とどの程度一致しているか（境界リコール）
• モデル
• SSN 𝑝𝑖𝑥 ： SLICアルゴリズム
• SSN 𝑑𝑒𝑒𝑝 ： SSN
• SSN𝑙𝑖𝑛𝑒𝑎𝑟 ： SSNのCNNを単一の畳み込みレイヤに置き換えた（ベースライン）
19
Notes de l'éditeur
- V:反復回数
K：スーパーピクセル作成の特徴次元
