SlideShare une entreprise Scribd logo
1  sur  26
Télécharger pour lire hors ligne
CTO室 芳賀
論文紹介
エッジ保存系の画像フィルタ
目次
• Side Window Filter
• Curvature Filter
2
Side Window Filter[1-1]
https://arxiv.org/abs/1905.07177
Yin, Hui & Gong, Yuanhao & Qiu, Guoping. (2019). Side Window Filtering.
8750-8758. 10.1109/CVPR.2019.00896.
概要
• CVPR2019 oral
• 既存のフィルタ処理( Box Filter, Gaussian Filter, Guided
Filter etc…)をエッジが保存するように適用できるフレームワーク
• 様々なタスクに応用でき高品質な結果
– アーティファクト等も抑制
• 非常にシンプルなアルゴリズム
• 計算量も既存の定数倍(3~10)程度
4
[1-2] より引用
BoxフィルタのSide Window
Filterバージョンを適用※
エッジやコーナーなど細かい構
造が保たれる
通常のBoxフィルタを適用※
エッジはぼやける
※10回繰り返し
元画像
導入
• エッジ保存アルゴリズム
– 大域的最適化:高品質 低速
• TV algorithm
– 局所的最適化:高速 低品質
• 線形:Box Filter, Gaussian Filter
• 非線形:Median Filter, Bilateral Filter, Guided Filter
• なるべく元画像に近い出力になるよう処理したい
– 注目画素 𝑖 における処理
5
𝐼𝑖 :位置 𝑖 の処理前の画素値
𝐼𝑖
′
:位置 𝑖 の処理後の画素値
𝑤𝑖𝑗 :フィルタの重み (𝑖, 𝑗 の位置関係等に依存)
Ω𝑖 :位置 𝑖 の近傍
𝐸𝑖:エネルギー
𝐸𝑖 が小さい ⇔ 元画像に近い
𝐼𝑖
′
= ෍
𝑗∈Ω 𝑖
𝑤𝑖𝑗 𝐼𝑗
𝐸𝑖 = 𝐼𝑖 − 𝐼𝑖
′ 2
= 𝐼𝑖 − ෍
𝑗∈Ω 𝑖
𝑤𝑖𝑗 𝐼𝑗
2
エッジに対する方針
• エッジの向きや種類等を統一的に扱うことは線形な処理では不可能
• SWFでは画像において考えられる以下の3つのエッジに注目する
6
画
素
値
step edge ramp edge roof edge
Side Window Filter (SWF)[1-1]
• 通常のフィルタ:注目画素を中心とした近傍で計算
• side window:注目画素を端においた近傍で計算
– 斜め等様々なパターン(下例)が考えられるが、計算効率上8つに絞っている
7
注目画素
L R U D NW NE SW SE
…
7x7のGaussian Filterを例に
アルゴリズム
• 画素ごとに以下ループ
– Side Windowの集合 𝑆 ={L, R, U, D, NW, NE, SW, SE} ごとに以下
を計算
– 以下の 𝐼 𝑚 で注目画素値を更新
• フィルタをかけたうえで元の画素値に近いものを選んできて特徴を損ない
にくくしている
8
𝐼 𝑛
′ =
1
𝑁 𝑛
෍
𝑗∈Ω 𝑖
𝑛
𝑤𝑖𝑗 𝐼𝑗 , 𝑁 𝑛 = ෍
𝑗∈Ω 𝑖
𝑛
𝑤𝑖𝑗 , 𝑛 ∈ 𝑆
𝐼 𝑚 = argmin
𝑛∈𝑆
|| 𝐼𝑖 − 𝐼𝑖
′
||2
2
各SWFで定義された近傍
𝑤:フィルタ係数
𝐼:フィルタ係数
元の画素値との二乗誤差
具体例
• 7x7のBoxフィルタに対し各SWFを適用した場合
• 他のエッジパターンについても通常のBoxフィルタより元画素値に近い値
になることが示される [1-1]
9
注目画素の7x7近傍
通常のBoxフィルタ
𝐼′
=
0 × 4 × 7 + 255 × 3 × 7
7 × 7
≅ 109 , |𝐼 − 𝐼′
| = 109
𝐼𝐿
′
= 0 , |𝐼 − 𝐼𝐿
′
| = 0
𝐼𝑆𝑊
′
= 0 , |𝐼 − 𝐼𝑆𝑊
′
| = 0
𝐼 𝑁𝑊
′
= 0 , |𝐼 − 𝐼 𝑁𝑊
′
| = 0
𝐼 𝑅
′
= 191 , |𝐼 − 𝐼 𝑅
′
| = 191
𝐼𝑆𝐸
′
= 191 , |𝐼 − 𝐼𝑆𝐸
′
| = 191
𝐼 𝑁𝐸
′
= 191 , |𝐼 − 𝐼 𝑁𝐸
′
| = 191
𝐼 𝑈
′
= 109 , |𝐼 − 𝐼 𝑈
′
| = 109
𝐼 𝐷
′
= 109 , |𝐼 − 𝐼 𝐷
′
| = 109
0 255
元の画素値が保存される
結果
• フィルタ係数 𝑤𝑖𝑗 として様々な既存のフィルタ処理を適用
– SWFを適用することでより既存の効果の品質を向上させられる
– 次のページ以降でいくつか紹介
• CPUでの計算時間
– 3~10倍程度の増加にとどまるとの結果[1-1]
– アルゴリズムの最適化やGPU等を用いた並列化でより高速に
10
既存のフィルタ SWF適用バージョン 既存フィルタの特徴・用途
box filter (BOX) S-BOX 画像のぼかし、高速
gaussian filter (GAU) S-GAU 自然なぼかし
median filter (MED) S-MED ピークノイズの除去
bilateral filter (BIL) S-BIL 画素値の情報も重みに用いて輪郭をぼ
けにくくする
guided filter (GUI) S-GUI 効果はbilateralと似ているがより高速
各種比較
• 一般画像に対するsmoothing, denoising結果
– 赤枠が既存、緑枠がSWF版
11
[1-1] Fig.5より引用
[1-1] Fig.4より引用
smoothing (数値はSSIM)
denoising (数値はPSNR)
その他タスクへのSWF適用結果
• フィルタや考え方を応用すれば一般的なタスクに適用可能
– image enhancement, HDR, structure preserving, colorization, etc…
• 以下の図はHDR、colorizationの例
12
colorization (着色)
[1-1] Fig.10より引用
[1-1] Fig.7より引用
従来[1-3]
SWF版
従来[1-4] SWF版
エッジ周りのアーティファクトが
抑えられている
HDR
エッジを超えた色の染み込
みが抑えられている
参考文献
• [1-1] Yin, Hui & Gong, Yuanhao & Qiu, Guoping. (2019). Side Window Filtering.
8750-8758. 10.1109/CVPR.2019.00896.
• [1-2] Side Window Filtering (CVPR2019 oral, #5176)
https://github.com/YuanhaoGong/SideWindowFilter
• [1-3] F. Durand and J. Dorsey. Fast bilateral filtering for the display of high-
dynamic-range images. ACM Trans. on Graphics, 21(3):257–266, 2002.
• [1-4] A. Levin, D. Lischinski, and Y. Weiss. Colorization using optimization. ACM
Trans on Graphics, 23(3):689–694, 2004.
13
Curvature Filter[2-1]
https://github.com/YuanhaoGong/CurvatureFilter
Gong, Yuanhao & Sbalzarini, Ivo. (2017). Curvature Filters Efficiently Reduce
Certain Variational Energies. IEEE Transactions on Image Processing. 26.
1786-1798. 10.1109/TIP.2017.2658954.
概要
• 正則化が支配的な変分モデルにおいて、正則化項のエネルギー(最小
化対象)を逐次的に減らす離散フィルタ
– 用途としてはエッジ保存denoisingやstructure除去など
• 従来より高速にほどよい局所解に収束
• 局所的な画素値の曲率に注目した
3つの正則化モデルを例示
– ガウス曲率正則化(GC)
• GCフィルタは画像を可展面(後述)に均す
– 平均曲率正則化(MC)
– Total Variation 正則化(TV)
• アルゴリズムとしてはシンプルかつパラメータフリー
15
[2-2] より引用
方針
• 変分モデルによる画像処理
– denoising, super-resolution, …
• 大域的最適解を求めるのは制約※や実用面で難がある
• 正則化が支配的なケースで近似解でもいいから高速に求めたい
• 正則化項に注目して最小化するアプローチ
– 高速に動くフィルタリング処理で逐次的に ℰΦ1
𝑈 を減らしていく
– 𝜆, ℰΦ0
𝑈, 𝐼 はアルゴリズム上明示的に扱わない
• 論文後半で任意のdata-fitting項を明示的に扱う方法について論じている
16
𝐼:元画像
𝑈:処理後画像
𝜆 :正則化係数
ℰ 𝑈 = ℰΦ0
𝑈, 𝐼 + 𝜆ℰΦ1
𝑈
モデルの誤差
regularization term
元画像との差分
data-fitting term
全エネルギー
total energy
※data-fitting項が解析的である必要があるなど
ℰΦ1
𝑈
ℰΦ0
𝑈, 𝐼
ℰ 𝑈
試行回数
エ
ネ
ル
ギ
ー
準備
• 曲率(二次元曲面)
– 法曲率
– 主曲率(𝜅1, 𝜅2):法曲率の最大値と最小値
– ガウス曲率:𝜅1 ⋅ 𝜅2
– 平均曲率:
𝜅1+𝜅2
2
• 可展的(developable)
– 円柱側面、円錐側面など
– ガウス曲率=0
17
[2-3] より引用
正則化モデル
• 画像を滑らかな2次元曲面で考える(画素値曲面)
• 各点での曲率が制約(正則化)を満たすように逐次的に処理
– アルゴリズムとしては全て3x3のフィルタ計算に落とし込む
18
GC regularization MC regularization TV regularization
曲面のモデル 区分的に可展 曲率最小 区分的に平坦
最小化 ガウス曲率の絶対値 平均曲率の絶対値 勾配のノルム
正則化項 ℰΦ1
𝐺𝐶
𝑈 = න
Ω
𝜅1 𝜅2 𝑑 Ԧ𝑥 = න
Ω
𝐾 𝑈 𝑑 Ԧ𝑥
𝐾 𝑈 Ԧ𝑥 =
𝑈 𝑥𝑥 𝑈 𝑦𝑦 − 𝑈 𝑥𝑦
2
1 + 𝑈 𝑥
2
+ 𝑈 𝑦
2 2
ℰΦ1
𝑀𝐶
𝑈 = න
Ω
𝜅1 + 𝜅2
2
𝑑 Ԧ𝑥 = න
Ω
𝐻 𝑈 𝑑 Ԧ𝑥
𝐻 𝑈 Ԧ𝑥 =
1 + 𝑈 𝑦
2
𝑈𝑥𝑥 − 2𝑈 𝑥 𝑈 𝑦 𝑈 𝑥𝑦 + 1 + 𝑈 𝑥
2
𝑈 𝑦𝑦
2 1 + 𝑈 𝑥
2
+ 𝑈 𝑦
2 3/2
ℰΦ1
𝑇𝑉
𝑈 = ||∇𝑈|| 𝑝
𝑈 Ԧ𝑥 : Ԧ𝑥 における注目画素値
𝑆𝑖 Ԧ𝑥 :近傍(3x3)から計算される候補
いくつかのパターン 𝑖
𝑆 𝑚 Ԧ𝑥 :処理後の画素値
data-fitting項の増加を抑える
( ℰΦ0
の増加の最小化)
制約を満たす候補
( ℰΦ1
の減少)
𝑆 𝑚 Ԧ𝑥 = argmin
𝑆 𝑖 Ԧ𝑥
|𝑆𝑖 Ԧ𝑥 − 𝑈 Ԧ𝑥 |
ℰΦ1
𝑈
ℰΦ0
𝑈, 𝐼
ℰ 𝑈
試行回数
エ
ネ
ル
ギ
ー
GC (Gaussian Curvature) フィルタ[2-1]
• 画素ごとアルゴリズム概要
– 注目画素の周囲8pxの組み合わせによる画素値を高さとしたいくつかの接平面を考える
• 接平面の集合を 𝑇 とする
– 注目画素値がそれらの接平面に乗るように補正すべき量 𝑑𝑖 = 𝑆𝑖 Ԧ𝑥 − 𝑈 Ԧ𝑥 を計算
– 補正量の絶対値 |𝑑𝑖| が最も小さいもの 𝑑 𝑚 で注目画素を補正
• 処理する画素の順番
– 画素を右図の色のように4種類にラベリング
– 青→赤→黄→緑という順番で処理
– 各色内で並列化可能
19
𝑑𝑖
𝑇𝑖 ∈ 𝑇
補正注目画素
|𝑑 𝑚| = min
𝑖∈𝑇
|𝑑𝑖|
GCフィルタの各 𝑑𝑖
• 8方向の接平面を考える
• アルゴリズムの意味
– 𝑑𝑖:局所的なGC正則化項がゼロ(次ページ)
– 最も変化の少ない 𝑑𝑖 で補正
• data-fitting項の増加をimplicitに抑制
20
𝑑1 = 𝑈 𝑥 − 1, 𝑦 + 𝑈 𝑥 + 1, 𝑦 /2 − 𝑈(𝑥, 𝑦) 𝑑2 𝑑3 𝑑4
𝑑5
𝑑6
𝑑7
𝑑8
理論的補足
• 可展面は局所的に接平面で近似可能[2-1]
– 可展面では任意の点で主曲率( 𝜅1,2 )のどちらかが0
– 主曲率の片方(絶対値の小さい方)を0にすることがGC正則化につながる
• Eulerの定理より 𝑑𝑖 は主曲率と固有角度 𝜃𝑖 から以下のように近似で
きる
– GCフィルタでは min
𝑖=1,…,8
𝑑𝑖 = 𝑑 𝑚 ≈ min 𝜅𝑖 という離散的な近似
– よって、 𝑑 𝑚 を減らすことは主曲率のsparseな最小化につながる
• エネルギーの収束性
– GCフィルタ操作は単調(証明あり)かつ下に有界(≥0)
– 単調収束定理により局所解に収束する
21
𝑑𝑖 ≈ 𝜅1 cos2 𝜃𝑖 + 𝜅2 sin2 𝜃𝑖
GCフィルタの特徴
• 画像における可展面のメリット[2-4]
– エッジやコーナーが保存される
– なだらかな勾配グラデーションも保存される
– 小さいスケールの特徴に乗ったノイズも除去できる
• パラメータフリー
• 計算複雑性がO(N)
– 従来手法[2-5]の約7倍高速
22
Input
可展面にノイズが乗った画像
split-Bregman[2-6]によるTV最適化
𝜆:小 𝜆:大
GCフィルタ
10 iteration
[2-1] Fig.9より引用
でこぼこのような
artifactが発生
ノイズが取りきれ
ていない
可展面が保存さ
れている
適用例
• denoising
– iterationは10回程度で十分
– ごましおノイズに強いイメージ
23
[2-1] Fig.8より引用
上段:ガウシアンノイズ
下段:ごましおノイズ
GCフィルタ10回
細かいstructureも保存されている
Input
他2つのCurvatureフィルタ
• GCフィルタ同様の考え方・近似で3x3領域内の計算に落とし込める
– MCフィルタ[2-1]
– TVフィルタ[2-1]
• 効果の違い[2-2]
– GC
• 特徴を保存
– MC
• GCとTVの中間
– TV
• 特徴もノイズも除去
24
[2-2] より引用
一般のdata-fitting項を扱う上での応用
• totalのエネルギーを下げないようにするトリック
– ここまでdata-fitting項は陽に扱っていないため局所最適化問題となっていた※
• 正則化項の減少量がdata-fitting項の増加量を上回るときに画素値
を更新する(明示的に ℰΦ0
, 𝜆ℰΦ1
を計算)
– 勾配法を使ったsolver( )と違いdata-fitting項が解析的でな
くてもよい
– Spatially Adaptive Regularization[2-1]
– 結果としては様々なパターンで
sub-optimalに安定してしまう
25
Split-Bregman,
Multi-Grid, Primal/Dual
Primal/Dual法[2-7]
上記の変更を行った
TVフィルタ(iter=30)
※更新によってはdata-fitting項の増加でtotalのエネルギーが増加してしまう可能性もあるため [2-1] Fig.18より引用
参考文献
• [2-1] Gong, Yuanhao & Sbalzarini, Ivo. (2017). Curvature Filters Efficiently Reduce
Certain Variational Energies. IEEE Transactions on Image Processing. 26. 1786-
1798. 10.1109/TIP.2017.2658954.
• [2-2] Curvature filters are efficient solvers for variational models.
https://github.com/YuanhaoGong/CurvatureFilter
• [2-3] https://slidesplayer.net/slide/16186926/
• [2-4] M. Ibrahim, K. Chen, and C. Brito-Loeza. (2015). “A novel variational model
for image registration using Gaussian curvature.” [Online]. Available:
https://arxiv.org/abs/1504.07643
• [2-5] S.-H. Lee and J. K. Seo, “Noise removal with Gauss curvature-driven
diffusion,” IEEE Trans. Image Process., vol. 14, no. 7, pp. 904–909, Jul. 2005
• [2-6] T. Goldstein and S. Osher, “The split Bregman method for L1-regularized
problems,” SIAM J. Imag. Sci., vol. 2, no. 2, pp. 323–343, 2009.
• [2-7] A. Chambolle and T. Pock, “A first-order primal-dual algorithm for convex
problems with applications to imaging,” J. Math. Imag. Vis., vol. 40, no. 1, pp.
120–145, 2011.
26

Contenu connexe

Tendances

CycleGANで顔写真をアニメ調に変換する
CycleGANで顔写真をアニメ調に変換するCycleGANで顔写真をアニメ調に変換する
CycleGANで顔写真をアニメ調に変換するmeownoisy
 
強化学習の実適用に向けた課題と工夫
強化学習の実適用に向けた課題と工夫強化学習の実適用に向けた課題と工夫
強化学習の実適用に向けた課題と工夫Masahiro Yasumoto
 
Deep Learningによる超解像の進歩
Deep Learningによる超解像の進歩Deep Learningによる超解像の進歩
Deep Learningによる超解像の進歩Hiroto Honda
 
画像生成・生成モデル メタサーベイ
画像生成・生成モデル メタサーベイ画像生成・生成モデル メタサーベイ
画像生成・生成モデル メタサーベイcvpaper. challenge
 
[DL輪読会]NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis
[DL輪読会]NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis[DL輪読会]NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis
[DL輪読会]NeRF: Representing Scenes as Neural Radiance Fields for View SynthesisDeep Learning JP
 
SSII2019TS: 実践カメラキャリブレーション ~カメラを用いた実世界計測の基礎と応用~
SSII2019TS: 実践カメラキャリブレーション ~カメラを用いた実世界計測の基礎と応用~SSII2019TS: 実践カメラキャリブレーション ~カメラを用いた実世界計測の基礎と応用~
SSII2019TS: 実践カメラキャリブレーション ~カメラを用いた実世界計測の基礎と応用~SSII
 
Visual SLAM: Why Bundle Adjust?の解説(第4回3D勉強会@関東)
Visual SLAM: Why Bundle Adjust?の解説(第4回3D勉強会@関東)Visual SLAM: Why Bundle Adjust?の解説(第4回3D勉強会@関東)
Visual SLAM: Why Bundle Adjust?の解説(第4回3D勉強会@関東)Masaya Kaneko
 
【DL輪読会】Transporters with Visual Foresight for Solving Unseen Rearrangement Tasks
【DL輪読会】Transporters with Visual Foresight for Solving Unseen Rearrangement Tasks【DL輪読会】Transporters with Visual Foresight for Solving Unseen Rearrangement Tasks
【DL輪読会】Transporters with Visual Foresight for Solving Unseen Rearrangement TasksDeep Learning JP
 
Generating Diverse High-Fidelity Images with VQ-VAE-2
Generating Diverse High-Fidelity Images with VQ-VAE-2Generating Diverse High-Fidelity Images with VQ-VAE-2
Generating Diverse High-Fidelity Images with VQ-VAE-2harmonylab
 
[DL輪読会]YOLOv4: Optimal Speed and Accuracy of Object Detection
[DL輪読会]YOLOv4: Optimal Speed and Accuracy of Object Detection[DL輪読会]YOLOv4: Optimal Speed and Accuracy of Object Detection
[DL輪読会]YOLOv4: Optimal Speed and Accuracy of Object DetectionDeep Learning JP
 
[DL輪読会]MetaFormer is Actually What You Need for Vision
[DL輪読会]MetaFormer is Actually What You Need for Vision[DL輪読会]MetaFormer is Actually What You Need for Vision
[DL輪読会]MetaFormer is Actually What You Need for VisionDeep Learning JP
 
20090924 姿勢推定と回転行列
20090924 姿勢推定と回転行列20090924 姿勢推定と回転行列
20090924 姿勢推定と回転行列Toru Tamaki
 
(文献紹介)Deep Unrolling: Learned ISTA (LISTA)
(文献紹介)Deep Unrolling: Learned ISTA (LISTA)(文献紹介)Deep Unrolling: Learned ISTA (LISTA)
(文献紹介)Deep Unrolling: Learned ISTA (LISTA)Morpho, Inc.
 
コンピューテーショナルフォトグラフィ
コンピューテーショナルフォトグラフィコンピューテーショナルフォトグラフィ
コンピューテーショナルフォトグラフィNorishige Fukushima
 
[DL輪読会]Neural Ordinary Differential Equations
[DL輪読会]Neural Ordinary Differential Equations[DL輪読会]Neural Ordinary Differential Equations
[DL輪読会]Neural Ordinary Differential EquationsDeep Learning JP
 
SSII2020 [O3-01] Extreme 3D センシング
SSII2020 [O3-01]  Extreme 3D センシングSSII2020 [O3-01]  Extreme 3D センシング
SSII2020 [O3-01] Extreme 3D センシングSSII
 
初めてのグラフカット
初めてのグラフカット初めてのグラフカット
初めてのグラフカットTsubasa Hirakawa
 
【DL輪読会】NeRF-VAE: A Geometry Aware 3D Scene Generative Model
【DL輪読会】NeRF-VAE: A Geometry Aware 3D Scene Generative Model【DL輪読会】NeRF-VAE: A Geometry Aware 3D Scene Generative Model
【DL輪読会】NeRF-VAE: A Geometry Aware 3D Scene Generative ModelDeep Learning JP
 
Neural scene representation and rendering の解説(第3回3D勉強会@関東)
Neural scene representation and rendering の解説(第3回3D勉強会@関東)Neural scene representation and rendering の解説(第3回3D勉強会@関東)
Neural scene representation and rendering の解説(第3回3D勉強会@関東)Masaya Kaneko
 

Tendances (20)

CycleGANで顔写真をアニメ調に変換する
CycleGANで顔写真をアニメ調に変換するCycleGANで顔写真をアニメ調に変換する
CycleGANで顔写真をアニメ調に変換する
 
強化学習の実適用に向けた課題と工夫
強化学習の実適用に向けた課題と工夫強化学習の実適用に向けた課題と工夫
強化学習の実適用に向けた課題と工夫
 
Deep Learningによる超解像の進歩
Deep Learningによる超解像の進歩Deep Learningによる超解像の進歩
Deep Learningによる超解像の進歩
 
画像生成・生成モデル メタサーベイ
画像生成・生成モデル メタサーベイ画像生成・生成モデル メタサーベイ
画像生成・生成モデル メタサーベイ
 
[DL輪読会]NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis
[DL輪読会]NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis[DL輪読会]NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis
[DL輪読会]NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis
 
SSII2019TS: 実践カメラキャリブレーション ~カメラを用いた実世界計測の基礎と応用~
SSII2019TS: 実践カメラキャリブレーション ~カメラを用いた実世界計測の基礎と応用~SSII2019TS: 実践カメラキャリブレーション ~カメラを用いた実世界計測の基礎と応用~
SSII2019TS: 実践カメラキャリブレーション ~カメラを用いた実世界計測の基礎と応用~
 
Visual SLAM: Why Bundle Adjust?の解説(第4回3D勉強会@関東)
Visual SLAM: Why Bundle Adjust?の解説(第4回3D勉強会@関東)Visual SLAM: Why Bundle Adjust?の解説(第4回3D勉強会@関東)
Visual SLAM: Why Bundle Adjust?の解説(第4回3D勉強会@関東)
 
【DL輪読会】Transporters with Visual Foresight for Solving Unseen Rearrangement Tasks
【DL輪読会】Transporters with Visual Foresight for Solving Unseen Rearrangement Tasks【DL輪読会】Transporters with Visual Foresight for Solving Unseen Rearrangement Tasks
【DL輪読会】Transporters with Visual Foresight for Solving Unseen Rearrangement Tasks
 
Generating Diverse High-Fidelity Images with VQ-VAE-2
Generating Diverse High-Fidelity Images with VQ-VAE-2Generating Diverse High-Fidelity Images with VQ-VAE-2
Generating Diverse High-Fidelity Images with VQ-VAE-2
 
[DL輪読会]YOLOv4: Optimal Speed and Accuracy of Object Detection
[DL輪読会]YOLOv4: Optimal Speed and Accuracy of Object Detection[DL輪読会]YOLOv4: Optimal Speed and Accuracy of Object Detection
[DL輪読会]YOLOv4: Optimal Speed and Accuracy of Object Detection
 
[DL輪読会]MetaFormer is Actually What You Need for Vision
[DL輪読会]MetaFormer is Actually What You Need for Vision[DL輪読会]MetaFormer is Actually What You Need for Vision
[DL輪読会]MetaFormer is Actually What You Need for Vision
 
20090924 姿勢推定と回転行列
20090924 姿勢推定と回転行列20090924 姿勢推定と回転行列
20090924 姿勢推定と回転行列
 
(文献紹介)Deep Unrolling: Learned ISTA (LISTA)
(文献紹介)Deep Unrolling: Learned ISTA (LISTA)(文献紹介)Deep Unrolling: Learned ISTA (LISTA)
(文献紹介)Deep Unrolling: Learned ISTA (LISTA)
 
coordinate descent 法について
coordinate descent 法についてcoordinate descent 法について
coordinate descent 法について
 
コンピューテーショナルフォトグラフィ
コンピューテーショナルフォトグラフィコンピューテーショナルフォトグラフィ
コンピューテーショナルフォトグラフィ
 
[DL輪読会]Neural Ordinary Differential Equations
[DL輪読会]Neural Ordinary Differential Equations[DL輪読会]Neural Ordinary Differential Equations
[DL輪読会]Neural Ordinary Differential Equations
 
SSII2020 [O3-01] Extreme 3D センシング
SSII2020 [O3-01]  Extreme 3D センシングSSII2020 [O3-01]  Extreme 3D センシング
SSII2020 [O3-01] Extreme 3D センシング
 
初めてのグラフカット
初めてのグラフカット初めてのグラフカット
初めてのグラフカット
 
【DL輪読会】NeRF-VAE: A Geometry Aware 3D Scene Generative Model
【DL輪読会】NeRF-VAE: A Geometry Aware 3D Scene Generative Model【DL輪読会】NeRF-VAE: A Geometry Aware 3D Scene Generative Model
【DL輪読会】NeRF-VAE: A Geometry Aware 3D Scene Generative Model
 
Neural scene representation and rendering の解説(第3回3D勉強会@関東)
Neural scene representation and rendering の解説(第3回3D勉強会@関東)Neural scene representation and rendering の解説(第3回3D勉強会@関東)
Neural scene representation and rendering の解説(第3回3D勉強会@関東)
 

Similaire à (文献紹介)エッジ保存フィルタ:Side Window Filter, Curvature Filter

第11回 配信講義 計算科学技術特論B(2022)
第11回 配信講義 計算科学技術特論B(2022)第11回 配信講義 計算科学技術特論B(2022)
第11回 配信講義 計算科学技術特論B(2022)RCCSRENKEI
 
2012-03-08 MSS研究会
2012-03-08 MSS研究会2012-03-08 MSS研究会
2012-03-08 MSS研究会Kimikazu Kato
 
200730material fujita
200730material fujita200730material fujita
200730material fujitaRCCSRENKEI
 
Globally and Locally Consistent Image Completion
Globally and Locally Consistent Image CompletionGlobally and Locally Consistent Image Completion
Globally and Locally Consistent Image Completionharmonylab
 
文献紹介:Learnable Gated Temporal Shift Module for Free-form Video Inpainting
文献紹介:Learnable Gated Temporal Shift Module for Free-form Video Inpainting文献紹介:Learnable Gated Temporal Shift Module for Free-form Video Inpainting
文献紹介:Learnable Gated Temporal Shift Module for Free-form Video InpaintingToru Tamaki
 
論文解説:スマホカメラを用いたBRDFパラメータ取得技術(非DNN)「Two-Shot SVBRDF Capture for Stationary Mat...
論文解説:スマホカメラを用いたBRDFパラメータ取得技術(非DNN)「Two-Shot SVBRDF Capture for Stationary Mat...論文解説:スマホカメラを用いたBRDFパラメータ取得技術(非DNN)「Two-Shot SVBRDF Capture for Stationary Mat...
論文解説:スマホカメラを用いたBRDFパラメータ取得技術(非DNN)「Two-Shot SVBRDF Capture for Stationary Mat...Teppei Kurita
 
Or seminar2011final
Or seminar2011finalOr seminar2011final
Or seminar2011finalMikio Kubo
 
文献紹介:SlowFast Networks for Video Recognition
文献紹介:SlowFast Networks for Video Recognition文献紹介:SlowFast Networks for Video Recognition
文献紹介:SlowFast Networks for Video RecognitionToru Tamaki
 
第5回 配信講義 計算科学技術特論B(2022)
第5回 配信講義 計算科学技術特論B(2022)第5回 配信講義 計算科学技術特論B(2022)
第5回 配信講義 計算科学技術特論B(2022)RCCSRENKEI
 
An Experimental Study of Bitmap Compression vs. Inverted List Compression
An Experimental Study of Bitmap Compression vs. Inverted List CompressionAn Experimental Study of Bitmap Compression vs. Inverted List Compression
An Experimental Study of Bitmap Compression vs. Inverted List CompressionTakeshi Yamamuro
 
Light weightbinocular sigasia2012_face
Light weightbinocular sigasia2012_faceLight weightbinocular sigasia2012_face
Light weightbinocular sigasia2012_faceishii yasunori
 
Hivemallで始める不動産価格推定サービス
Hivemallで始める不動産価格推定サービスHivemallで始める不動産価格推定サービス
Hivemallで始める不動産価格推定サービスKentaro Yoshida
 
ICCV2019読み会「Learning Meshes for Dense Visual SLAM」
ICCV2019読み会「Learning Meshes for Dense Visual SLAM」ICCV2019読み会「Learning Meshes for Dense Visual SLAM」
ICCV2019読み会「Learning Meshes for Dense Visual SLAM」Sho Kagami
 
A Brief Survey of Schrödinger Bridge (Part I)
A Brief Survey of Schrödinger Bridge (Part I)A Brief Survey of Schrödinger Bridge (Part I)
A Brief Survey of Schrödinger Bridge (Part I)Morpho, Inc.
 
シリコンスタジオの最新テクノロジーデモ技術解説
シリコンスタジオの最新テクノロジーデモ技術解説シリコンスタジオの最新テクノロジーデモ技術解説
シリコンスタジオの最新テクノロジーデモ技術解説Silicon Studio Corporation
 
20110109第8回CV勉強会(ミーンシフトの原理と応用:6章・7章)shirasy)
20110109第8回CV勉強会(ミーンシフトの原理と応用:6章・7章)shirasy)20110109第8回CV勉強会(ミーンシフトの原理と応用:6章・7章)shirasy)
20110109第8回CV勉強会(ミーンシフトの原理と応用:6章・7章)shirasy)Yoichi Shirasawa
 
Deep learning実装の基礎と実践
Deep learning実装の基礎と実践Deep learning実装の基礎と実践
Deep learning実装の基礎と実践Seiya Tokui
 
SSII2014 チュートリアル資料
SSII2014 チュートリアル資料SSII2014 チュートリアル資料
SSII2014 チュートリアル資料Masayuki Tanaka
 

Similaire à (文献紹介)エッジ保存フィルタ:Side Window Filter, Curvature Filter (20)

第11回 配信講義 計算科学技術特論B(2022)
第11回 配信講義 計算科学技術特論B(2022)第11回 配信講義 計算科学技術特論B(2022)
第11回 配信講義 計算科学技術特論B(2022)
 
2012-03-08 MSS研究会
2012-03-08 MSS研究会2012-03-08 MSS研究会
2012-03-08 MSS研究会
 
200730material fujita
200730material fujita200730material fujita
200730material fujita
 
Globally and Locally Consistent Image Completion
Globally and Locally Consistent Image CompletionGlobally and Locally Consistent Image Completion
Globally and Locally Consistent Image Completion
 
文献紹介:Learnable Gated Temporal Shift Module for Free-form Video Inpainting
文献紹介:Learnable Gated Temporal Shift Module for Free-form Video Inpainting文献紹介:Learnable Gated Temporal Shift Module for Free-form Video Inpainting
文献紹介:Learnable Gated Temporal Shift Module for Free-form Video Inpainting
 
論文解説:スマホカメラを用いたBRDFパラメータ取得技術(非DNN)「Two-Shot SVBRDF Capture for Stationary Mat...
論文解説:スマホカメラを用いたBRDFパラメータ取得技術(非DNN)「Two-Shot SVBRDF Capture for Stationary Mat...論文解説:スマホカメラを用いたBRDFパラメータ取得技術(非DNN)「Two-Shot SVBRDF Capture for Stationary Mat...
論文解説:スマホカメラを用いたBRDFパラメータ取得技術(非DNN)「Two-Shot SVBRDF Capture for Stationary Mat...
 
Or seminar2011final
Or seminar2011finalOr seminar2011final
Or seminar2011final
 
文献紹介:SlowFast Networks for Video Recognition
文献紹介:SlowFast Networks for Video Recognition文献紹介:SlowFast Networks for Video Recognition
文献紹介:SlowFast Networks for Video Recognition
 
第5回 配信講義 計算科学技術特論B(2022)
第5回 配信講義 計算科学技術特論B(2022)第5回 配信講義 計算科学技術特論B(2022)
第5回 配信講義 計算科学技術特論B(2022)
 
An Experimental Study of Bitmap Compression vs. Inverted List Compression
An Experimental Study of Bitmap Compression vs. Inverted List CompressionAn Experimental Study of Bitmap Compression vs. Inverted List Compression
An Experimental Study of Bitmap Compression vs. Inverted List Compression
 
Light weightbinocular sigasia2012_face
Light weightbinocular sigasia2012_faceLight weightbinocular sigasia2012_face
Light weightbinocular sigasia2012_face
 
Hivemallで始める不動産価格推定サービス
Hivemallで始める不動産価格推定サービスHivemallで始める不動産価格推定サービス
Hivemallで始める不動産価格推定サービス
 
ICCV2019読み会「Learning Meshes for Dense Visual SLAM」
ICCV2019読み会「Learning Meshes for Dense Visual SLAM」ICCV2019読み会「Learning Meshes for Dense Visual SLAM」
ICCV2019読み会「Learning Meshes for Dense Visual SLAM」
 
A Brief Survey of Schrödinger Bridge (Part I)
A Brief Survey of Schrödinger Bridge (Part I)A Brief Survey of Schrödinger Bridge (Part I)
A Brief Survey of Schrödinger Bridge (Part I)
 
シリコンスタジオの最新テクノロジーデモ技術解説
シリコンスタジオの最新テクノロジーデモ技術解説シリコンスタジオの最新テクノロジーデモ技術解説
シリコンスタジオの最新テクノロジーデモ技術解説
 
Graph U-Net
Graph U-NetGraph U-Net
Graph U-Net
 
20110109第8回CV勉強会(ミーンシフトの原理と応用:6章・7章)shirasy)
20110109第8回CV勉強会(ミーンシフトの原理と応用:6章・7章)shirasy)20110109第8回CV勉強会(ミーンシフトの原理と応用:6章・7章)shirasy)
20110109第8回CV勉強会(ミーンシフトの原理と応用:6章・7章)shirasy)
 
Deep learning実装の基礎と実践
Deep learning実装の基礎と実践Deep learning実装の基礎と実践
Deep learning実装の基礎と実践
 
JEITA4602B
JEITA4602BJEITA4602B
JEITA4602B
 
SSII2014 チュートリアル資料
SSII2014 チュートリアル資料SSII2014 チュートリアル資料
SSII2014 チュートリアル資料
 

Plus de Morpho, Inc.

(文献紹介)デブラー手法の紹介
(文献紹介)デブラー手法の紹介(文献紹介)デブラー手法の紹介
(文献紹介)デブラー手法の紹介Morpho, Inc.
 
(文献紹介)Depth Completionの最新動向
(文献紹介)Depth Completionの最新動向(文献紹介)Depth Completionの最新動向
(文献紹介)Depth Completionの最新動向Morpho, Inc.
 
(文献紹介)深層学習による動被写体ロバストなカメラの動き推定
(文献紹介)深層学習による動被写体ロバストなカメラの動き推定(文献紹介)深層学習による動被写体ロバストなカメラの動き推定
(文献紹介)深層学習による動被写体ロバストなカメラの動き推定Morpho, Inc.
 
Vieurekaを用いた混雑状況の配信
Vieurekaを用いた混雑状況の配信Vieurekaを用いた混雑状況の配信
Vieurekaを用いた混雑状況の配信Morpho, Inc.
 
Limits on Super-Resolution and How to Break them
Limits on Super-Resolution and How to Break themLimits on Super-Resolution and How to Break them
Limits on Super-Resolution and How to Break themMorpho, Inc.
 
(文献紹介) 画像復元:Plug-and-Play ADMM
(文献紹介) 画像復元:Plug-and-Play ADMM(文献紹介) 画像復元:Plug-and-Play ADMM
(文献紹介) 画像復元:Plug-and-Play ADMMMorpho, Inc.
 
前景と背景の画像合成技術
前景と背景の画像合成技術前景と背景の画像合成技術
前景と背景の画像合成技術Morpho, Inc.
 
(文献紹介)HDR+, Night Sight
(文献紹介)HDR+, Night Sight(文献紹介)HDR+, Night Sight
(文献紹介)HDR+, Night SightMorpho, Inc.
 
Demosaicing(デモザイキング)
Demosaicing(デモザイキング)Demosaicing(デモザイキング)
Demosaicing(デモザイキング)Morpho, Inc.
 
Company Profile (Japanese)
Company Profile (Japanese)Company Profile (Japanese)
Company Profile (Japanese)Morpho, Inc.
 

Plus de Morpho, Inc. (10)

(文献紹介)デブラー手法の紹介
(文献紹介)デブラー手法の紹介(文献紹介)デブラー手法の紹介
(文献紹介)デブラー手法の紹介
 
(文献紹介)Depth Completionの最新動向
(文献紹介)Depth Completionの最新動向(文献紹介)Depth Completionの最新動向
(文献紹介)Depth Completionの最新動向
 
(文献紹介)深層学習による動被写体ロバストなカメラの動き推定
(文献紹介)深層学習による動被写体ロバストなカメラの動き推定(文献紹介)深層学習による動被写体ロバストなカメラの動き推定
(文献紹介)深層学習による動被写体ロバストなカメラの動き推定
 
Vieurekaを用いた混雑状況の配信
Vieurekaを用いた混雑状況の配信Vieurekaを用いた混雑状況の配信
Vieurekaを用いた混雑状況の配信
 
Limits on Super-Resolution and How to Break them
Limits on Super-Resolution and How to Break themLimits on Super-Resolution and How to Break them
Limits on Super-Resolution and How to Break them
 
(文献紹介) 画像復元:Plug-and-Play ADMM
(文献紹介) 画像復元:Plug-and-Play ADMM(文献紹介) 画像復元:Plug-and-Play ADMM
(文献紹介) 画像復元:Plug-and-Play ADMM
 
前景と背景の画像合成技術
前景と背景の画像合成技術前景と背景の画像合成技術
前景と背景の画像合成技術
 
(文献紹介)HDR+, Night Sight
(文献紹介)HDR+, Night Sight(文献紹介)HDR+, Night Sight
(文献紹介)HDR+, Night Sight
 
Demosaicing(デモザイキング)
Demosaicing(デモザイキング)Demosaicing(デモザイキング)
Demosaicing(デモザイキング)
 
Company Profile (Japanese)
Company Profile (Japanese)Company Profile (Japanese)
Company Profile (Japanese)
 

Dernier

「今からでも間に合う」GPTsによる 活用LT会 - 人とAIが協調するHumani-in-the-Loopへ
「今からでも間に合う」GPTsによる 活用LT会 - 人とAIが協調するHumani-in-the-Loopへ「今からでも間に合う」GPTsによる 活用LT会 - 人とAIが協調するHumani-in-the-Loopへ
「今からでも間に合う」GPTsによる 活用LT会 - 人とAIが協調するHumani-in-the-LoopへTetsuya Nihonmatsu
 
IFIP IP3での資格制度を対象とする国際認定(IPSJ86全国大会シンポジウム)
IFIP IP3での資格制度を対象とする国際認定(IPSJ86全国大会シンポジウム)IFIP IP3での資格制度を対象とする国際認定(IPSJ86全国大会シンポジウム)
IFIP IP3での資格制度を対象とする国際認定(IPSJ86全国大会シンポジウム)ssuser539845
 
持続可能なDrupal Meetupのコツ - Drupal Meetup Tokyoの知見
持続可能なDrupal Meetupのコツ - Drupal Meetup Tokyoの知見持続可能なDrupal Meetupのコツ - Drupal Meetup Tokyoの知見
持続可能なDrupal Meetupのコツ - Drupal Meetup Tokyoの知見Shumpei Kishi
 
2024 02 Nihon-Tanken ~Towards a More Inclusive Japan~
2024 02 Nihon-Tanken ~Towards a More Inclusive Japan~2024 02 Nihon-Tanken ~Towards a More Inclusive Japan~
2024 02 Nihon-Tanken ~Towards a More Inclusive Japan~arts yokohama
 
2024 01 Virtual_Counselor
2024 01 Virtual_Counselor 2024 01 Virtual_Counselor
2024 01 Virtual_Counselor arts yokohama
 
情報処理学会86回全国大会_Generic OAMをDeep Learning技術によって実現するための課題と解決方法
情報処理学会86回全国大会_Generic OAMをDeep Learning技術によって実現するための課題と解決方法情報処理学会86回全国大会_Generic OAMをDeep Learning技術によって実現するための課題と解決方法
情報処理学会86回全国大会_Generic OAMをDeep Learning技術によって実現するための課題と解決方法ssuser370dd7
 
TaketoFujikawa_台本中の動作表現に基づくアニメーション原画システムの提案_SIGEC71.pdf
TaketoFujikawa_台本中の動作表現に基づくアニメーション原画システムの提案_SIGEC71.pdfTaketoFujikawa_台本中の動作表現に基づくアニメーション原画システムの提案_SIGEC71.pdf
TaketoFujikawa_台本中の動作表現に基づくアニメーション原画システムの提案_SIGEC71.pdfMatsushita Laboratory
 
20240326_IoTLT_vol109_kitazaki_v1___.pdf
20240326_IoTLT_vol109_kitazaki_v1___.pdf20240326_IoTLT_vol109_kitazaki_v1___.pdf
20240326_IoTLT_vol109_kitazaki_v1___.pdfAyachika Kitazaki
 

Dernier (11)

「今からでも間に合う」GPTsによる 活用LT会 - 人とAIが協調するHumani-in-the-Loopへ
「今からでも間に合う」GPTsによる 活用LT会 - 人とAIが協調するHumani-in-the-Loopへ「今からでも間に合う」GPTsによる 活用LT会 - 人とAIが協調するHumani-in-the-Loopへ
「今からでも間に合う」GPTsによる 活用LT会 - 人とAIが協調するHumani-in-the-Loopへ
 
2024 04 minnanoito
2024 04 minnanoito2024 04 minnanoito
2024 04 minnanoito
 
IFIP IP3での資格制度を対象とする国際認定(IPSJ86全国大会シンポジウム)
IFIP IP3での資格制度を対象とする国際認定(IPSJ86全国大会シンポジウム)IFIP IP3での資格制度を対象とする国際認定(IPSJ86全国大会シンポジウム)
IFIP IP3での資格制度を対象とする国際認定(IPSJ86全国大会シンポジウム)
 
持続可能なDrupal Meetupのコツ - Drupal Meetup Tokyoの知見
持続可能なDrupal Meetupのコツ - Drupal Meetup Tokyoの知見持続可能なDrupal Meetupのコツ - Drupal Meetup Tokyoの知見
持続可能なDrupal Meetupのコツ - Drupal Meetup Tokyoの知見
 
What is the world where you can make your own semiconductors?
What is the world where you can make your own semiconductors?What is the world where you can make your own semiconductors?
What is the world where you can make your own semiconductors?
 
2024 02 Nihon-Tanken ~Towards a More Inclusive Japan~
2024 02 Nihon-Tanken ~Towards a More Inclusive Japan~2024 02 Nihon-Tanken ~Towards a More Inclusive Japan~
2024 02 Nihon-Tanken ~Towards a More Inclusive Japan~
 
2024 01 Virtual_Counselor
2024 01 Virtual_Counselor 2024 01 Virtual_Counselor
2024 01 Virtual_Counselor
 
情報処理学会86回全国大会_Generic OAMをDeep Learning技術によって実現するための課題と解決方法
情報処理学会86回全国大会_Generic OAMをDeep Learning技術によって実現するための課題と解決方法情報処理学会86回全国大会_Generic OAMをDeep Learning技術によって実現するための課題と解決方法
情報処理学会86回全国大会_Generic OAMをDeep Learning技術によって実現するための課題と解決方法
 
TaketoFujikawa_台本中の動作表現に基づくアニメーション原画システムの提案_SIGEC71.pdf
TaketoFujikawa_台本中の動作表現に基づくアニメーション原画システムの提案_SIGEC71.pdfTaketoFujikawa_台本中の動作表現に基づくアニメーション原画システムの提案_SIGEC71.pdf
TaketoFujikawa_台本中の動作表現に基づくアニメーション原画システムの提案_SIGEC71.pdf
 
2024 03 CTEA
2024 03 CTEA2024 03 CTEA
2024 03 CTEA
 
20240326_IoTLT_vol109_kitazaki_v1___.pdf
20240326_IoTLT_vol109_kitazaki_v1___.pdf20240326_IoTLT_vol109_kitazaki_v1___.pdf
20240326_IoTLT_vol109_kitazaki_v1___.pdf
 

(文献紹介)エッジ保存フィルタ:Side Window Filter, Curvature Filter

  • 2. 目次 • Side Window Filter • Curvature Filter 2
  • 3. Side Window Filter[1-1] https://arxiv.org/abs/1905.07177 Yin, Hui & Gong, Yuanhao & Qiu, Guoping. (2019). Side Window Filtering. 8750-8758. 10.1109/CVPR.2019.00896.
  • 4. 概要 • CVPR2019 oral • 既存のフィルタ処理( Box Filter, Gaussian Filter, Guided Filter etc…)をエッジが保存するように適用できるフレームワーク • 様々なタスクに応用でき高品質な結果 – アーティファクト等も抑制 • 非常にシンプルなアルゴリズム • 計算量も既存の定数倍(3~10)程度 4 [1-2] より引用 BoxフィルタのSide Window Filterバージョンを適用※ エッジやコーナーなど細かい構 造が保たれる 通常のBoxフィルタを適用※ エッジはぼやける ※10回繰り返し 元画像
  • 5. 導入 • エッジ保存アルゴリズム – 大域的最適化:高品質 低速 • TV algorithm – 局所的最適化:高速 低品質 • 線形:Box Filter, Gaussian Filter • 非線形:Median Filter, Bilateral Filter, Guided Filter • なるべく元画像に近い出力になるよう処理したい – 注目画素 𝑖 における処理 5 𝐼𝑖 :位置 𝑖 の処理前の画素値 𝐼𝑖 ′ :位置 𝑖 の処理後の画素値 𝑤𝑖𝑗 :フィルタの重み (𝑖, 𝑗 の位置関係等に依存) Ω𝑖 :位置 𝑖 の近傍 𝐸𝑖:エネルギー 𝐸𝑖 が小さい ⇔ 元画像に近い 𝐼𝑖 ′ = ෍ 𝑗∈Ω 𝑖 𝑤𝑖𝑗 𝐼𝑗 𝐸𝑖 = 𝐼𝑖 − 𝐼𝑖 ′ 2 = 𝐼𝑖 − ෍ 𝑗∈Ω 𝑖 𝑤𝑖𝑗 𝐼𝑗 2
  • 7. Side Window Filter (SWF)[1-1] • 通常のフィルタ:注目画素を中心とした近傍で計算 • side window:注目画素を端においた近傍で計算 – 斜め等様々なパターン(下例)が考えられるが、計算効率上8つに絞っている 7 注目画素 L R U D NW NE SW SE … 7x7のGaussian Filterを例に
  • 8. アルゴリズム • 画素ごとに以下ループ – Side Windowの集合 𝑆 ={L, R, U, D, NW, NE, SW, SE} ごとに以下 を計算 – 以下の 𝐼 𝑚 で注目画素値を更新 • フィルタをかけたうえで元の画素値に近いものを選んできて特徴を損ない にくくしている 8 𝐼 𝑛 ′ = 1 𝑁 𝑛 ෍ 𝑗∈Ω 𝑖 𝑛 𝑤𝑖𝑗 𝐼𝑗 , 𝑁 𝑛 = ෍ 𝑗∈Ω 𝑖 𝑛 𝑤𝑖𝑗 , 𝑛 ∈ 𝑆 𝐼 𝑚 = argmin 𝑛∈𝑆 || 𝐼𝑖 − 𝐼𝑖 ′ ||2 2 各SWFで定義された近傍 𝑤:フィルタ係数 𝐼:フィルタ係数 元の画素値との二乗誤差
  • 9. 具体例 • 7x7のBoxフィルタに対し各SWFを適用した場合 • 他のエッジパターンについても通常のBoxフィルタより元画素値に近い値 になることが示される [1-1] 9 注目画素の7x7近傍 通常のBoxフィルタ 𝐼′ = 0 × 4 × 7 + 255 × 3 × 7 7 × 7 ≅ 109 , |𝐼 − 𝐼′ | = 109 𝐼𝐿 ′ = 0 , |𝐼 − 𝐼𝐿 ′ | = 0 𝐼𝑆𝑊 ′ = 0 , |𝐼 − 𝐼𝑆𝑊 ′ | = 0 𝐼 𝑁𝑊 ′ = 0 , |𝐼 − 𝐼 𝑁𝑊 ′ | = 0 𝐼 𝑅 ′ = 191 , |𝐼 − 𝐼 𝑅 ′ | = 191 𝐼𝑆𝐸 ′ = 191 , |𝐼 − 𝐼𝑆𝐸 ′ | = 191 𝐼 𝑁𝐸 ′ = 191 , |𝐼 − 𝐼 𝑁𝐸 ′ | = 191 𝐼 𝑈 ′ = 109 , |𝐼 − 𝐼 𝑈 ′ | = 109 𝐼 𝐷 ′ = 109 , |𝐼 − 𝐼 𝐷 ′ | = 109 0 255 元の画素値が保存される
  • 10. 結果 • フィルタ係数 𝑤𝑖𝑗 として様々な既存のフィルタ処理を適用 – SWFを適用することでより既存の効果の品質を向上させられる – 次のページ以降でいくつか紹介 • CPUでの計算時間 – 3~10倍程度の増加にとどまるとの結果[1-1] – アルゴリズムの最適化やGPU等を用いた並列化でより高速に 10 既存のフィルタ SWF適用バージョン 既存フィルタの特徴・用途 box filter (BOX) S-BOX 画像のぼかし、高速 gaussian filter (GAU) S-GAU 自然なぼかし median filter (MED) S-MED ピークノイズの除去 bilateral filter (BIL) S-BIL 画素値の情報も重みに用いて輪郭をぼ けにくくする guided filter (GUI) S-GUI 効果はbilateralと似ているがより高速
  • 11. 各種比較 • 一般画像に対するsmoothing, denoising結果 – 赤枠が既存、緑枠がSWF版 11 [1-1] Fig.5より引用 [1-1] Fig.4より引用 smoothing (数値はSSIM) denoising (数値はPSNR)
  • 12. その他タスクへのSWF適用結果 • フィルタや考え方を応用すれば一般的なタスクに適用可能 – image enhancement, HDR, structure preserving, colorization, etc… • 以下の図はHDR、colorizationの例 12 colorization (着色) [1-1] Fig.10より引用 [1-1] Fig.7より引用 従来[1-3] SWF版 従来[1-4] SWF版 エッジ周りのアーティファクトが 抑えられている HDR エッジを超えた色の染み込 みが抑えられている
  • 13. 参考文献 • [1-1] Yin, Hui & Gong, Yuanhao & Qiu, Guoping. (2019). Side Window Filtering. 8750-8758. 10.1109/CVPR.2019.00896. • [1-2] Side Window Filtering (CVPR2019 oral, #5176) https://github.com/YuanhaoGong/SideWindowFilter • [1-3] F. Durand and J. Dorsey. Fast bilateral filtering for the display of high- dynamic-range images. ACM Trans. on Graphics, 21(3):257–266, 2002. • [1-4] A. Levin, D. Lischinski, and Y. Weiss. Colorization using optimization. ACM Trans on Graphics, 23(3):689–694, 2004. 13
  • 14. Curvature Filter[2-1] https://github.com/YuanhaoGong/CurvatureFilter Gong, Yuanhao & Sbalzarini, Ivo. (2017). Curvature Filters Efficiently Reduce Certain Variational Energies. IEEE Transactions on Image Processing. 26. 1786-1798. 10.1109/TIP.2017.2658954.
  • 15. 概要 • 正則化が支配的な変分モデルにおいて、正則化項のエネルギー(最小 化対象)を逐次的に減らす離散フィルタ – 用途としてはエッジ保存denoisingやstructure除去など • 従来より高速にほどよい局所解に収束 • 局所的な画素値の曲率に注目した 3つの正則化モデルを例示 – ガウス曲率正則化(GC) • GCフィルタは画像を可展面(後述)に均す – 平均曲率正則化(MC) – Total Variation 正則化(TV) • アルゴリズムとしてはシンプルかつパラメータフリー 15 [2-2] より引用
  • 16. 方針 • 変分モデルによる画像処理 – denoising, super-resolution, … • 大域的最適解を求めるのは制約※や実用面で難がある • 正則化が支配的なケースで近似解でもいいから高速に求めたい • 正則化項に注目して最小化するアプローチ – 高速に動くフィルタリング処理で逐次的に ℰΦ1 𝑈 を減らしていく – 𝜆, ℰΦ0 𝑈, 𝐼 はアルゴリズム上明示的に扱わない • 論文後半で任意のdata-fitting項を明示的に扱う方法について論じている 16 𝐼:元画像 𝑈:処理後画像 𝜆 :正則化係数 ℰ 𝑈 = ℰΦ0 𝑈, 𝐼 + 𝜆ℰΦ1 𝑈 モデルの誤差 regularization term 元画像との差分 data-fitting term 全エネルギー total energy ※data-fitting項が解析的である必要があるなど ℰΦ1 𝑈 ℰΦ0 𝑈, 𝐼 ℰ 𝑈 試行回数 エ ネ ル ギ ー
  • 17. 準備 • 曲率(二次元曲面) – 法曲率 – 主曲率(𝜅1, 𝜅2):法曲率の最大値と最小値 – ガウス曲率:𝜅1 ⋅ 𝜅2 – 平均曲率: 𝜅1+𝜅2 2 • 可展的(developable) – 円柱側面、円錐側面など – ガウス曲率=0 17 [2-3] より引用
  • 18. 正則化モデル • 画像を滑らかな2次元曲面で考える(画素値曲面) • 各点での曲率が制約(正則化)を満たすように逐次的に処理 – アルゴリズムとしては全て3x3のフィルタ計算に落とし込む 18 GC regularization MC regularization TV regularization 曲面のモデル 区分的に可展 曲率最小 区分的に平坦 最小化 ガウス曲率の絶対値 平均曲率の絶対値 勾配のノルム 正則化項 ℰΦ1 𝐺𝐶 𝑈 = න Ω 𝜅1 𝜅2 𝑑 Ԧ𝑥 = න Ω 𝐾 𝑈 𝑑 Ԧ𝑥 𝐾 𝑈 Ԧ𝑥 = 𝑈 𝑥𝑥 𝑈 𝑦𝑦 − 𝑈 𝑥𝑦 2 1 + 𝑈 𝑥 2 + 𝑈 𝑦 2 2 ℰΦ1 𝑀𝐶 𝑈 = න Ω 𝜅1 + 𝜅2 2 𝑑 Ԧ𝑥 = න Ω 𝐻 𝑈 𝑑 Ԧ𝑥 𝐻 𝑈 Ԧ𝑥 = 1 + 𝑈 𝑦 2 𝑈𝑥𝑥 − 2𝑈 𝑥 𝑈 𝑦 𝑈 𝑥𝑦 + 1 + 𝑈 𝑥 2 𝑈 𝑦𝑦 2 1 + 𝑈 𝑥 2 + 𝑈 𝑦 2 3/2 ℰΦ1 𝑇𝑉 𝑈 = ||∇𝑈|| 𝑝 𝑈 Ԧ𝑥 : Ԧ𝑥 における注目画素値 𝑆𝑖 Ԧ𝑥 :近傍(3x3)から計算される候補 いくつかのパターン 𝑖 𝑆 𝑚 Ԧ𝑥 :処理後の画素値 data-fitting項の増加を抑える ( ℰΦ0 の増加の最小化) 制約を満たす候補 ( ℰΦ1 の減少) 𝑆 𝑚 Ԧ𝑥 = argmin 𝑆 𝑖 Ԧ𝑥 |𝑆𝑖 Ԧ𝑥 − 𝑈 Ԧ𝑥 | ℰΦ1 𝑈 ℰΦ0 𝑈, 𝐼 ℰ 𝑈 試行回数 エ ネ ル ギ ー
  • 19. GC (Gaussian Curvature) フィルタ[2-1] • 画素ごとアルゴリズム概要 – 注目画素の周囲8pxの組み合わせによる画素値を高さとしたいくつかの接平面を考える • 接平面の集合を 𝑇 とする – 注目画素値がそれらの接平面に乗るように補正すべき量 𝑑𝑖 = 𝑆𝑖 Ԧ𝑥 − 𝑈 Ԧ𝑥 を計算 – 補正量の絶対値 |𝑑𝑖| が最も小さいもの 𝑑 𝑚 で注目画素を補正 • 処理する画素の順番 – 画素を右図の色のように4種類にラベリング – 青→赤→黄→緑という順番で処理 – 各色内で並列化可能 19 𝑑𝑖 𝑇𝑖 ∈ 𝑇 補正注目画素 |𝑑 𝑚| = min 𝑖∈𝑇 |𝑑𝑖|
  • 20. GCフィルタの各 𝑑𝑖 • 8方向の接平面を考える • アルゴリズムの意味 – 𝑑𝑖:局所的なGC正則化項がゼロ(次ページ) – 最も変化の少ない 𝑑𝑖 で補正 • data-fitting項の増加をimplicitに抑制 20 𝑑1 = 𝑈 𝑥 − 1, 𝑦 + 𝑈 𝑥 + 1, 𝑦 /2 − 𝑈(𝑥, 𝑦) 𝑑2 𝑑3 𝑑4 𝑑5 𝑑6 𝑑7 𝑑8
  • 21. 理論的補足 • 可展面は局所的に接平面で近似可能[2-1] – 可展面では任意の点で主曲率( 𝜅1,2 )のどちらかが0 – 主曲率の片方(絶対値の小さい方)を0にすることがGC正則化につながる • Eulerの定理より 𝑑𝑖 は主曲率と固有角度 𝜃𝑖 から以下のように近似で きる – GCフィルタでは min 𝑖=1,…,8 𝑑𝑖 = 𝑑 𝑚 ≈ min 𝜅𝑖 という離散的な近似 – よって、 𝑑 𝑚 を減らすことは主曲率のsparseな最小化につながる • エネルギーの収束性 – GCフィルタ操作は単調(証明あり)かつ下に有界(≥0) – 単調収束定理により局所解に収束する 21 𝑑𝑖 ≈ 𝜅1 cos2 𝜃𝑖 + 𝜅2 sin2 𝜃𝑖
  • 22. GCフィルタの特徴 • 画像における可展面のメリット[2-4] – エッジやコーナーが保存される – なだらかな勾配グラデーションも保存される – 小さいスケールの特徴に乗ったノイズも除去できる • パラメータフリー • 計算複雑性がO(N) – 従来手法[2-5]の約7倍高速 22 Input 可展面にノイズが乗った画像 split-Bregman[2-6]によるTV最適化 𝜆:小 𝜆:大 GCフィルタ 10 iteration [2-1] Fig.9より引用 でこぼこのような artifactが発生 ノイズが取りきれ ていない 可展面が保存さ れている
  • 23. 適用例 • denoising – iterationは10回程度で十分 – ごましおノイズに強いイメージ 23 [2-1] Fig.8より引用 上段:ガウシアンノイズ 下段:ごましおノイズ GCフィルタ10回 細かいstructureも保存されている Input
  • 24. 他2つのCurvatureフィルタ • GCフィルタ同様の考え方・近似で3x3領域内の計算に落とし込める – MCフィルタ[2-1] – TVフィルタ[2-1] • 効果の違い[2-2] – GC • 特徴を保存 – MC • GCとTVの中間 – TV • 特徴もノイズも除去 24 [2-2] より引用
  • 25. 一般のdata-fitting項を扱う上での応用 • totalのエネルギーを下げないようにするトリック – ここまでdata-fitting項は陽に扱っていないため局所最適化問題となっていた※ • 正則化項の減少量がdata-fitting項の増加量を上回るときに画素値 を更新する(明示的に ℰΦ0 , 𝜆ℰΦ1 を計算) – 勾配法を使ったsolver( )と違いdata-fitting項が解析的でな くてもよい – Spatially Adaptive Regularization[2-1] – 結果としては様々なパターンで sub-optimalに安定してしまう 25 Split-Bregman, Multi-Grid, Primal/Dual Primal/Dual法[2-7] 上記の変更を行った TVフィルタ(iter=30) ※更新によってはdata-fitting項の増加でtotalのエネルギーが増加してしまう可能性もあるため [2-1] Fig.18より引用
  • 26. 参考文献 • [2-1] Gong, Yuanhao & Sbalzarini, Ivo. (2017). Curvature Filters Efficiently Reduce Certain Variational Energies. IEEE Transactions on Image Processing. 26. 1786- 1798. 10.1109/TIP.2017.2658954. • [2-2] Curvature filters are efficient solvers for variational models. https://github.com/YuanhaoGong/CurvatureFilter • [2-3] https://slidesplayer.net/slide/16186926/ • [2-4] M. Ibrahim, K. Chen, and C. Brito-Loeza. (2015). “A novel variational model for image registration using Gaussian curvature.” [Online]. Available: https://arxiv.org/abs/1504.07643 • [2-5] S.-H. Lee and J. K. Seo, “Noise removal with Gauss curvature-driven diffusion,” IEEE Trans. Image Process., vol. 14, no. 7, pp. 904–909, Jul. 2005 • [2-6] T. Goldstein and S. Osher, “The split Bregman method for L1-regularized problems,” SIAM J. Imag. Sci., vol. 2, no. 2, pp. 323–343, 2009. • [2-7] A. Chambolle and T. Pock, “A first-order primal-dual algorithm for convex problems with applications to imaging,” J. Math. Imag. Vis., vol. 40, no. 1, pp. 120–145, 2011. 26