Обзоры методов шумоподавления

Обзор некоторых подходов
к шумоподавлению

Юрий Чернышов

Video Group

CS MSU Graphics & Media Lab

Only for
Maxus 

Содержание
Введение
Источники и виды шумов
Цели шумоподавления
Алгоритмы
Общие сведения
STVF
3D K-SVD
MHMCF
BM3D-SAPCA
Заключение

2
CS MSU Graphics & Media Lab (Video Group)

Only for
Maxus 

Старение носителей информации (например,
отслоение эмульсии)
Артефакты кодирования
Ringing

3

Only for
Maxus 

Зернистость аналаговых носителей
Проблемы при передаче данных по каналам
Плохие сенсоры и условия съемки (белый Гауссов шум)

Echo added Grain

4

Only for
Maxus 

Хорошее шумоподавление повышает степень сжатия:

«YUVSoft Video Denoiser Comparison», 2007
5

Only for
Maxus 

Увеличивается и субъективное качество изображения:

«YUVSoft Video Denoiser Comparison», 2007
6

Only for
Maxus 

Введение
Алгоритмы
STVF
3D K-SVD
MHMCF
BM3D-SAPCA

7

Only for
Maxus 

Классификация алгоритмов
Три вида алгоритмов:
Временные — усреднение текущего кадра с
предыдущими или последующими
Пространственные — усреднение текущей области
(пикселя) кадра с его окружением
Пространственно-временные — наиболее
эффективные, сочетают оба подхода

8

Only for
Maxus 

Последние достижения
Последние достижения основаны на:
Gaussian Scale Mixtures
Bilaterial filtering
NLM
Learned Dictionaries
K-SVD
K-LLD
Частотная фильтрация
Markov Random Field

«BM3D Image Denoising with Shape-Adaptive Principal Component Analysis» (2009)
9

Only for
Maxus 

Введение
Алгоритмы
STVF
3D K-SVD
Multihypotheses temporal-only algorithm
BM3D-SAPCA

10

Only for
Maxus 

STVF: определение шума
Алгоритм подавляет как белый, так и импульсный шум:

Пиксель поврежден импульсным шумом, если он
достаточно (больше, чем на T1) отличается от каждого из
пяти своих соседей.
«A novel content-adaptive video denoising filter» (ICASSP 2005)
11

Only for
Maxus 

STVF: фильтрация
Подавление импульсного шума:
x i−1, j  x i1, j x i , j−1  x i , j1
y ij =
4

Подавление белого шума:
∑ f ∣x− x ij∣∗x
y ij = x ∈S , where S ={x i−1, j , xi1, j , xi , j−1 , x i , j1 , pij }
∑ f ∣x− xij∣
x∈S

⌊T 1 / 8⌋−⌊i /8⌋
f i=2

12

Only for
Maxus 

STVF: регуляризация

{
Нововведением стала регуляризация изображений:
y ij , ∣ yij − xij ∣≤T 2∨ x ij marked as impulsive
z ij = x ij −T 2, y ij x ij −T 2
x ij T 2, y ij x ij T 2

13

Only for
Maxus 

STVF: результаты (1)
Average PSNR (dB) of denoised sequences for noise with variance 16
PSNR, dB
43

41

39

37

Lowpass
35
Median
Weiner
33
Proposed
31

29

27

25

Akiyo Coastguard Foreman Mother Silent Stefan
14

Only for
Maxus 


Source Noisy

15

Only for
Maxus 


Source Proposed

16

Only for
Maxus 


Noisy Proposed

17

Only for
Maxus 

STVF: выводы
Достоинства:
Скорость (линейная сложность, один проход)
Независимость вычислений
Недостатки:
Неочевидность значений T1 и T2
Подавление только пиксельных шумов

18

Only for
Maxus 

Введение
Алгоритмы
STVF
3D K-SVD
Multihypotheses temporal-only algorithm
BM3D-SAPCA

19

Only for
Maxus 

K-SVD: идея метода
Назовем патчем некоторый блок изображения.
Представим каждый патч кадра как линейную
комбинацию известных патчей (атомов) из словаря.
В словаре — порядка 300 атомов 6х6 пикселей каждый.

«Motion-Estimation-Free Algorithm for Video Denoising» (SPIE 2007)
20

Only for
Maxus 

K-SVD: словарь
Качество работы алгоритма напрямую зависит от
словаря.
Необходимо обучать словарь.

Обучение словаря Фильтрация

21

Only for
Maxus 

K-SVD: обучение словаря
Смоделируем изображение: Y = X V , V ~ N 0, 2

Введем некоторую функцию штрафа:
2 2
f error { ij }ij , X =∣Y − X∣ 2
∣ ∣ ∑ ∣ D  ij−Rij X∣ 2
∣ ∣ ∑ ij∣ ij∣0
∣
i , j ∈ i , j ∈

Смысл функции штрафа: результат слабо отличается от
исходного изображения, каждый патч изображения
(извлекается оператором R) представляется вектором
коэффициентов, при этом эти коэффициенты малы.

22

Only for
Maxus 

K-SVD: фильтрация

Поиск представления

Изменение словаря

Получение итогового изображения

23

Only for
Maxus 

K-SVD: поиск представления
Предположим, что X фиксирован.
2
 ij =arg min ∣ D −Rij X ∣ 2∣∣0 
 ∣ ∣ ∣


Для минимизации будем использовать OMP-алгоритм
Пусть d — словарь, r — раскладываемый вектор

Найдем атом с наибольшей корреляцией: k =arg max∣d k r∣
T

k

Вычтем полученную величину из r

Повторим операцию достаточное число раз
24

Only for
Maxus 

K-SVD: изменение словаря
Добавим в словарь то представление каждого патча,
которое мы получили на предыдущем этапе.

D= D∪ D ij для всех i , j

25

Only for
Maxus 
K-SVD: получение
результата
Для получения итогового результата после нескольких
итераций минимизируем следующий функционал, исходя
из предположения, что разложения для каждого патча
фиксированы.

 =arg min ∣ X −Y ∣ 2∑ ∣ D ij −Rij X ∣ 2 
X ∣ ∣2 ∣ ∣2
X i, j

26

Only for
Maxus 

3D K-SVD: расширение для видео

Изменение функции штрафа:
t  t t t
2
f
t± t
video { ijk }ijk , X t , Dt =∣ X t ,Y ∣ 
∣ t 2∣ ∑ ∑ ijk ∣ ijk∣0
∣ ∣ ∑ ∑ ∣∣Dt ijk − Rijk X∣∣2
2
i , j∈ k =t − t i , j ∈ k =t− t

Словарь для текущего кадра будет похож на словарь
для предыдущего

Использование трехмерных атомов (6х6х5 пикселей)

27

Only for
Maxus 

3D K-SVD: результаты (1)
PSNR, dB Comparison of the denoising results
38

37

36

35

34

33

32 K-SVD
31
SW3D
30
NonLocal Means
29
Proposed
28

27

26

25

24

23
5 10 15 20 25 30 35 40 50

Noise Sigma

28

Only for
Maxus 

Source Noisy Filtered

29

Only for
Maxus 


30

Only for
Maxus 


31

Only for
Maxus 


32

Only for
Maxus 

3D K-SVD: выводы
Успешное подавление сильных шумов
Высокое субъективное качество изображения
Баланс скорость/качество (число итераций)
Низкая скорость работы
Наличие словаря не допускает аппаратной
реализации

33

Only for
Maxus 

Введение
Алгоритмы
STVF
3D K-SVD
MHMCF
BM3D-SAPCA

34

Only for
Maxus 

MHMCF: введение
Будем использовать только временную избыточность.

Для каждой точки найдем несколько соответствующих
ей точек на предыдущих кадрах (назовем их гипотезами
компенсации).

Усредним значения гипотез между собой.

«A multihypothesis motion-compensated temporal filter for video denoising» (ICIP 2006)
35

Only for
Maxus 

MHMCF: модель сигнала
Будем использовать следующую модель сигнала:
S0 — текущий пиксель изображения
Zj — ошибка, возникшая из-за смещения объектов и
неверной компенсации движения
Cj — гипотезы компенсации для S0
Nj — шум, который мы хотим подавить
Cm' = Cm + Nm
S0' = S0 + N0

36

Only for
Maxus 

MHMCF: фильтрация (1)
Оценим текущий кадр :
Y = H s0 Z  N , where Y =[s0 ' , c 1 ' ,... c n ' ]T , H =[1, 1...1]T
     

 
s0 = B Y d , where d=E Z n

Постараемся минимизировать разницу между s0 и s0 , 
основываясь на методе наименьших квадратов.
Оценим вектор B , 
B     
 = H T Cov  Z  N −1 H −1 H T Cov  Z  N −1
 

И значение d :
d =−  Z
B

37

Only for
Maxus 

MHMCF: фильтрация (2)
 =[b0, b1, ... bN ]
B

−2
0
b0 = N −2 −2
 k =1  p k 0

−2
p 
b= N
 k =1 −2k −2
p 0

where  2  is the variance of  z n 
p

 2 = 2 
p z
2

38

Only for
Maxus 

MHMCF: оценка параметров
Необходимо оценить значения  0,  p  , z  :

2
 0 — среднее значение 10 минимальных дисперсий
блоков 16х16

z  ,  p : возьмем кадр из шумов компенсации
движения. Найдем блок, который соответствует z .
Посчитаем среднее блока (z ) и дисперсию d = 2  0
p
2

Подставив значения, получим кадр, очищенный от шума.
39

Only for
Maxus 

MHMCF: результаты (1)
Average PSNR (db) for Akiyo sequence

PSNR (dB)

43

41

39

Unfiltered
37
Joint Kalman-Weiner
35
One Hypothesis
33 Two Hypotheses
31 Three Hypotheses

29

27

25
4 7 10 13

Noise sigma

40

Only for
Maxus 


Original Noisy

41

Only for
Maxus 


One Hypothesis Two Hypotheses

42

Only for
Maxus 

MHMCF: выводы
Высокая скорость
Балансирование между скоростью и качеством
Требование хорошей компенсации движения
Необходимость точной оценки параметров

43

Only for
Maxus 

Введение
Алгоритмы
STVF
3D K-SVD
MHMCF
BM3D-SAPCA

44

Only for
Maxus 

BM3D: схема алгоритма (1)

45

Only for
Maxus 


Возьмем пиксель, выделим
его окружение (всего Nel пикселей)
Найдем блоки, схожие со ссылочным (всего Nbr)
Сформируем трехмерный массив

46

Only for
Maxus 


Применим 1D-преобразование (декомпозицию Хаара)
перпендикулярно плоскости блоков
Выполним сложение слоев (фильтр Виннера)
Выполним обратное преобразование
Запишем полученное изображение в результат

47

Only for
Maxus 

SAPCA: расширение BM3D

После поиска блоков:
N br
≤ : выполним обычную фильтрацию
N el

N br
 : выполним Space-Adaptive фильтрацию
N el

48

Only for
Maxus 

SAPCA: схема алгоритма
На входе — Nbr наборов пикселей
Представим каждый набор как столбец (vi) из Nel
пикселей
T
C=[v 1, v 2, ... v N ][v 1, v 2, ... v N ] − матрица вторых моментов
br br

T
U CU =S=diag  s1, s2, ... , s N  , где U −ортонормированная матрица
el

si — отсортированные собственные значения матрицы
Для декомпозиции возьмем первые Ntrim столбцов U
2
N trim=∣{si∣si  }
∣

49

Only for
Maxus 

BM3D-SAPCA: результаты (1)
PSNR (dB) Test Results for Lena (512x512) image

38

33

28

Lena (Unfiltered)
23
Lena (Filtered)

18

13

8
5 10 15 20 25 30 35 50 75 100

Noise Sigma

50

Only for
Maxus 

Source

51

Only for
Maxus 

Noisy (σ = 100)

52

Only for
Maxus 

Filtered

53

Only for
Maxus 

Source

54

Only for
Maxus 

Noisy (σ = 50)

55

Only for
Maxus 

Filtered

56

Only for
Maxus 

BM3D-SAPCA: выводы
Высокий показатель PSNR на всевозможных
уровнях шума
Возможность итерирования для повышения
качества
Скорость (Pentium 2GHz, Matlab, 4 минуты на
изображение 256х256)
Артефакты при сильных шумах

57

Only for
Maxus 

Введение
Алгоритмы
STVF
3D K-SVD
MHMCF
BM3D-SAPCA

58

Only for
Maxus 

Выводы
Существует много различных подходов к поставленной
задаче
Большинство методов допускают баланс между
качеством и скоростью
Самым результативным (объективно) является
последний метод
Самым результативным (субъективно) является метод
со словарем

59

Only for
Maxus 

Список литературы
1. Liwei Guo, Oscar C. Au, Mengyao Ma, Zhiqin Liang, Carman K.M. Yuk
«A multihypothesis motion-compensated temporal filter for video
denoising» (ICIP 2006)
2. «YUVsoft Video Denoiser Comparison» (2007)
3. Kostadin Dabov, Alessandro Foi, Vladimir Katkovnik, and Karen Egiazarian
«BM3D Image Denoising with Shape-Adaptive Principal Component
Analysis» (2009)
4. Matan Protter, Michael Elad «Sparse and Redundant Representations and
Motion-Estimation-Free Algorithm for Video Denoising» (SPIE 2007)
5. Tai-Wai Chan, Oscar C. Au, Tak-Song Chong, Wing-San Chau «A novel
content-adaptive video denoising filter» (ICASSP 2005)

60

Only for
Maxus 

Вопросы

?
61

Обзоры методов шумоподавления

Recommandé

Recommandé

Contenu connexe

Tendances

Tendances (20)

Similaire à Обзоры методов шумоподавления

Similaire à Обзоры методов шумоподавления (20)

Plus de MSU GML VideoGroup

Plus de MSU GML VideoGroup (13)

Обзоры методов шумоподавления