Оценка уровня шума для видео

Оценка уровня
шума для видео
Борис Кумок
Video Group
CS MSU Graphics & Media Lab

09.09.2010 1

Содержание доклада
Введение
Метод гистограмм
Метод BBC
Temporal SO
Метод градиентов

MSU Graphics & Media Lab (Video Group) 2

Введение

Определение уровня шума требуется для:
 Подавление шума
 Сжатие видео
 Сегментация
 Определение границ

Для большинства приложений критична
точность оценки, а для видео важна еще и
скорость.


Постановка задачи
По входному изображению определить уровень шума.
Полагая, что шум является белым с нормальным
распределением (AWGN), сведем задачу к
определению σ.
 x2

p ( x)   1
2
e 2 2

Additive noise model
g ( x, y)  f ( x, y)  n( x, y)
MSU Graphics & Media Lab (Video Group) http://en.wikipedia.org/wiki/Normal_distribution 4

Способы решения
Методы можно разделить на следующие классы:

Intra-frame
 Filter-based
 Block-based
 Wavelet-based
 Histogram-based
Inter-frame


 Введение
 Метод гистограмм
 Метод BBC
 Temporal SO
 Метод градиентов


Метод гистограмм
Предполагается, что видео снято со статической
камеры

Схема алгоритма:
1. вычисление разности кадров
2. приближение гистограммы разности кадров
гаусианом
3. дисперсия шума предполагается равной дисперсии
найденного гаусиана

Spatiotonal adaptivity in Super-Resolution of Undersampled Image
MSU Graphics & Media Lab (Video Group) Sequences,” Ph.D. Thesis, Delft University of Technology, 2006.
7

1. Вычисление разности кадров
Наиболее простой метод оценки дисперсии шума:

где I1, I2 – два кадра
1 1 2
 noise  2 var I1  I 2   2  N  I1  I 2  
2 1 N – кол-во пикселей
 N  в кадре

Движущиеся
объекты искажают
такую оценку

8

2. Приближение гистограммы гаусианом
Производится поиск гаусиана, приближающего
гистограмму разности
  x  m 2 
g x  
A
exp 
 2 2 

  2   
   2 noise
2 2

Приближение производится
методом Nelder-Mead,
который позволяет
минимизировать MAE (mean
absolute error).
9

Свойства алгоритма
Достоинства:
• Может быть использован для шумов с не
нормальным распределением.
Недостатки:
• Не работает для «сложных» видов глобального
движения.
Особенности алгоритма:
• Возможно адаптировать алгоритм для обработки
видео с нестатическим фоном (используя
компенсацию движения)
10

 Метод BBC
 Temporal SO


Метод BBC
Идея

Идея алгоритма:
1. Вычисление разности кадров (по модулю)
2. Размытие
3. Вычисление минимума каждой строки
4. Результирующая оценка производится на основе
среднего значения минимумов строк
5. Минимизация по времени
Использование минимумов позволяет отделить шум от движения.
При этом полагается, что в каждой строке есть неподвижная
область.
MSU Graphics & Media Lab (Video Group) "Video Noise Reduction" BBC Research Dept. 1984

Метод BBC
1. Вычисление разности кадров
Вычисляется разность между текущим и обработанным
предыдущим кадром. Разность берется по модулю.

При отсутствии движения разность содержит только шум и
имеет «полугаусово» распределение:

  2    0.8
Распределение
шума после  2  1  2   2  0.36 2
вычитания
σ – дисперсия шума,
кадров σ’ – получившаяся дисперсия
μ – получившееся матожидание


Метод BBC
2. Размытие
Размытие производится простым прямоугольным усреднением без
весов. Предлагаемый размер фильтра – 15 x 5.
После размытия распределение становится близким к
нормальному. Матожидание сохраняется, а дисперсия
уменьшается пропорционально размеру фильтра.

  2 
Распределение
шума после  2   2 n  1  2   2 n
применения
n – размер фильтра
фильтра
σ – дисперсия шума
σ’’ – дисперсия после размытия


Метод BBC
3. Вычисление минимума строк
Для каждой строки находится ее минимальное значение. Это
позволяет отделить шум от движения.

Полагается, что в каждой строке
есть область без движения.

Т.к. из-за размытия пикселы не независимы, для вычисления
минимума они берутся с шагом равным размеру фильтра.


Метод BBC
Взятие минимума сдвигает матожидание влево и уменьшает
дисперсию. Точные значения изменений зависят от количества
минимизируемых величин (ширины строк).

m 1
pm x   mpx   px dx 


x
 


m – количество величин
p(x) – распределение после размытия
pm(x) – распределение минимума

Распределение минимума m нормально
распределенных случайных величин


Метод BBC
4. Вычисление среднего
Матожидание минимума строк E вычисляется как среднее
минимумов. Используя связь распределений можно найти сигму
шума.


  2 
 2  1  2   2 n
E    k m 
E – среднее минимумов строк
km – константа, зависящая от ширины строки


Метод BBC
5. Минимизация по времени
Для повышения точности оценку шума дополнительно
минимизируют, т.е. новая оценка равна минимуму старой и
текущего кадра.

min  t ,  
 t 1  
 , если сменилась сцена

Если произошла смена сцены, то минимум не используется. За
обнаружение таких смен отвечает специальный детектор.


Метод BBC
Обнаружение смены сцен
Для каждой разности кадров считается сумма по всем пикселям.
При смене сцен значение этой суммы резко возрастет.

Такой детектор плохо работает на сложных переходах между
сценами (затемнение, проявление) или когда сцены содержат
много движения.

Поэтому предлагается каждые 5 секунд автоматически
генерировать сигнал смены сцен, если детектор не срабатывал
10 секунд.


Метод BBC
6. Защита от движения
Т.к. для работы алгоритма необходимо наличие неподвижных
областей, то кадры с большим количеством движения
предлагается пропускать.

Полагается, что движение
когда-нибудь кончается.

Детектор движения
Для разности кадров вычисляются суммы пикселей в строках.
Детектор срабатывает, если разность максимальной и
минимальной сумм больше некоторого порога.

Метод BBC
• Метод разработан с учетом эффективной
реализации в железе.

• Слишком сильные предположения.

• Существует усложнение для уровней яркости.


 Метод BBC
 Temporal SO


Temporal SO
Идея

1. Образуем из набора кадров 3D стопку
2. Разобьем ее на блоки
3. Выберем наиболее «гладкие» блоки
1. Гладкие пространственно (S)
2. Гладкие временно (T)
3. Смешано гладкие (ST, VT, HT)
4. Вычислим дисперсию выбранных блоков
5. Получим результирующую оценку шума

M. Ghazal, A. Amer, and A. Ghrayeb, Structure-Oriented Spatio-
MSU Graphics & Media Lab (Video Group) Temporal Video Noise Estimation, IEEE 2006
23

Temporal SO
Оценка гладкости

Гладкость блоков
определяется с
помощью детектора
границ.

 k   I k i 
i

Мера гладкости – сумма
сверток по всем пикселам
блока.

24

Temporal SO
Вычисление дисперсии
Блоки могут быть гладкими во времени (low-motion), но совсем не
гладкими пространственно (текстура). Поэтому меры гладкости не
смешиваются, для каждого типа детектора есть своя. Дисперсия
различных блоков тоже считается по-разному.

1. для S и T
1. считается дисперсия в слоях (S или T)
2. дисперсия блока полагается среднему дисперсий его слоев
2. для ST, VT и HT
1. дисперсия считается по целому блоку

25

Temporal SO
Алгоритм

1. Для каждого направления:
 Выбрать N наиболее гладких по этому
направлению блоков.
 Для каждого выбранного блока
 Если блок гладок в S (T), то дисперсия в нем равна
среднему дисперсий по слоям S (T).
 Если блок гладок в ST, VT или ZT, то дисперсия
считается по всему блоку обычным образом.
 Дисперсия направления равна среднему (или
медиане) дисперсий блоков.
2. Сигма шума равна среднему (медиане)
дисперсий по направлениям.

26

Temporal SO
Алгоритм
Для каждого направления
Найти N наиболее гладких блоков

S T ST VT ZT Набор N блоков
гладких по направлению.

Дисперсия в слоях Дисперсия по всему
Усреднение блоку
Дисперсия блоков

Медиана блоков одного направления
Дисперсия
σS σT σST σVT σZT
для направления

Медиана σ
27

Temporal SO
• Сравнительно быстрый алгоритм.

• Требует много дополнительной памяти.

• Является развитием аналогичного пространственного
метода. Качество работы зависит от детектора границ.

Temporal SO
Сравнение

Средняя ошибка для
последовательностей
Prlcar, Tennis, Train,
Football, Car и
Flowergarden и уровней
шума 20, 30, 40 dB.

29

 Метод BBC
 Temporal SO


Метод градиентов
Алгоритм

1. Вычисление градиентов (вейвлет преобразование)
1. Пространственных
2. Временных

2. Получение гистограмм длин градиентов
3. Выбор «лучшей» гистограммы
1. Вычисление параметров σ для пространственной и временной
моделей
2. Оценка Колмогорова-Смирнова

4. Получение оценки дисперсии шума

Noise estimation for video processing based on spatial-temporal
MSU Graphics & Media Lab (Video Group) gradient histograms, IEEE June 2006.
31

Вычисление градиентов
Пространственные градиенты вычисляются с помощью
2D вейвлет преобразования. HL и LH области будут
содержать компоненты градиентов.

Исходное изображение Преобразование Хаара

32

Вычисление градиентов

Временные градиенты вычисляются как
одномерная свертка последовательных кадров

Входные данные вейвлет преобразования

33

Вычисление гистограмм длин
1. Длины градиентов вычисляются по формулам:
длины временных градиентов: длины пр-х градиентов:

GT r , t   HT r , t   HT r  q, t  GS r , t   HLr , t   LH r , t 
2 2 2 2

q – произвольно выбранный вектор
r – вектор координат точки

2. Используя приведенные формулы,
вычисляются гистограммы длин:
hGT , hGS  гистограммы длин градиентов

3. Полученные гистограммы затем размываются
34

Модель распределения
Полагая, что шум имеет нормальное распределение,
строятся модели распределения длин градиентов:
GT , GS ~ Rayleigh  


X , Y ~ N 0,  2   Z  X  Y ~ Rayleigh  2 2

x exp  
Распределение Райелиха:  x2
px,    , F x,    1  exp  
2 2  x2
 2 2 2

Для каждой модели выберем параметр σ с помощью
метода максимального правдоподобия:
 ( x )  arg max L ( x ,  ) Функция Lx,     pxi ,  
 правдоподобия: xi

MSU Graphics & Media Lab (Video Group) http://en.wikipedia.org/wiki/Rayleigh_distribution. 35

Модель распределения
Распределение Райелиха:
p  x,   
x exp  
 x2
2 2
2

  arg max p , x 
x

  arg max hG k
x

MSU Graphics & Media Lab (Video Group) http://en.wikipedia.org/wiki/Rayleigh_distribution. 36

Выбор «лучшей» гистограммы
Точность каждой из построенных моделей оценивается с
помощью теста Колмогорова-Смирнова. Для каждой
модели вычисляется значение δ по формуле:

  max Fn x   F x,  
x

1 если Gi  x
Fn x   i 1 
1
n
n
F x,    1  exp  
 x2
2 2
0
Количество градиентов с длиной Модельная функция
меньшей x распределения длин
градиентов

37

Получение оценки
Выбор «лучшей» гистограммы (S или Т) производится
согласно соотношению:

 k  arg max hG Наиболее «частая»
S , если  S  S   T  T k
длина градиентов
k 
T , иначе Оценка точности из теста
k Колмогорова-Смирнова

Итоговая оценка дисперсии
шума вычисляется по    k  C k k C=1.25
формуле:

38

Получение оценки

Для увеличения
стабильности оценку
дополнительно
сглаживают:

 f t    t    f t  1 2

39


• сравнительно высокая точность оценки

• предполагается использование совместно с методами
работающими в вейвлет пространстве

40

Сравнение
Средняя ошибка по 8 последовательностям для различных уровней шума.

Средняя ошибка по всем уровням шума для различных последовательностей.

41

Сравнение
Средняя ошибка по 8 последовательностям для различных уровней шума.
4
3,5 Temporal gradient
3 Spatial gradient
2,5 MAD
2 Moment matching
1,5 CDF
1 BBC
0,5
Structure oriented
0
0 5 10 15 20 25 30

Средняя ошибка по всем уровням шума для различных последовательностей.
4,5
4
3,5 Temporal gradient
3
2,5 Spatial gradient
2 MAD
1,5
1 Moment matching
0,5
0 CDF
BBC
ile

e
al
s
.

s

ta
an

ar

at
Bu

ni

tb

a
ob
G

Structure oriented
n
m

g

en
o
Te

ar
r

M

Fo
s

we

R
le

C
Sa

o
Fl

42

Сравнение

Время работы с 50 кадрами размера 352 x 288

43

Список литературы
1. J. O. Drewery, R. Storey, and N. E. Tanton, "Video Noise Reduction" BBC Research Dept.
Rep. BBC RD 1984/7, 1984
2. T. Kwaaitaal-Spassova G. deHaan and O.A. Ojo, “Automatic 2-d and 3-d noise filtering for high
quality television receivers,” International Workshop on Signal Processing and HDTV, vol. VI,
pp. 221–230, 1996.
3. V. Zlokolica, A. Pizurica, W. Philips, "Noise estimation for video processing based on spatial-
temporal gradient histograms" , IEEE Signal Processing Letters, vol. 13, no. 6, pp. 337-340,
June 2006.
4. T.Q. Pham, “Spatiotonal adaptivity in Super-Resolution of Undersampled Image Sequences,”
Ph.D. Thesis, Quantitative Imaging Group, Delft University of Technology, 2006.
5. M. Ghazal, A. Amer, and A. Ghrayeb, "Structure-Oriented Spatio-Temporal Video Noise
Estimation", in Proc. IEEE Int. Conference on Acoustics, Speech, and Signal Processing
(ICASSP), Toulouse, France, May 2006, pp. 845-848.


Вопросы

?

Оценка уровня шума для видео

Recommandé

Recommandé

Contenu connexe

Tendances

Tendances (8)

En vedette

En vedette (8)

Similaire à Оценка уровня шума для видео

Similaire à Оценка уровня шума для видео (20)

Plus de MSU GML VideoGroup

Plus de MSU GML VideoGroup (20)

Оценка уровня шума для видео