1. Сегментация изображений Сайт курса: http://cvbeginner.blogspot.com/ 1

2. Из прошлой лекции… Цветовые модели Гистограмма Масочные операции Типы шумов Типы фильтров от шума 2

3. Пример сегментации 3

4. Где используется Медицина Обработка космических снимков Векторизация изображений 4

5. Задача Разделить изображение на области связанные между собой по определенным признакам Часто сегментация зависит от задачи 5

6. Типы сегментации Бинарная Области Примитивы Вопрос: Как бы вы сформулировали что такое хорошая сегментация? 6

7. Хорошая сегментация Области сегментированного изображения должны быть однородны по некоторому признаку Внутренние части сегментированных областей должны иметь простую форму и не содержать большого количества мелких отверстий Смежные сегменты должны существенно отличаться по выбранному признаку 7

8. Пространства Чтобы разделить изображение на области нам нужно выбрать признаки по которым будем делить. Вопрос: Какие пространства можно использовать? 8

9. Пространства Яркость Цвет (RGB,HSV другие) Текстурные признаки Пространственные связи … 9

10. Цветовое пространство RGB HSV 10

11. Текстурные характеристики Энтропия Энергия Инерция Локальный диапазон 11

12. Локальный диапазон 12

13. Энтропия 13

14. Метрики Манхеттен (L1) Эвклида (L2) Есть еще метрики… 14

15. Бинарная сегментация Разделить на два класса: обычно объект фон Обычно выбирается порог l из промежутка [0..255] Если значение яркости пикселя больше порога то присваиваем значение 1, иначе 0 15

16. Пример разные пороги 16

17. Реализация Matlab BW = im2bw(I,0.5) OpenCV threshold(Входное изображение, Выходное изображение, Порог, 255, Тип порога); 17

18. Тип порога в OpenCV 18

19. Мяч 19

20. Бинаризация на основе гистограммы Хотим сделать автоматический выбор порога Для этого можно использовать статистику Простой анализ Метод Otsu 20

21. Простой анализ гистограммы Сгладить гистограмму найти два максимума Найти минимум между ними 21

22. Простой анализ гистограммы L1 = max(hist(1:120)); L2 = max(hist(120:255)); T = min(hist(L1:L2)); 22

23. Метод Otsu Идея Гистограмма содержит две моды Оптимальный порог - минимальная взвешенная сумма внутригрупповых дисперсий Matlab Threshold(Исходное, Результат, 0, 255, THRESH_OTSU); OpenCV graythresh(I) 23

24. Метод Otsu Алгоритм Где H(i) гистограмма, дисперсия первой моды распределения Решается перебором или через полную дисперсию 24

25. Метод Otsu Иллюстрация 25

26. Не всегда работает 26 Неравномерность освещения

27. Адаптивная бинаризация Для окрестности R пикселя I(x,y) вычисляется порог T Если I(x,y) > T + C, то B(x,y)=1 иначе B(x,y) = 0 T – среднее по области R T – медианна T – (max – min)/2 C – произвольная константа 27

28. Различные параметры 28

29. Имплементация OpenCV adaptiveThreshold(Исходное изображение, Выходное изображение, 255, алгоритм выбора T, THRESH_BINARY, Размер окна, константа) 29

30. Кластеризация Разделение пространства на несколько однородных зон Вопрос: Как выбрать количество кластеров? 30

31. K-means (К средних) Выбираем случайно K точек в нашем векторном пространстве Для всех точек из выборки приписываем их к классу к которому они ближе всего Пересчитываем центры кластеровна шаг 2 Останавливаемся, когда смещения всех центров масс меньше порога или истекло кол-во итераций 31 Matlab: Demo

32. K-means 6 классов 32 Matlab: Demo

33. Реализация Matlab Kmeans(M,k) OpenCV KMeans2 33

34. Перерыв Вопросы 34

35. Метод Оландера 35

36. В чем минусы? Работает плохо в случае большого количества мелких объектов Не работает на сильно текстурированных объектах 36

37. Методы основанные на разбиении графа Изображение – граф (V-его элементы, E - дуги) Разрез графа Задача: Минимизировать разрез графа 37

38. Методы основанные на разбиении графа 38

39. Методы основанные на разбиении графа X(i) – место расположение узла I F(i) – вектор признаков Для полутоновых изображений F(i) = I(i) Для цветных F(i)=[v,v*s*sin(h),v*s*cos(h)](i), где h,s,v – цветовая кодировка HSV 39

40. Результат 40 Demo: Matlab

41. GrabCut [Rother, Kolmogorov Siggraph’04] 41

42. Минусы Минусы Требует пользователя Плюсы Качественная сегментация 42

43. Реализация OpenCV grabCut(Входное изображение, маска в которой выделены области принадлежащие объекту и фону, прямоугольник внутри которого содержится объект, Выходная маска фона (можно подавать существующую для уточнения), Выходная маска переднего плана, К-во итераций, Режим см. док) См. пример samples/grabcut.cpp 43

44. Выделение краев Задача: Выделить точки по которым проходит разрыв яркости Прямое решение: Взять градиент, например оператор prewittи потом выделить по порогу Вопрос: чем такое решение плохо? 44

45. Толстая линия разрыва 45

46. Связанность областей 46

47. Детектор краев Кенни (Canny) 47

48. Параметры Алгоритма Размер ядра Гаусса ThВерхний порог TlНижний порог (обычно Tl=Th/2) 48

49. Шаги алгоритма Сгладить изображение Гауссом Вычисляем направление градиента и силу градиента Утончаем границы (supress_nonmaxima) Следуем вдоль границ 49

50. Утончение границы (supress_nonmaxima) Если по направлениям градиента (+,-) существует значение с силой больше чем в интересующей точки, то обнуляем точку 50 Вопрос: Почему по направлению градиента а не по области?

51. Следовать вдоль границ Ищем во всем изображении точки, в которых сила градиента больше порога Th Найдя такую точку идем помечаем ее как точку контура и проверяем соседние точки Если есть точки больше порога Tlто переходим в эту точку (шаг 2) 51

52. Реализация Matlab BW = edge(G,’canny’); OpenCV void Canny(Серое входной изображение, Выходной бинарное изображение, порог Th, Порог Tl,Размер аппретуры, Метрика вычисления градиента) 52

53. Обнаружение прямых Задача обнаружить прямы на изображении Вопрос: Чем плох прямой подход как в операторе Кенни? 53

54. Преобразование Хафа (Hough) Идея: Перевести черно-белое изображение в пространство параметров прямой Создать новое изображение с параметрами угол и расстояние 54

55. Преобразование Хафа (Hough) for i=1:N for j=1:M di=rowgrad(I,i,j) dj=colgrad(I,i,j) θ=atan2(di,dj) //Угол r = |i*cos(θ)-j*sin(θ)|//Расстояние A(r, θ)+=(|di|+|dj|)/2//Сила градиента end end A – выходной массив 55

56. Преобразование Хафа (Hough) 56

57. Преобразование Хафа (Hough) 57

58. Реализация Matlab [H,theta,rho] = hough(BW); P = houghpeaks(H) lines = houghlines(BW,theta,rho,P…) OpenCV HoughLines(бинарное изображение, выходной вектор из прямых, шаг дискретизации расстояния, шаг дискретизации угла, порог .. ) 58

59. Вопросы 59