1. Выделение объектов
Антон Конушин
Computer science club, Екатеринбург
13-15 апреля 2012 года
2. Задача выделения объекта
• Выделение объектов
• Где на изображении (и есть ли)
самолет?
• Структурный выход
• Нужно выдать ограничивающий
прямоугольник
4. Насколько задача сложна?
Найдём стул в этом изображени
Мусор
Простое сопоставление шаблонов не решает задачу
Сложный фон, разные ракурсы, внутриклассовая изменчивость объектов
5. Скользящее окно
Сканирование изображения окном фиксированного
размера – хорошая идея
• Рассматриваем
только
прямоугольную
область (окно)
• Если выбрали точно,
то в эту область
попадёт только лицо
• Просмотрим все
области, «сканируя»
окном изображение
• Каждую область будем обрабатывать независимо
7. Классификация окон
• Фактически, разделяем изображение на множество
перекрывающихся окон
• Сформулируем задачу выделения объектов как задачу
классификации окна – объект / не объект
• Для обучения классификатора будем собирать выборки
окон с объектами и без объектов Решающая
граница
Фон
Где мониторы?
Мониторы
Мешок фрагментов
В пространстве признаков
8. Схема метода
Обучающие Обучение
изображения Метки
Обучение
Признаки Обученный
классифика классификатор
изображения
тора
9. Схема метода
Обучающие Обучение
изображения Метки
Обучение
Признаки Обученный
классифика классификатор
изображения
тора
Применение
Предсказание
Признаки Обученный
изображения классификатор Машина
10. Признаки пикселей
Пространство
Пространство Пространство
цветов L*a*b*
цветов RGB цветов HSV
Градиенты в каждом Наличие и ориентация
пикселе края в каждом пикселе
11. Использование напрямую
• Можно ли использовать признаки
всех пикселей напрямую?
• Можно, если все изображения для
классификации будут одинакового
размера
• Нормализуем изображения, т.е.
приведем их к одному размеру
• Вытянем изображение в вектор,
признаки пикселей будут
элементами вектора
Для распознавания, изображение должно описываться вектор-
признаком фиксированной длины!
12. Агрегирование
• Вместо использования признаков напрямую, можно
вычислить какие-то общие характеристики для объекта
(«агрегирование» признаков)
• Гистограммы – стандартный способ непараметрического
описания распределения признаков
Space Shuttle
Cargo Bay
Images from Dave Kauchak
13. Квантование признаков
• Как построить гистограмму для признаков, которые
изменяются непрерывно?
• Или разрешение слишком большое?
• «Квантование» - отображение признаков на меньшее
разрешение
• Пр: все направления градиента разбиваем на 8 вариантов
• Каждый вариант нумеруем от 1 до 8
14. Квантование признаков
• Есть фотографии тигров и медведей
• Хотим научиться отличать одни от других по цвету
• Оптимально ли использовать гистограмму цветов на
интервале от [0,255]?
• Не все цвета встречаются!
15. Адаптивное квантование
• Хотим разбить элементы (пр. пиксели) на часто
встречающиеся группы
• Затем можем каждый элемент сопоставить своей
группе (дать ему номер группы)
• Кластеризация!
16. Кластеризация
• Дана обучающая выборка
m
X m x1 , ..., x m xi R
• Объекты независимы и взяты из некоторого неизвестного
распределения
xi (x)
• цель: для всех новых значений x оценить значения x
X2
X1
17. Кластеризация K-cредними
• Минимизируем сумму квадратов Евклидовых
расстояний между точками xi и ближайшими
центрами кластеров mk
D( X , M ) ( xi mk ) 2
cluster k point i in
cluster k
• Алгоритм:
• Случайно инициализируем K центров кластеров
• Повторяем до сходимости:
• Назначаем каждую точку ближайшему центру
• Пересчитываем центр каждого кластера как среднее
всех назначенных точек
27. Алгоритм К-средних
• Однопараметрический
• Требует знания только о
количестве кластеров
• Рандомизирован
• Зависит от начального
приближения
• Не учитывает строения
самих кластеров
• Часто применяется
28. Для нашего примера
• Зададим количество кластеров (например, 100)
• Кластеризуем
• Будут кластеры в белой, зеленой, черной,
оранжевой областях
29. Функции сравнения гистограмм
K
• Histogram intersection
(нормализованные гистограммы)
D (hi , h j ) 1 min hi ( m ), h j (m )
m 1
N
• L1 distance D( h1 , h2 ) | h1 (i) h2 (i) |
i 1
• χ2 distance D( h1 , h2 )
N
h1 (i) h2 (i) 2
i 1 h1 (i) h2 (i)
• Quadratic distance (cross-bin)
D (h1 , h2 ) Aij ( h1 (i) h2 ( j)) 2
i, j
Jan Puzicha, Yossi Rubner, Carlo Tomasi, Joachim M. Buhmann: Empirical Evaluation of
Dissimilarity Measures for Color and Texture. ICCV 1999
30. Проблемы сравнения гистограмм
?
• Все метрики сравнения гистограмм чувствительны к размеру
ячеек
• Можно использовать более широкие ячейки, но при этом
теряем «разрешающую способность»
33. Пример: HOG
• Идея была изначально
предложена для пешеходов, но
затем стала широко применяться
• Прямоугольное окно 64 x 128
пикселов разобьём на ячейки
(cells) 8 x 8 пикселей
• В каждой ячейке посчитаем
гистограмму ориентаций
градиентов (8 корзин)
• Можем нормализовать не каждую
гистограмму отдельно, а
объединяя их в блоки 2x2 и тогда
нормализуя вместе
• Много параметров для настройки
Navneet Dalal, Bill Triggs,Histograms of Oriented Gradients for Human Detection, CVPR 2005
35. Общая схема
Посчитаем
Вычислим Определим
Квантуем статистику по
признаки по область для
признаки выбранной
изображению вычисления
области
71% 29%
RGB Квантование на 10 Посчитанная
уровней гистограмма
Теперь нужно обучить классификатор по этим признакам
36. Линейный классификатор
• Найдем линейную функцию (гиперплоскость) и разделим
положительные {y=+1} и отрицательные {y=-1} примеры {x}
x i положитель ные : xi w b 0
x i отрицатель ные : xi w b 0
Какая
гиперплоскость
наилучшая?
37. Метод опорных векторов (SVM)
• Support Vector Machine (SVM)
• Найдем гиперплоскость, максимизирующую отступ между
положительными и отрицательными примерами
C. Burges, A Tutorial on Support Vector Machines for Pattern Recognition, Data Mining
and Knowledge Discovery, 1998
38. Метод опорный векторов
• Найдем гиперплоскость, максимизирующую отступ между
положительными и отрицательными примерами
xi положитель ные ( yi 1) : xi w b 1
xi отрицатель ные ( yi 1) : x i w b 1
Для опорных векторов, x i w b 1
Расстояние от точки до | xi w b |
гиперплоскости: || w ||
Поэтому отступ равен 2 / ||w||
Опорные вектора Отступ
C. Burges, A Tutorial on Support Vector Machines for Pattern Recognition, Data Mining
and Knowledge Discovery, 1998
39. Поиск гиперплоскости
1. Максимизируем 2/||w||
2. Правильно классифицируем все данные:
x i положительные ( yi 1) : xi w b 1
x i отрицательные ( yi 1) : x i w b 1
• Квадратичная оптимизационная задача:
1 T
• Минимизируем w w
2
При условии yi(w·xi+b) ≥ 1
• Решается с помощью методом множителей Лагранжа
C. Burges, A Tutorial on Support Vector Machines for Pattern Recognition, Data Mining
and Knowledge Discovery, 1998
40. Поиск гиперплоскости
• Решение: w i i yi x i
Обученные Опорные
веса вектора
• Для большей части векторов вес = 0!
• Все вектора, для которых вес >0 называются
опорными
• Определяется только опорными векторами
C. Burges, A Tutorial on Support Vector Machines for Pattern Recognition, Data Mining
and Knowledge Discovery, 1998
41. Поиск гиперплоскости
• Решение: w i i yi x i
b = yi – w·xi для любого опорного вектора
• Решающая функция:
w x b i i yi xi x b
• Решающая функция зависит от скалярных произведений (inner
product) от тестового вектора x и опорных векторов xi
• Решение оптимизационной задачи также требует вычисления
скалярных произведений xi · xj между всеми парами векторов
из обучающей выборки
C. Burges, A Tutorial on Support Vector Machines for Pattern Recognition, Data Mining
and Knowledge Discovery, 1998
42. Реальный случай
Вводим дополнительные «slack»
ξj переменные: T
1 ,..., n
n
1 T
Минимизируем w w C i
2 i 1
ξi
При условии yi ( wx i b) 1 i
С – параметр регуляризации
43. Нелинейные SVM
• На линейно разделимых данных SVM работает отлично:
0 x
• Но на более сложных данных не очень:
0 x
• Можно отобразить данные на пространство большей размерности и
разделить их линейно там:
x2
0 x Slide credit: Andrew Moore
44. Нелинейные SVM
• Идея: отображение исходного пространства
параметров на какое-то многомерное пространство
признаков (feature space) где обучающая выборка
линейно разделима:
Φ: x → φ(x)
Slide credit: Andrew Moore
45. Нелинейные SVM
• Вычисление скалярных произведений в многомерном
пространстве вычислительно сложно
• The kernel trick: вместо прямого вычисления преобразования
φ(x), мы определим ядровую функцию K:
K(xi , xjj) = φ(xi ) · φ(xj)
• Чтобы все было корретно, ядро должно удовлетворять условию
Мерсера (Mercer’s condition)
• Матрица K(xi,xj) должна быть неотрицательно определенной
• С помощью ядра мы сможем построить нелинейную решающую
функцию в исходном пространстве:
y K (x , x ) b
i
i i i
C. Burges, A Tutorial on Support Vector Machines for Pattern Recognition, Data Mining
and Knowledge Discovery, 1998
46. Для гистограмм
• Поскольку вектор-признак у нас – гистограмма,
нам потребуются специальные ядра
• Ядро пересечения гистограмм:
N
I (h1 , h2 ) min( h1 (i ), h2 (i ))
i 1
• Обобщенное гауссово ядро:
1 2
K (h1 , h2 ) exp D (h1 , h2 )
A
• D может быть евклидовым расстоянием, χ2 , и т.д.
J. Zhang, M. Marszalek, S. Lazebnik, and C. Schmid, Local Features and Kernels for
Classifcation of Texture and Object Categories: A Comprehensive Study, IJCV 2007
47. Обучение детектора
• Сколько на изображении объектов «автомобиль» и сколько
фрагментов фона?
• Выделение объектов ассиметричная задача: объектов гораздо
меньше, чем «не-объектов»
• Вдобавок, класс «не объект» очень сложный – нужно много
разных данных для обучения
• Для SVM желательно одинаковое количество и фона, и объекта
48. Пример – поиск «торса»
• Хотим построить детектор «верхней части тела и
головы»
• Воспользуемся схемой HOG + линейный SVM
• Данные
• 33 фрагмента фильмов из базы Hollywood2
• 1122 кадров с размеченным объектами
• На каждом кадре отмечены 1-3 человека, всего
1607 людей, это маловато
51. Искаженные примеры
Из 1607 эталонных примеров
получили ~32000 искаженных
(jittered) примеров
Сколько отрицательных примеров
можно набрать из 1100 кадров?
• Гораздо больше 32k.
Вспомним SVM – нам нужны
«трудные примеры» для фона. Как
их найти, если мы всего можем
выбрать ~32k для фона?
52. Бутстраппинг (Bootstrapping)
• Выбираем отрицательные
примеры случайным
образом
• Обучаем классификатор
• Применяем к данным
• Добавляем ложные
обнаружение к выборке
• Повторяем
• Смысл:
• Ложные обнаружения для первого детектора – сложные (hard
negative)
• Пусть наша выборка фона будет маленькой, но сложной и
представительной
I. Laptev "Improvements of Object Detection Using Boosted Histograms« ВMVC 2006
62. Резюме алгоритма
• Используем скользящее окно
• Строим вектор-признак
• Выбираем признаки пикселей для расчёта
• Определяем вид агрегирования (гистограмма, метод
построения)
• Выбираем пространственное разбиение (окно целиком,
сетка, пирамида)
• Обучаемый SVM
• Линейный
• Нелинейный (нужно выбрать тип ядра)
• Для обучения:
• Размножаем (шевелим) эталонные примеры объектов
• Используем схему bootstrapping для выбора примеров
фона
63. Требования к детектору
• Для изображения в 1МП нужно просмотреть порядка
1М окон (например, для случая лиц)
• На одном изображении обычно 0-10 лиц
• Чтобы избежать ложных обнаружений (false positives)
ошибка 2го рода должна быть ниже 10-6
• Нужно быстро отбрасывать ложные окна
64. Детектор Violo-Jones
• Основополагающий метод для поиска объектов
на изображении в реальном времени
• Обучение очень медленное, но поиск очень быстр
• Основные идеи:
• Слабые детекторы как признаки объектов
• Интегральные изображения для быстрого вычисления
признаков
• Бустинг для выбора признаков
• Каскад (Attentional cascade) для быстрой отбраковки окон
без лица
P. Viola and M. Jones. Rapid object detection using a boosted cascade of
simple features. CVPR 2001.
P. Viola and M. Jones. Robust real-time face detection. IJCV 57(2), 2004.
65. Вспомним сопоставление шаблонов
Найти стул в изображении
Что если воспользоваться маленькими фрагментами?
Искать не стул, а часть стула?
66. Части объектов
Что если воспользоваться маленькими фрагментами? Искать не стул, а
часть стула?
Не так плохо, срабатывает на ножках
67. Слабые детекторы
Определим семейство визуальных признаков,
которые могут использоваться как слабые
классификаторы («слабые детекторы»
Берём изображение на вход. Бинарный отклик будет выходом.
Получаем слабый детектор.
70. Интегральные изображения
• Значение каждого пиксела
(x,y) равно сумме значений
всех пикселов левее и выше
пикселя (x,y) включительно
• Интегральное изображение (x,y)
рассчитывается за один
проход
73. Вычисление суммы в прямоугольнике
• Пусть A,B,C,D – значения
интегрального изображения
в углах прямоугольника
D B
• Тогда сумма значений
пикселов в исходном
изображении вычисляется
по формуле: A
C
sum = A – B – C + D
• 3 операции сложения для
любого прямоугольника
75. Выбор признаков
• Для окна поиска 24x24 пиксела, число возможных
прямоугольных признаков достигает ~160,000!
76. Выбор признаков
• Для окна поиска 24x24 пиксела, число возможных
прямоугольных признаков достигает ~160,000!
• В процессе поиска вычислять все признаки
нереально
• Хороший классификатор должен использовать
лишь маленькое подмножество всевозможных
признаков
• Вопрос - как выбрать такое подмножество?
77. Бустинг
• Бустинг – схема классификации, основанная на
комбинировании слабых классификаторов в
более точный комитетный
• Слабый классификатор должен быть лучше монетки
• Обучение состоит из нескольких этапов усиления
(boosting rounds)
• На каждом этапе выбираем слабый классификатор,
который лучше всех сработал на примерах, оказавшихся
трудными для предыдущих классификаторов
• «Трудность» записывается с помощью весов,
приписанных примерам из обучающей выборки
• Составляем общий классификатор как линейную
комбинацию слабых классификаторов
Y. Freund and R. Schapire, A short introduction to boosting, Journal of
Japanese Society for Artificial Intelligence, 14(5):771-780, September, 1999.
83. AdaBoost (Discreet)
Пусть есть набор {h} – слабых классификаторов
Пусть T: (x1, y1), …, (xm, ym) где xi X , yi {1,1}
Ошибка ht
Инициализируем D1(i) = 1/m
рассчитывается с
Для k 1, K учётом Dt
1. Обучим hk с минимальной k Pri ~ D [hk ( xi ) yi ]
k
ошибкой
1 1 k Вес Adaптируется. Чем
2. Рассчитаем вес гипотезы t ln
2 k больше e k тем меньше
3. Для всех i = 1 to m ak
Dk (i ) e k if hk ( xi ) yi
Dk 1 (i ) Увеличиваем вес
Zk e
k
if hk ( xi ) y i примера, если на нём
алгоритм ошибается
Результат:
K Zt нормализующий коэф.
H ( x) sign k hk ( x )
k 1
Линейная комбинация
85. Эмпирический риск
• Как показали Freund и Schapire
1
k k
2
Remp exp 2 k2
k
• Эмпирический риск падает по экспоненте –
высокая скорость обучения
86. Бустинг
• Плюсы • Минусы
+ Универсальность
– Трудность определения
нужного числа итераций
+ Высокая скорость
сходимости обучения (зачастую,
ошибка на контроле
+ Высокая обобщающая продолжает падать и
способность после нуля эмпирического
риска)
+ Возможность очень
эффективной
программной реализации
и распараллеливания
+ Простота метода и
отсутствия параметров
87. Бустинг для поиска лиц
• Определяем слабые классификаторы на основе
прямоугольных признаков
• Для каждого этапа бустинга:
• Вычисляем каждый прямоугольный признак на каждом
примере
• Выбираем наилучший порог для каждого признака
• Выбираем наилучший признак / порог
• Перевзвешиваем выборку
• Вычислительная сложность обучения: O(MNK)
• M этапов, N примеров, K признаков
88. Слабые классификаторы
• Определяем слабые классификаторы на основе
прямоугольных признаков
Значение признака
1 if f t ( x ) t
ht ( x )
0 порог
окно
89. Бустинг для поиска лиц
• Первые два признака, выбранные бустингом:
Эта комбинация признаков дает 100% detection
rate и 50% false positive rate
90. Бустинг для поиска лиц
• Классификатор из 200 признаков дает 95% точность и
долю ложноположительных срабатываний 1 из 14084
Недостаточно хорошо!
ROC-кривая
91. Каскад (Attentional cascade)
• Начинаем с простых классификаторов, которые
отбрасывают часть отрицательных окон, при этом
принимая почти все положительные окна
• Положительный отклик первого классификатора
запускает вычисление второго, более сложного,
классификатора, и т.д.
• Отрицательный отклик на любом этапе приводит
к немедленной отбраковке окна
T T T
IMAGE Classifier 1 Classifier 2 Classifier 3 FACE
SUB-WINDOW
F F F
NON-FACE NON-FACE NON-FACE
92. Каскад
• Медленные классификаторы применяются только к
некоторым окнам ⇒ существенное ускорение
• Управляем сложностью/скоростью классификатора:
• Количество опорных векторов [Romdhani et al, 2001]
• Количество признаков [Viola & Jones, 2001]
• Видом ядра SVM [Vedaldi et al, 2009]
93. Каскад
• Цепочка классификаторов с
Receiver operating
каждым уровнем становится более characteristic
сложной, ошибка второго рода % False Pos
постоянно снижается 0 50
vs false neg determined by
100
% Detection
0
T T T
IMAGE Classifier 1 Classifier 2 Classifier 3 FACE
SUB-WINDOW
F F F
NON-FACE NON-FACE NON-FACE
94. Каскад
• Уровень обнаружения и доля ложноположительных
срабатываний каскада можно оценить как
произведение соответствующих уровней ошибок
каждого этапа
• Уровень обнаружения 0.9 и доля
ложноположительных срабатываний порядка 10-6
достигается с помощью каскада из 10 этапов, если
на каждом этапе уровень обнаружения примерно
равен 0.99 (0.9910 ≈ 0.9) и доля
ложноположительных примерно 0.30 (0.310 ≈ 6×10-6)
T T T
IMAGE Classifier 1 Classifier 2 Classifier 3 FACE
SUB-WINDOW
F F F
NON-FACE NON-FACE NON-FACE
95. Обучение каскада
• Задаем требуемые значения уровня обнаружения и
доли ложноположительных срабатываний для
каждого этапа
• Добавляем признаки до тех пор, пока параметры
текущего этапа не достигнут заданного уровня
• Приходится понижать порог AdaBoost для максимизации
обнаружения (в противоположенность минимизации общей
ошибки классификации)
• Тестирование на отдельном наборе (validation set)
• Если общий уровень ложноположительных
срабатываний недостаточно низок, добавляем
очередной этап
• Ложные обнаружения на текущем этапе
используются как отрицательные примеры на
следующем этапе
96. Тренировочная выборка
• 5000 лиц
• Все фронтальные,
уменьшенные до
24x24 пикселов
• Все нормированы
• 300М отрицательных
примеров
• 9500 изображений без лиц
• Большая изменчивость
• Разные люди
• Освещение
• Поза лица
97. Производительность системы
• Обучение: “недели” на 466 MHz Sun рабочей
станции
• 38 этапов, всего 6061 признаков
• В среднем 10 признаков оцениваются для каждого
окна на тестовой выборке
• “На 700 Mhz Pentium III, детектор лиц
обрабатывает одно изображение 384x288
пикселов за 0.067 секунды”
• 15 Hz
• В 15 раз быстрее сравнимого по точности
предшествующего метода (Rowley et al., 1998)
101. Резюме: детектор Violo-Jones
• Прямоугольные признаки как слабые
классификаторы
• Интегральные изображения для быстрого
вычисления признаков
• Бустинг для выбора признаков
• Каскад классификаторов для быстрого
выбраковки отрицательных окон
102. Pascal VOC
• PASCAL Visual Object Classes (VOC) Dataset and
Challenge
• 20 классов:
• aeroplane, bicycle, boat, bottle, bus, car, cat, chair, cow,
dining table, dog, horse, motorbike, person, potted plant,
sheep, train, TV
• Реальные изображения из flickr, не
фильтровались по качеству
103.
104. Object Detection with Discriminatively Trained Part
Based Models
Pedro F. Felzenszwalb, David Mcallester, Deva
Ramanan, Ross Girshick
PAMI 2010
105. Подход
• Деформируемая модель из нескольких компонент
• Для каждого ракурса обучим свою модуль
• Каждая модель состоит из общего шаблона и нескольких
шаблонов отдельных частей
• Обучение только по рамкам
Pedro F. Felzenszwalb et. Al. Object Detection with Discriminatively Trained Part Based
Models, PAMI 2010
107. Функция качества
score(x,z) = S wi f(x, zi) + S wij Y(zi, zj)
i i,j
x = image Счета (Score) за Модель деформации
zi = (xi,yi) локальные шаблоны «пружинки»
частей
z = {z1,z2...}
Качество линейно по локальным шаблонам wi и параметрам пружинок wij
score(x,z) = w . F(x, z)
Source: Deva Ramanan
108. HOG-фильтр
Фильтр
• Поиск: скользящее окно по положению и масштабу
• Фичи: HOG-фильтр
• Классификатор: линейный SVM
109. Гипотезы
• Каждая часть – HOG-фильтр
• Базовое положение
«Качество» это сумма качеств
частей минус пенальти за
деформацию
111. Резюме лекции
• Скользящее окно – один из основных способов
сведения задачи выделения объектов к задаче
категоризации изображений
• Нужно уделить большое внимание построению
хорошей выборки для обучения (jittering,
bootstrapping)
• Каскад классификаторов – хороший способ
повышения точности и скорости работы
• Методы и схемы:
• HOG + SVM
• Viola-Jones
• HOG + SVM + компоненты
