В последнее время на популярных площадках появляется все больше конкурсов, связанных с компьютерным зрением, и в особенности — с сегментацией изображений. Некоторое время назад в таких задачах повсеместно доминировали подходы на основе сети U-Net. Евгений расскажет о решениях двух недавно завершившихся конкурсов, где хорошо зарекомендовали себя подходы на основе новой, претендующей на “народное признание“, сети.
Сегментация изображений на острие науки (Евгений Нижибицкий, Rambler&Co)
1. Avito Data Science Meetup
Сегментация изображений на острие науки
28 октября 2017
Евгений Нижибицкий (nizhibitsky@ya.ru)
2. Konika Minolta Image Segmentation Challenge
Постановка задачи
Задача — выделение регионов на гистологических снимках размером 500x500 px.
Метрика качества — 1000000 × F1micro + Diceinstnce-wise
2
.
• Обучающая выборка: 168 снимков
• Тестовая выборка: 162 снимка
Евгений Нижибицкий Сегментация изображений на острие науки 1 / 38
3. Konika Minolta Image Segmentation Challenge
Небольшое дополнение к постановке задачи
• Обучающая выборка это не 168x500x500, а 42x1000x1000
• Тестовая выборка это 30x1000x1000 ∪ 42x500x500
42 картинки из теста (и соответствующие им маски) можно найти в обучении:
Подробнее — www.youtube.com/watch?v=u4ZwBqXRgcE.
Евгений Нижибицкий Сегментация изображений на острие науки 2 / 38
4. Konika Minolta Image Segmentation Challenge
Обзор существующих подходов (1/2)
Евгений Нижибицкий Сегментация изображений на острие науки 3 / 38
5. Konika Minolta Image Segmentation Challenge
Обзор существующих подходов (2/2)
Евгений Нижибицкий Сегментация изображений на острие науки 4 / 38
6. Konika Minolta Image Segmentation Challenge
Обучаем модели
Пробуем архитектуры U-Net, ENet и LinkNet:
Евгений Нижибицкий Сегментация изображений на острие науки 5 / 38
7. Konika Minolta Image Segmentation Challenge
Делаем правильные посылки
Сделанные посылки Финальный рейтинг
Евгений Нижибицкий Сегментация изображений на острие науки 6 / 38
8. Carvana Image Masking Challenge
Постановка задачи
Задача — выделение автомобилей на снимках автосалона.
Метрика качества — Dice coefficient.
• Обучающая выборка: в сумме ≈5000 снимков для 16 ракурсов
• Тестовая выборка: ≈100000 снимков, из которых большинство не учитывались
Евгений Нижибицкий Сегментация изображений на острие науки 7 / 38
9. Carvana Image Masking Challenge
Особенности задачи
Довольно быстро достигалось качество dice > 0.996. Борьба шла за 0.997 + ϵ.
Евгений Нижибицкий Сегментация изображений на острие науки 8 / 38
10. Carvana Image Masking Challenge
Особенности задачи
На «хороших» изображениях все решала не точность модели, но точность размечавших.
Евгений Нижибицкий Сегментация изображений на острие науки 9 / 38
11. Carvana Image Masking Challenge
Наша команда
Евгений Нижибицкий Сегментация изображений на острие науки 10 / 38
12. Carvana Image Masking Challenge
Командное взаимодействие
Евгений Нижибицкий Сегментация изображений на острие науки 11 / 38
13. Carvana Image Masking Challenge
Обзор использовавшихся моделей
U-Net — серебряная пуля недавнего времени.
Евгений Нижибицкий Сегментация изображений на острие науки 12 / 38
14. Carvana Image Masking Challenge
Обзор использовавшихся моделей
LinkNet — зарекомендовала себя в новых задачах.
Евгений Нижибицкий Сегментация изображений на острие науки 13 / 38
15. Carvana Image Masking Challenge
Обзор использовавшихся моделей
Лидер CityScapes PSPNet, который здесь не подходил.
Евгений Нижибицкий Сегментация изображений на острие науки 14 / 38
16. Carvana Image Masking Challenge
Первые успехи с LinkNet
Евгений Нижибицкий Сегментация изображений на острие науки 15 / 38
17. Carvana Image Masking Challenge
Монстры на основе LinkNet
Каждый блок Encoder’а (ResNet) уменьшает размер изображения в 2 раза:
Затем блоки Decoder’а его восстанавливают до исходного.
Производительность это хорошо, но что если менять Encoder для лучшего качества?
Евгений Нижибицкий Сегментация изображений на острие науки 16 / 38
18. Carvana Image Masking Challenge
Монстры на основе LinkNet
Можно найти «места разреза» на Encoder’ы для Inception-V3:
Евгений Нижибицкий Сегментация изображений на острие науки 17 / 38
19. Carvana Image Masking Challenge
Монстры на основе LinkNet
Или для DenseNet (все уже нашли до нас):
Евгений Нижибицкий Сегментация изображений на острие науки 18 / 38
20. Carvana Image Masking Challenge
Монстры на основе LinkNet
Евгений Нижибицкий Сегментация изображений на острие науки 19 / 38
21. Carvana Image Masking Challenge
Монстры на основе LinkNet
Так родились самые производительные монстры для наших ансамблей:
Евгений Нижибицкий Сегментация изображений на острие науки 20 / 38
22. Carvana Image Masking Challenge
Итоговая модель
Правда построить потом предсказания было той еще задачей:
Евгений Нижибицкий Сегментация изображений на острие науки 21 / 38
23. Carvana Image Masking Challenge
Итоговая модель
Как и задача их смешать:
Евгений Нижибицкий Сегментация изображений на острие науки 22 / 38
24. Carvana Image Masking Challenge
Итоговая модель
Но это приносило свои плоды:
Предсказание 1 модели Предсказание ансамбля
Евгений Нижибицкий Сегментация изображений на острие науки 23 / 38
25. Carvana Image Masking Challenge
Итоговая модель
Финальный LB:
Евгений Нижибицкий Сегментация изображений на острие науки 24 / 38
27. Cinema Headcount and Socdem Classification
Постановка задачи
Текущее состояние рекламы в кино:
Задача — определять охват и соц-дем во время киносеансов.
• Подсчет по билетам не точен
• Полагаться на соц-дем приобретающих безнадежно
• Зато есть камеры в более чем 600 залах
Евгений Нижибицкий Сегментация изображений на острие науки 26 / 38
28. Cinema Headcount and Socdem Classification
Постановка задачи
Евгений Нижибицкий Сегментация изображений на острие науки 27 / 38
29. Cinema Headcount and Socdem Classification
Постановка задачи
Евгений Нижибицкий Сегментация изображений на острие науки 28 / 38
30. Cinema Headcount and Socdem Classification
Особенности данных
Евгений Нижибицкий Сегментация изображений на острие науки 29 / 38
31. Cinema Headcount and Socdem Classification
Особенности данных
Евгений Нижибицкий Сегментация изображений на острие науки 30 / 38
32. Cinema Headcount and Socdem Classification
Особенности данных
Евгений Нижибицкий Сегментация изображений на острие науки 31 / 38
33. Cinema Headcount and Socdem Classification
Работа моделей
Пример предсказанной при помощи LinkNet маски:
Евгений Нижибицкий Сегментация изображений на острие науки 32 / 38
34. Cinema Headcount and Socdem Classification
Работа моделей
Визуализация с соответствующими точкам регионами:
Евгений Нижибицкий Сегментация изображений на острие науки 33 / 38
35. Cinema Headcount and Socdem Classification
Работа моделей
Для последующего обучения классификатора разметка изначально содержала таргеты
Евгений Нижибицкий Сегментация изображений на острие науки 34 / 38
36. Cinema Headcount and Socdem Classification
Работа моделей
Предсказания делаются для найденных регионов
Евгений Нижибицкий Сегментация изображений на острие науки 35 / 38
37. Cinema Headcount and Socdem Classification
Работа моделей
Совмещенные предсказания:
Евгений Нижибицкий Сегментация изображений на острие науки 36 / 38
38. Cinema Headcount and Socdem Classification
Итоговый «leaderboard»
Можете улучшить? CV -> e.nizhibitsky@rambler-co.ru
Евгений Нижибицкий Сегментация изображений на острие науки 37 / 38