Facemetric

Yury Godyna
Yury GodynaPhD, MBA, Founder in Facemetric à Inteltech-Loyalty Ltd
АНАЛИЗ ПОТОКА
ПО ЛИЦУ И НЕ ТОЛЬКО
МЕТРИКИ ДЛЯ ПОВЫШЕНИЯ ЭФФЕКТИВНОСТИ
Финалист конкурса
2016
ПОЧЕМУ facemetric?
• Сервис facemetric – отечественная разработка в области распознавания лиц,
образов, движений и других объектов
• Сильная партнерская сеть (SAP, Jet Infosystems, Beeline, Help-Line)
• Большой кумулятивный опыт команды:
• Более 30 лет в области систем машинного обучения;
• Более 10 лет в области видеоаналитики
• Более 25 лет разработки высоконагруженных систем (Мастертел, Kaspersky,
Infowatch, Zalando, Beeline, NetCracker и др.)
• Более 30 лет экспертизы в аналитике бизнес-процессов и поведения
потребителей.
• Качественная экспертиза большинства существующих DL-фреймворков в
области распознавания лиц (torch, mxnet, caffe), в т.ч. конкурентов (VisionLabs,
Vocord, Cognitec)
• Большой опыт работы с изображениями низкого качества (генерируемыми
стандартными камерами видеонаблюдения)
АРХИТЕКТУРА РЕШЕНИЯ
Магазин ЦОД facemetric SAP Cloud Platform
Видеосъемка Детектирование
и трекинг лиц
Выделение
вектора
Матчинг Бизнес-логика
ФУНКЦИОНАЛ КОНТРОЛЛЕРА
Предварительный отбор лиц для анализа:
• Детектирует лицо;
• Отслеживает его перемещения;
• Коллекционирует ракурсы;
• Собирает кадры в пакет и отправляет на сервер.
Дополнительная аналитика:
• Анализирует время нахождения перед камерой;
• Считает количество лиц в зоне камеры.
Преимущества от использования:
• Снижение нагрузки на ЦОД;
• Снижение требований к каналу связи;
• Гарантированность доставки данных в ЦОД (встроенный
буфер памяти на случай возникновения проблем с
доступностью сервиса).
ДЕТЕКТИРОВАНИЕ ЛИЦ
На уровне предобработки (Raspberry PI):
• OpenCV (декодирование видео);
• Метод Виолы-Джонса (продакшн);
• Тонкая нейросеть Caffe (прототип).
На уровне выделения вектора (CUDA, CPU)
• Использование нейронных сетей (mxnet, Caffe);
• Точность распознавания:
• В кооперативной режиме – до 99%
(на базах до 10 тыс. лиц);
• В некооперативном режиме – от 80 до 90%
(на самозаполняемых базах)
• Скорость выделения вектора – 110 мс
• Детектор эмоций – 400 мс (среднее)
• Производительность одной ноды – 400 запр. / сек
РАБОТА С БАЗАМИ
Время поиска на базах свыше 100 тыс. лиц – не более 300 мс
Заполнение баз:
• Неограниченное количество изображений
на 1 персону;
• Автозаполнение (все неопознанные
вносятся автоматически);
• Заполнение через API из внешней
системы;
• Обогащение данных из внешних источников
(базы МВД, социальные сети и другие
открытые источники).
Списки:
• Ведение раздельных списков;
• Различные сценарии реагирования на
события с привязкой к списку или персоне.
ОБУЧЕНИЕ И ДООБУЧЕНИЕ
Подходы к дообучению:
• Использование эталонных баз Заказчика;
• Использование баз, полученных с видеокамер
Заказчика в период пилотной эксплуатации
(повышает точность распознавания на 5-7%);
• Склейка разобщенных референсов в персоне
дополнительным прогоном по базе (повышает
точность распознавания и аналитики на 2-4%);
• Склейка разобщенных референсов в персоне
через поведенческий анализ - высокоуровневая
аналитика (повышает точность распознавания
на 7-10%)
УРОВНИ РАСПОЗНАВАНИЯ
• Обычное детектирование и трекинг (просто посчитать);
• Определение углов ориентации головы (yaw/pitch/roll);
• Распознавание пола;
• Распознавание возраста (определение возрастной группы);
• Определение этнической группы;
• Определение отличительных признаков (очки, растительность
на лице, головной убор);
• Сопоставление лица с лицами в базе;
• Распознавание эмоций.
Сложностьопределения
ВОЗМОЖНОСТИ РАСШИРЕНИЯ
facemetric – не только распознавание лиц:
• В разработке возможность распознавания
движений, поз и заданных предметов;
• Возможность распознавания речи и других
звуков (выявление иностранной речи,
обсценной лексики, крика и др.);
• Интеграция с информационными
системами заказчика (CRM, СКУД, BPM и
др.) – REST API (как платформа
распознавания, так и аналитическая
платформа)
АППАРАТНЫЕ ТРЕБОВАНИЯ
Видеокамеры:
• IP-камеры с поддержкой h.264 (RTSP);
• Разрешение 720p и выше;
• Размер матрицы: 1/2.8’’;
• Возможность управления минимальным/максимальным уровнем
срабатывания затвора;
• Поддержка 2х и более основных видеопотоков
Рабочая станция (on-premise вариант):
• CPU – Core i5 и выше;
• 8 GB RAM и более;
• nVidia GeForce GTX 1050 и выше
ПРОРАБОТАННЫЕ СЦЕНАРИИ
СЦЕНАРИЙ №1.
РАБОТА СО СПИСКАМИ
Задача:
• Обнаружение лиц из списка (черный, VIP) c точностью до 95%;
• Сигнализация о появлении лица заинтересованной стороне
Реализация:
• Установка камер с двукратным и трехкратным резервированием;
• Интеграция с ИС заказчика
Результат:
• True Positive Rate при единственном оригинале – 90%;
• True Positive Rate на дообученной системе – 98%
Конкуренты:
• Cognitec – паритет;
• Panasonic – победа.
СЦЕНАРИЙ №2.
АНАЛИТИКА ПОТОКА
Задача:
• Сделать подсчет посетителей с распознаванием новых и вернувшихся;
• Сделать демографический анализ потока;
• Рассчитать показатели лояльности (частота возращения, кол-во визитов);
• Оценить время обслуживания на кассе и длительность пребывания в магазине;
• Предсказать длину очереди через 15 минут.
Реализация:
• Установка камер на каждом рубеже (вход, выход);
Результат:
• Точность подсчета – 98%;
• Точность определения пола и возрастной группы – более 90%;
• True Positive Rate на живой системе – 80%;
• False Positive Rate – не более 2%.
Конкуренты:
• VisionLabs –победа.
СЦЕНАРИЙ №3.
ПЕРСОНИФИЦИРОВАННЫЙ СЕРВИС
Задача:
• Узнать человека на входе/на кассе/у терминала;
• Сделать ему персональное предложение.
Реализация:
• Установка камер на рубеже
Результат:
• True Positive Rate при единственном оригинале – 93%;
• True Positive Rate на дообученной системе – 98%;
• False Positive Rate – не более 0.5%;
• Время транзакции – не более 3 секунд.
СЦЕНАРИЙ №4.
ИДЕНТИФИКАЦИЯ И ТАРГЕТИНГ
В DIGITAL SIGNAGE
Задача:
• Узнать/классифицировать человека у терминала;
• Детектировать улыбку;
• Запустить релевантный сценарий.
Реализация:
• Установка камер на терминале или встраивание камеры в терминал.
Результат:
• True Positive Rate при пакете из 5 оригиналов – 95%;
• False Positive Rate – не более 0.5%;
• Точность детекции улыбки – 80%;
• Время транзакции – не более 3 секунд.
СЦЕНАРИЙ №5.
ОЦЕНКА ЭМОЦИОНАЛЬНОГО ФОНА
Задача:
• Оценить эмоциональный фон посетителей на входе и на выходе из
ресторана;
• Сделать оценку изменения эмоционального фона.
Реализация:
• В проработке, готовится пилотный проект
ШИРОКИЕ
АНАЛИТИЧЕСКИЕ
ВОЗМОЖНОСТИ
АНАЛИЗ ПОТОКА
ДЕМОГРАФИЧЕСКИЙ АНАЛИЗ
ПОКАЗАТЕЛИ ЛОЯЛЬНОСТИ
НАШ ПОДХОД К БИЗНЕСУ
• Постоянное совершенствование технологии:
• Анализ современных тенденций и трендов, бенчмаркинг;
• Дообучение нейронных сетей, расширение функционала;
• Анализ обратной связи от клиентов.
• Реализация пилотных проектов
• Подстройка под требования клиентов:
• Реализация кейсов заказчика (стратирование аудитории, выявление трендов и закономерностей);
• Интеграция с информационными системами;
• Выстраивание партнерских связей:
• Системные интеграторы (Альт-Лан, Инфосистемы Джет, Help-Line);
• Вендоры и сетевые компании (SAP, Вымпелком, РосФон);
• Технологические компании (Вокорд Телеком, Zorgtech);
• Информационные партнеры (beholder.pro, wowcall)
МЫ РАЗВЕРНЕМ РИТЕЙЛ
ЛИЦОМ К КЛИЕНТУ!
Дополнительная информация
на сайте
http://facemetric.ru
1 sur 22

Contenu connexe

Similaire à Facemetric(20)

MacroscopMacroscop
Macroscop
macroscop773 vues
MacroscopMacroscop
Macroscop
macroscop414 vues
Видеонаблюдение на АЗСВидеонаблюдение на АЗС
Видеонаблюдение на АЗС
Digital Sunrise 1.8K vues
testtest
test
kulibin404 vues
Presentation baku2Presentation baku2
Presentation baku2
Oleksandr Chendekov222 vues
Строим собственный call-центр для повышения качества взаимодействия с клиента...Строим собственный call-центр для повышения качества взаимодействия с клиента...
Строим собственный call-центр для повышения качества взаимодействия с клиента...
NAUMEN. Информационные системы управления растущим бизнесом1.4K vues
RealSpeaker RuRealSpeaker Ru
RealSpeaker Ru
RealSpeaker 2.0374 vues
CTI_CC on demandCTI_CC on demand
CTI_CC on demand
Yulia Sedova521 vues

Facemetric

  • 1. АНАЛИЗ ПОТОКА ПО ЛИЦУ И НЕ ТОЛЬКО МЕТРИКИ ДЛЯ ПОВЫШЕНИЯ ЭФФЕКТИВНОСТИ Финалист конкурса 2016
  • 2. ПОЧЕМУ facemetric? • Сервис facemetric – отечественная разработка в области распознавания лиц, образов, движений и других объектов • Сильная партнерская сеть (SAP, Jet Infosystems, Beeline, Help-Line) • Большой кумулятивный опыт команды: • Более 30 лет в области систем машинного обучения; • Более 10 лет в области видеоаналитики • Более 25 лет разработки высоконагруженных систем (Мастертел, Kaspersky, Infowatch, Zalando, Beeline, NetCracker и др.) • Более 30 лет экспертизы в аналитике бизнес-процессов и поведения потребителей. • Качественная экспертиза большинства существующих DL-фреймворков в области распознавания лиц (torch, mxnet, caffe), в т.ч. конкурентов (VisionLabs, Vocord, Cognitec) • Большой опыт работы с изображениями низкого качества (генерируемыми стандартными камерами видеонаблюдения)
  • 3. АРХИТЕКТУРА РЕШЕНИЯ Магазин ЦОД facemetric SAP Cloud Platform Видеосъемка Детектирование и трекинг лиц Выделение вектора Матчинг Бизнес-логика
  • 4. ФУНКЦИОНАЛ КОНТРОЛЛЕРА Предварительный отбор лиц для анализа: • Детектирует лицо; • Отслеживает его перемещения; • Коллекционирует ракурсы; • Собирает кадры в пакет и отправляет на сервер. Дополнительная аналитика: • Анализирует время нахождения перед камерой; • Считает количество лиц в зоне камеры. Преимущества от использования: • Снижение нагрузки на ЦОД; • Снижение требований к каналу связи; • Гарантированность доставки данных в ЦОД (встроенный буфер памяти на случай возникновения проблем с доступностью сервиса).
  • 5. ДЕТЕКТИРОВАНИЕ ЛИЦ На уровне предобработки (Raspberry PI): • OpenCV (декодирование видео); • Метод Виолы-Джонса (продакшн); • Тонкая нейросеть Caffe (прототип). На уровне выделения вектора (CUDA, CPU) • Использование нейронных сетей (mxnet, Caffe); • Точность распознавания: • В кооперативной режиме – до 99% (на базах до 10 тыс. лиц); • В некооперативном режиме – от 80 до 90% (на самозаполняемых базах) • Скорость выделения вектора – 110 мс • Детектор эмоций – 400 мс (среднее) • Производительность одной ноды – 400 запр. / сек
  • 6. РАБОТА С БАЗАМИ Время поиска на базах свыше 100 тыс. лиц – не более 300 мс Заполнение баз: • Неограниченное количество изображений на 1 персону; • Автозаполнение (все неопознанные вносятся автоматически); • Заполнение через API из внешней системы; • Обогащение данных из внешних источников (базы МВД, социальные сети и другие открытые источники). Списки: • Ведение раздельных списков; • Различные сценарии реагирования на события с привязкой к списку или персоне.
  • 7. ОБУЧЕНИЕ И ДООБУЧЕНИЕ Подходы к дообучению: • Использование эталонных баз Заказчика; • Использование баз, полученных с видеокамер Заказчика в период пилотной эксплуатации (повышает точность распознавания на 5-7%); • Склейка разобщенных референсов в персоне дополнительным прогоном по базе (повышает точность распознавания и аналитики на 2-4%); • Склейка разобщенных референсов в персоне через поведенческий анализ - высокоуровневая аналитика (повышает точность распознавания на 7-10%)
  • 8. УРОВНИ РАСПОЗНАВАНИЯ • Обычное детектирование и трекинг (просто посчитать); • Определение углов ориентации головы (yaw/pitch/roll); • Распознавание пола; • Распознавание возраста (определение возрастной группы); • Определение этнической группы; • Определение отличительных признаков (очки, растительность на лице, головной убор); • Сопоставление лица с лицами в базе; • Распознавание эмоций. Сложностьопределения
  • 9. ВОЗМОЖНОСТИ РАСШИРЕНИЯ facemetric – не только распознавание лиц: • В разработке возможность распознавания движений, поз и заданных предметов; • Возможность распознавания речи и других звуков (выявление иностранной речи, обсценной лексики, крика и др.); • Интеграция с информационными системами заказчика (CRM, СКУД, BPM и др.) – REST API (как платформа распознавания, так и аналитическая платформа)
  • 10. АППАРАТНЫЕ ТРЕБОВАНИЯ Видеокамеры: • IP-камеры с поддержкой h.264 (RTSP); • Разрешение 720p и выше; • Размер матрицы: 1/2.8’’; • Возможность управления минимальным/максимальным уровнем срабатывания затвора; • Поддержка 2х и более основных видеопотоков Рабочая станция (on-premise вариант): • CPU – Core i5 и выше; • 8 GB RAM и более; • nVidia GeForce GTX 1050 и выше
  • 12. СЦЕНАРИЙ №1. РАБОТА СО СПИСКАМИ Задача: • Обнаружение лиц из списка (черный, VIP) c точностью до 95%; • Сигнализация о появлении лица заинтересованной стороне Реализация: • Установка камер с двукратным и трехкратным резервированием; • Интеграция с ИС заказчика Результат: • True Positive Rate при единственном оригинале – 90%; • True Positive Rate на дообученной системе – 98% Конкуренты: • Cognitec – паритет; • Panasonic – победа.
  • 13. СЦЕНАРИЙ №2. АНАЛИТИКА ПОТОКА Задача: • Сделать подсчет посетителей с распознаванием новых и вернувшихся; • Сделать демографический анализ потока; • Рассчитать показатели лояльности (частота возращения, кол-во визитов); • Оценить время обслуживания на кассе и длительность пребывания в магазине; • Предсказать длину очереди через 15 минут. Реализация: • Установка камер на каждом рубеже (вход, выход); Результат: • Точность подсчета – 98%; • Точность определения пола и возрастной группы – более 90%; • True Positive Rate на живой системе – 80%; • False Positive Rate – не более 2%. Конкуренты: • VisionLabs –победа.
  • 14. СЦЕНАРИЙ №3. ПЕРСОНИФИЦИРОВАННЫЙ СЕРВИС Задача: • Узнать человека на входе/на кассе/у терминала; • Сделать ему персональное предложение. Реализация: • Установка камер на рубеже Результат: • True Positive Rate при единственном оригинале – 93%; • True Positive Rate на дообученной системе – 98%; • False Positive Rate – не более 0.5%; • Время транзакции – не более 3 секунд.
  • 15. СЦЕНАРИЙ №4. ИДЕНТИФИКАЦИЯ И ТАРГЕТИНГ В DIGITAL SIGNAGE Задача: • Узнать/классифицировать человека у терминала; • Детектировать улыбку; • Запустить релевантный сценарий. Реализация: • Установка камер на терминале или встраивание камеры в терминал. Результат: • True Positive Rate при пакете из 5 оригиналов – 95%; • False Positive Rate – не более 0.5%; • Точность детекции улыбки – 80%; • Время транзакции – не более 3 секунд.
  • 16. СЦЕНАРИЙ №5. ОЦЕНКА ЭМОЦИОНАЛЬНОГО ФОНА Задача: • Оценить эмоциональный фон посетителей на входе и на выходе из ресторана; • Сделать оценку изменения эмоционального фона. Реализация: • В проработке, готовится пилотный проект
  • 21. НАШ ПОДХОД К БИЗНЕСУ • Постоянное совершенствование технологии: • Анализ современных тенденций и трендов, бенчмаркинг; • Дообучение нейронных сетей, расширение функционала; • Анализ обратной связи от клиентов. • Реализация пилотных проектов • Подстройка под требования клиентов: • Реализация кейсов заказчика (стратирование аудитории, выявление трендов и закономерностей); • Интеграция с информационными системами; • Выстраивание партнерских связей: • Системные интеграторы (Альт-Лан, Инфосистемы Джет, Help-Line); • Вендоры и сетевые компании (SAP, Вымпелком, РосФон); • Технологические компании (Вокорд Телеком, Zorgtech); • Информационные партнеры (beholder.pro, wowcall)
  • 22. МЫ РАЗВЕРНЕМ РИТЕЙЛ ЛИЦОМ К КЛИЕНТУ! Дополнительная информация на сайте http://facemetric.ru