Расскажу про систему технического зрения и API для разработчиков, про то, как решили испытать ее в офисе, про интеграцию со СКУД, архитектуру получившейся системы и первые прототипы камер. А также о том, к чему пришли на данный момент и какие есть проблемы, и о встрече правительственной делегации.

1. Компьютерное зрение
как альтернатива
офисным пропускам
Балашов Вадим
Mail.ru Group

2. Vision: предыстория
• Машинное обучение в Почте – антиспам

3. Vision: предыстория
• Машинное обучение в Почте – антиспам
• Облако – хранилище для файлов

4. Vision: предыстория
• Машинное обучение в Почте – антиспам
• Облако – хранилище для файлов
• Облако для бизнеса

5. Vision: предыстория
• Машинное обучение в Почте – антиспам
• Облако – хранилище для файлов
• Облако для бизнеса
• MCS – Mail.ru Cloud Solutions

6. Vision: предыстория
• Машинное обучение в Почте – антиспам
• Облако – хранилище для файлов
• Облако для бизнеса
• MCS – Mail.ru Cloud Solutions
• Vision, как часть MCS

7. Облако

8. Облако: примеры
2012 2015 2018

9. Облако: примеры

10. sys – интранет

11. sys – интранет

12. Стойки для конференций
• Фотографы делают снимки людей и
загружают в определенную папку в
облако@mail.ru.
• Система распознавания проходится по общей
папке и раскладывает фотографии людей по
подпапкам.
• Люди фотографируются на стойке и вводят
свой емейл.
• Система присылает ссылку на подпапку с
фотографиями на почту.

13. Проходки: условия

14. Проходки: условия
• Свой офис

15. Проходки: условия
• Свой офис
• Отзывчивый административный отдел

16. Проходки: условия
• Свой офис
• Отзывчивый административный отдел
• Терпеливые коллеги

17. Архитектура
VisionДверь Камера

18. Архитектура
СКУД
Raspberry Pi
opencv
Arduino
wegand
Vision
Raspberry Pi
ffmpeg
Arduino
LED + Buzz
USB-
Камера
Камера
Серверная
Intranet

19. Интеграция со СКУД

20. Интеграция со СКУД

21. Интеграция со СКУД

22. Интеграция со СКУД

23. Интеграция со СКУД: Ардуина
• Получает номер пропуска от считывателя
• Получает номер пропуска от Raspberry Pi
• Отправляет в СКУД

24. Wiegand
• Стандартный протокол для
СКУД
• Поддерживается множеством
считывателей магнитных и
бесконтактных карт

25. Wiegand
• Есть библиотека для Arduino для чтения карт (универсальная)
• Написал свою для чтения и записи (Wiegand-26)

26. Тестовый стенд

27. Попытки запартнериться
• 3 компании, с которыми были переговоры

28. Попытки запартнериться
• 3 компании, с которыми были переговоры
• Решения узкоспециальные – уникальный дизайн, уникальная
схемотехника

29. Попытки запартнериться
• 3 компании, с которыми были переговоры
• Решения узкоспециальные – уникальный дизайн, уникальная
схемотехника
• Большой срок изготовления

30. Попытки запартнериться
• 3 компании, с которыми были переговоры
• Решения узкоспециальные – уникальный дизайн, уникальная
схемотехника
• Большой срок изготовления
• Малый тираж

31. Попытки запартнериться
• 3 компании, с которыми были переговоры
• Решения узкоспециальные – уникальный дизайн, уникальная
схемотехника
• Большой срок изготовления
• Малый тираж
• Дорого

32. Камера v0.1

33. Пожелание

34. Камера v1.0

35. Камера v1.0

36. Камера v1.0

37. Камера v2.0

38. Камера v2.0

39. Камера v2.0

40. Камера v2.0

41. Камера v2.0

42. Делегация
“Покидая этаж, где ведутся
разработки искусственного
интеллекта, программисты показали
премьеру возможности своей
пропускной системы, которая
открывает двери с помощью
технологии распознавания лиц.
В базе данных оказалась
и фотография Медведева,
что позволило ему самостоятельно
покинуть помещение.”
hi-tech.mail.ru

43. Спуфинг

44. Проблемы с камерами
• Печатные корпуса – 24 этажа, 2 двери по 2 камеры – 96 камер

45. Проблемы с камерами
• Печатные корпуса – 24 этажа, 2 двери по 2 камеры – 96 камер
• Много компонентов – много точек отказа

46. Проблемы с камерами
• Печатные корпуса – 24 этажа, 2 двери по 2 камеры – 96 камер
• Много компонентов – много точек отказа
• Сложность быстрой замены, если камера вышла из строя

47. Айпад
• Экран – визуальная обратная связь

48. Айпад
• Экран – визуальная обратная связь
• Автоматическое распознавание наличия лица средствами iOS

49. Айпад
• Экран – визуальная обратная связь
• Автоматическое распознавание наличия лица средствами iOS
• Массовый продукт – легко заменить, если вышел из строя

50. Архитектура до
СКУД
Raspberry Pi
opencv
Arduino
wegand
Vision
Raspberry Pi
ffmpeg
Arduino
LED + Buzz
USB-
Камера
Камера
Серверная
Intranet

51. Архитектура после
Vision
iPad
Intranet
Серверная
СКУД
Raspberry Pi
http-host
Arduino
wegand

52. Архитектура после
Vision
iPad
Intranet
Серверная
СКУД
Raspberry Pi
opencv
Arduino
wegand
Arduino
wegand
СКУД
СКУД
СКУД
iPad
iPad
iPad

53. Айпад

54. Айпад

55. Работа с Vision
• При чем тут DIY?

56. Работа с Vision
• Берем сверточные сети

57. Работа с Vision
• Берем сверточные сети
• Преобразуем нейроны
свертки по нескольким
выходным каналам

58. Работа с Vision
• Берем сверточные сети
• Преобразуем нейроны
свертки по нескольким
выходным каналам
• Делаем пулинг
максимума с фильтром

59. Работа с Vision
• Берем сверточные сети
• Преобразуем нейроны
свертки по нескольким
выходным каналам
• Делаем пулинг
максимума с фильтром
• …
• Profit!

60. Работа с Vision

61. Работа с Vision
• https://mcs.mail.ru/
• Машинное обучение
• Vision API

62. Работа с Vision
• https://mcs.mail.ru/
• Машинное обучение
• Vision API
• Первые 5000 транзакций в месяц —
бесплатно для тестирования

63. Работа с Vision
• https://mcs.mail.ru/
• Машинное обучение
• Vision API
• Первые 5000 транзакций в месяц —
бесплатно для тестирования (166 в
день)

64. Работа с Vision

65. Работа с Vision
python examples/python/smarty.py
-u
"https://smarty.mail.ru/api/v1/persons/recognize
?oauth_provider=mcs&oauth_token=e50b000614a371ce
99c01a80a4558d8ed93b313737363830"
-p friends1.jpg
--meta '{"space":"1", "create_new":true}'
-v

66. Работа с Vision
{ "status":200, "body":{ "objects": [ { "status":0, "name":"file_0", "persons":[
{"tag":"person1","coord":[102,30,184,134],"confidence":0.99999,"awesomeness":0.5025},
{"tag":"person2","coord":[393,74,461,166],"confidence":0.99987,"awesomeness":0.548},
{"tag":"person3","coord":[458,48,535,149],"confidence":0.99976,"awesomeness":0.4766},
{"tag":"person4","coord":[273,45,352,147],"confidence":0.99963,"awesomeness":0.504},
{"tag":"person5","coord":[525,81,600,184],"confidence":0.99954,"awesomeness":0.4849},
{"tag":"person6","coord":[194,76,258,167],"confidence":0.9984,"awesomeness":0.5725}
] } ], "aliases_changed":false }, "htmlencoded":false, "last_modified":0 }

67. Работа с Vision
• Всё

68. Работа с Vision
• Всё
• … конечно нет!

69. Работа с Vision
• Людей можно добавлять в ручном режиме по одному
• Людей можно удалять

70. Работа с Vision
• Теперь всё

71. Идеи
• Открытие входной двери (нужен антиспуфинг)

72. Идеи
• Открытие входной двери (нужен антиспуфинг)
• Распознавание соседей в подъезде (определение чужаков)

73. Идеи
• Открытие входной двери (нужен антиспуфинг)
• Распознавание соседей в подъезде (определение чужаков)
• Распознавание члена семьи умным зеркалом – вывод
релевантной информации

74. Идеи
• Открытие входной двери (нужен антиспуфинг)
• Распознавание соседей в подъезде (определение чужаков)
• Распознавание члена семьи умным зеркалом – вывод
релевантной информации
• Распознавание автомобильного номера воротами на даче

75. Спасибо =)