РИТ++ 2017, App's Conf Зал Найроби, 6 июня, 17:00 Тезисы: http://appsconf.ru/2017/abstracts/2722.html В последнем десятилетии технологии изменили наш взгляд на взаимодействие с окружающим миром. В рамках доклада мы посмотрим на основные принципы разработки мобильных приложений для дополненной реальности с использованием Swift, а также обсудим наиболее популярные библиотеки, основанные на данных о местоположении и маркерах. Доклад будет разбит на три части: в первой посмотрим на историю развития AR и сравним дополненную реальность с виртуальной, во второй разберем различные способы взаимодействия, покопаемся в SDK и немного коснемся iBeacon'ов, а в последней подведем итоги и обговорим наиболее интересные способы использования, а также их плюсы и минусы.

1. Дополненная
реальность в Swift
Вадим Дробинин
drobinin.com

2. В двух словах
• Что такое дополненная реальность?
• Почему Swift?
• Основы AR
• Фреймворки и SDK
• iBeacons for AR
• Best practices

3. Обо мне
• IT-консалтинг (drobinin.com)
• Конференции (CocoaHeads
Russia, Mobius, etc)
• Хакатоны (HackTrain 2.0, VK
Hackathon, etc)
• Lead iOS Developer (tobox.com,
swaypay.io, scoutparking.com,
zerion.io, etc)
• iBeacons (waveroll.io)

4. Что такое дополненная
реальность?

8. Что такое дополненная реальность?
• Augmented Reality:
• Фрэнк Баум (1901)
• Айвен Сазерленд (1968)
• Джон Ханке(2016)
• Дополнение сведений об окружающем мире
• Упрощение работы с информацией
• Эффект погружения

9. ВиртуальностьРеальность
Дополненная
реальность
Дополненная
виртуальность

10. Почему Swift?

11. Почему Swift?

12. Основы Augmented Reality

13. Основы Augmented Reality
• Визуальные системы
• Аудио-системы
• Аудиовизуальные системы
• Геопозиционные системы
• Оптические системы

14. Основы Augmented Reality
• Визуальные системы
• Аудио-системы
• Аудиовизуальные системы
• Геопозиционные системы
• Оптические системы

15. Визуальные системы
• Создание изображения на основе зрительного восприятия
• Дополнение визуальной информации

16. Геопозиционные системы
• GPS / ГЛОНАСС
• Сенсоры (акселерометр)

17. Оптические системы
• Обработка изображений с камер
• Использование маркеров

18. Использование маркеров
• Сравнительно легко определить где находится пользователь и
куда направлена камера
• Легко определить пропорции и угол
• Легко отслеживать перемещение и поворот камеры
• Низкая степень интерактивности

19. Виды маркеров

20. Альтернативные подходы
• Сенсоры
• Геолокация
• Распознание изображений
• Комбинированные методы

21. Фреймворки и SDK

22. Фреймворки и SDK
• ARToolKit
• HDAugmentedReality
• CraftAR
• Vuforia
• ARKit.framework (спасибо, Apple!)

23. ARKit: создаём иллюзию

24. ARKit: создаём иллюзию
• Visual-inertial odometry:
• сенсоры + компьютерное зрение = высокая точность
• Отслеживание контента:
• hit-testing методы
• plane detection

25. ARKit: создаём иллюзию
• ARSCNView или ARSKView:
• Изображение с камеры вместо фона
• Встраивает 2D/3D-overlay поверх
• Создает иллюзию вовлеченности
• Своими руками:

26. ARKit: создаём иллюзию

27. ARKit: создаём иллюзию

28. ARKit: создаём иллюзию

29. ARKit: камера и сцена

30. ARKit: объекты и расположение

31. ARKit: ARSessionConfiguration

32. Hit-testing
• Вы используете SpriteKit/SceneKit для работы с AR:
проверять, относятся ли точки к какой-либо поверхности, и если
относятся, получать больше информации о ней с помощью
ARSCNView.hitTest
• Иначе искать точки с помощью ARFrame.hitTest.
• Важно: frame ≠ view, поэтому координаты считаются от левого
верхнего угла

33. ARKit: Ограничения
• Процессор A9 / A10
• Оптимизация:
• Metal
• SceneKit
• Unity
• Unreal Engine
• CoreMotion
• Ограниченный набор «из коробки»

34. Общие ограничения
• Точность
• Железо
• Безопасность

35. iBeacons для Augmented Reality

36. iBeacons для Augmented Reality

37. Best practices

38. Best practices
• Разрабатывайте для предсказуемых условий освещения
• Пользуйтесь методами трекинга для взаимодействия с
пользователями
• Используйте plane detection для более точных результатов
• Не забывайте его отключить!

39. Что делать?
• Образование
• Игры
• Переводы
• Реклама

40. Что читать?
• Introducing ARKit: Augmented Reality for iOS
https://developer.apple.com/videos/play/wwdc2017/602/
• Theory and applications of marker-based augmented reality
Sanni Siltanen
• ARKit.framework
https://developer.apple.com/documentation/arkit
• Mobile Security Guide: how to start
http://drobinin.com/#/portfolio/mobile-security-guide-protect-
yourself-and-your-users/

41. vadim@drobinin.com
Задавайте
вопросы
@Valzevul
Узнавайте на
конференциях