H2O — интересная и многообещающая платформа машинного обучения. Она может порадовать аналитика скоростью работы с большими объемами данных, набором алгоритмов, наличием API для нескольких языков программирования, и, конечно же, красивыми и подробными отчетами по построенным моделям. H2O написана на Java, поэтому работает везде (tm), в том числе на кластере Spark. В докладе спикер поделился своим опытом использования H2O на Spark и YARN, а также причинами отказа от использования H2O в production-окружении, не смотря на все ее положительные качества.

2. 27 мая 2016 г. Дмитрий Носов, Rambler&Co
H2
O на Spark
Как мы пили газировку и чуть не захлебнулись

3. 3
План
● Что такое H2O и Spark
● Что может H2O
● Задача, которую мы решали с помощью
H2O
● Проблемы, с которыми мы столкнулись

4. 4
Spark и H2
O

5. 5
“Fast and general computing engine for clusters
Makes it easy and fast to process large datasets
● APIs in Java, Scala, Python, R
● Libraries for SQL, streaming, machine
learning…
● 100x faster than Hadoop MapReduce for some
apps”

6. 6
● Java-приложение для машинного обучения
на больших данных
● Работает stand-alone, на Spark
● API для:
– Python
– R
– Scala
– REST API

7. 7Взято с github.com/h2oai/sparkling-water

8. 8Взято с github.com/h2oai/sparkling-water

9. 9
H2
O – pros

10. 10
● Алгоритмы:
– GLM
– GBM
– Distributed RF
– Deep Learning
– K-means
– Naive Bayes
– PCA
– pros

11. 11
In-memory – скорость: обработки данных,
обучения
1M rows x 600 features, 32 executors (2 cores, 4 Gb):
● Преобразование из Spark DF – 4 минуты
● Обучение GLM – 30 секунд
● Обучение GBM – 3 минуты
– pros

12. 12
H2O Flow – интерактивное окружение
(Jupyter/IPython notebook-like):
● Отчеты по моделям
● Обучение
● Мониторинг кластера и задач
● …
– pros

13. 13
– pros

14. 14
– pros

15. 15
– pros

16. 16
– pros

17. 17
– pros

18. 18
Задача

19. 19
Задача
● Бинарная классификация с
несбалансированными классами
● Большой объем данных для обучения
(в день – ~100 Gb / 100M rows) – в HDFS/Hive
● HTTP API, применение модели в реальном
времени:
– не менее 2000 rps (в перспективе 50000 rps)
– время ответа не более 10 ms (в идеале 3 ms)

20. 20
Решение задачи
● Обучение на кластере:
– Spark
– H2O
● Применение – Java-приложение:
– Vert.x
– модель H2O, экспортированная в POJO

21. 21
H2
O – cons

22. 22
– cons

23. 23
● Перезапуск executors разрушает кластер H2O
● Нестабильность (внезапные падения)
● “Сырой” Python API
● Отсутствие Sparse-форматов
● Высокие требования к driver-ноде
● POJO не работает с отсутствующими и
новыми значениями категориальных
переменных
– cons

24. 24
Итог

25. 25
● Отличная платформа для машинного обучения
● Но мы не будем использовать H2O в production
Возможно, повезет вам?..
Итог

26. Спасибо за внимание!
Вопросы?