1. Андрей Устюжанин
Обработка данных
физики высоких
энергий
2 июля 2014

2. Из чего сделана наша
вселенная?
Универсальные законы?
Как их проверить?
Что такое антиматерия?
темная материя?
Переход от микро-мира
к макро-миру?
2
Вопросы «на миллион»

3. Экспериментальная наука вчера
3

4. Эксперименты сегодня
4

5. 5

6. 6

7. 7

8. 8

9. 9

10. 10

11. Модели вычислений

16. Skynet

17. Использование ресурсов GRID

18. «Узкие» места GRID
Сложность настройки
Фиксированные настройки окружения
Долгое масштабирование
Опалата времени работы, а не
фактических вычислений
18

19. Облачные технологии
Предоставление вычислительной инфраструктуры как
сервиса
Виртуализация аппаратных ресурсов
Динамическое выделение ресурсов под конкретные
нужды
Оплата только за фактическое использование
Широка поддержка open-source & commercial
(Amazon EC2, Rackspace OpenStack, T-Systems, Helix
Nebula, …)
19

20. Облачные технологии
20
Applica'ons+Run+Na'vely+in#Hadoop+
HDFS2+(Redundant,*Reliable*Storage)*
YARN+(Cluster*Resource*Management)***
BATCH+
(MapReduce)+
INTERACTIVE+
(Tez)+
STREAMING+
(Storm,+S4,…)+
GRAPH+
(Giraph)+
INLMEMORY+
(Spark)+
HPC+MPI+
(OpenMPI)+
ONLINE+
(HBase)+
OTHER+
(Search)+
(Weave…)+
…

21. YARN
21

22. Docker
22

23. Пример Panda & ATLAS (http://bit.ly/UtlQxM)
23

24. Примеры задач
Симуляция событий (MC)
Поиск реальных и MC-событий
Онлайн анализ
Офлайн анализ
Сохранение данных (интерфейс доступа)
Сохранение кода и структуры анализа
24

25. Анализ данных

26. Индикаторы сложности
‘Каким способом я сгененировал график 13?’
‘Новый студент хочет воспользоваться моделью,
опубликованной мной 3 года назад, но я не могу
воспроизвести ни одного графика’
‘Я думал, что использую те же параметры, но у меня
получаются другие результаты!?I’
‘Где взять события, отобранные предыдущей версией моих
скриптов?’
‘Оно работало еще вчера!’
‘Зачем я это сделал?’
26

27. Источники сложности
Физика
Работа с данными
Стратегия анализа (http://bit.ly/SqDDE4)
Шаги анализа
Командное взаимодействие
27

28. Экосистема для экспериментов
Программная среда для поддержки экосистемы
совместной исследовательской работы над общими
задачами, позволяющая:
выполнять численные эксперименты над большими
объемами данных
получать воспроизводимые результаты,
использовать единообразные критерии качества.
28

29. ROOT
PyROOT
Plotly,
D3s
Matplotlib
SciKit-Learn
EF Python
Wrapper
!
!
!
!
!
EF0
29
MN
…

30. Основные компоненты
30

31. Текст перед кодом:
self.rsp.removeHeader("Transfer-Encoding");
Заголовок (не длинней одной строки)
31

32. Школа Анализа Данных

33. 33
Студенты ШАД
Физика 25%
!
!
!
Математика
70%
Инженерные 5%

34. 34
Алгоритмы и структуры данных
Машинное обучение
Теория вероятности, статистика
Машинный перевод
Обработка изображений
Основные курсы

35. Школа Анализа Данных Яндекса
35
!
Кафедра в ведущих ВУЗах (МФТИ, МГУ, ВШЭ, …)
Факультет компьютерных наук в ВШЭ
Аспирантура в МФТИ, ВШЭ,
Публикации в ведущих изданиях
Стажировка студентов из европейских ВУЗов
Исследовательские работы

36. 36
10
9
cuts
N
M
+
I
II
?Bs ! µ+
µ
Bs ! 4µ
⌧ ! 3µ
B ! K⇤
µ+
µ
· · ·
Сравнение гипотез

37. Равномерность эффективности
37
ROC:
Равномерность:

38. Заключение
Наши сервисы могут быть востребованы в SHIP
– event index
– event filter
Задачи SHIP - новое направление исследований
– модель распределенных вычислений
У нас есть технологии, для развития этого
направления
Это интересно ШАДу, а Вам?
38