6. Big Data – группа технологий и методов производительной обработки
динамически растущих объемов данных (структурированных и
неструктурированных) в распределенных информационных системах,
обеспечивающих организацию качественно новой полезной
информацией.
Big Data с точки зрения ИТ-компании
7. Инструменты для работы с Big Data
In-Memory СУБД1
2
4
СУБД с вертикальным хранением данных
MAP REDUCE и HADOOP
Data Mining и прогнозная аналитика3
5 Управление потоками событий
6 No SQL СУБД
8. SAP HANA Data Platform для Big Data
Consume
Store &
Process
Ingest
10. Что такое SAP HANA
HANA (High-performance ANalytics Appliance) –
программно-аппаратный комплекс, в основе которого лежит технология
хранения и обработки данных «In-memory»
SAP HANA
OLTP BI (OLAP) ■ Данные хранятся и обрабатываются
непосредственно в оперативной памяти
■ «In-memory» позволяет избежать эффекта
задержек ввода/вывода
■ Строчное и колоночное хранение данных
позволяют оптимизировать выборку по запросу
■ Сжатие данных за счет хранения и обработки
только значимого содержимого
■ Поставляется как единый программно-
аппаратный комплекс
13. Диск VS Оперативная память
Доступ к оперативной памяти – 60 нс, скорость чтения 25 Гб/c
Доступ к диску – 10,000,000 нс, скорость чтения 0.07 Гб/с
3 606 км
14. SAP HANA
CPU
STORAGE
MEMORY
Compression
Partitioning
No Aggregate tables
(Dynamic Aggregation)
Solid State Flash HDD
64bit address space
1 TB in current servers
Dramatic decline in price/performance
L3
Cache
L3
Cache
L3
Cache
L3
Cache
L3
Cache
L3
Cache
L3
Cache
L3
Cache
Multi-Core Architecture
8 CPU x 10 Cores per blade
Massive parallel scaling with many blades
Logging and Backup
OLTP+OLAP
in column Store
15. Вертикальное хранение данных
Order Country Product Sales
456 France corn 1000
457 Italy wheat 900
458 Italy corn 600
459 Spain rice 800
456 France corn 1000
457 Italy wheat 900
458 Italy corn 600
459 Spain rice 800
456
457
458
459
France
Italy
Italy
Spain
corn
wheat
corn
rice
1000
900
600
800
СУБД с построчным хранением
СУБД с вертикальным хранением
Single-scan aggregation:
SELECT Country, SUM(sales) FROM SalesOrders WHERE
Product=‘corn’ GROUP BY Country
Single-record access:
SELECT * FROM SalesOrders
WHERE Order = ‘457’
16. SAP HANA
CPU
STORAGE
MEMORY
Compression
Partitioning
No Aggregate tables
(Dynamic Aggregation)
Solid State Flash HDD
64bit address space
1 TB in current servers
Dramatic decline in price/performance
L3
Cache
L3
Cache
L3
Cache
L3
Cache
L3
Cache
L3
Cache
L3
Cache
L3
Cache
Multi-Core Architecture
8 CPU x 10 Cores per blade
Massive parallel scaling with many blades
Logging and Backup
OLTP+OLAP
in column Store
21. Прогнозная аналитика и персонификация
Разные
предложения
Разные
каналы
Предложение 2
Интернет
Готов к оттоку
Предложение 1
Традиционные
Готова для
предложения 1
Предложение 3
Социальные сети
Уже получила
предложение
и сказала
«нет».
Миллионы
клиентов
? В каждый
момент знаем
что делать с
каждым
клиентом и
каким образом
это с ним делать.
23. • “Новые бизнес-модели пока не могут возместить потерю
доходов традиционных СМИ”
• “Программное обеспечение обновляется быстрее, чем
устанавливается”
• “Крупных и надежных решений, способных заменить или
удержать рекламные деньги и читательскую плату, так и нет”
• “Серьезная журналистика не делается ради денег”
• “Нам ничего не известно о моральных стандартах тех, кто
размещает свои посты в Фейсбуке”
• “Интернет есть, а счастья денег нет”
Пример из медиа: а где же деньги счастье?
30. Hadoop – проект фонда Apache Software Foundation, свободно
распространяемый набор утилит, библиотек и программный каркас для
разработки и выполнения распределённых программ, работающих на
кластерах из сотен и тысяч узлов.
HADOOP – кто это???
32. Ценность Hadoop заключается в том, чтобы создать репрезентативную
выборку из гигантских объемов первичных данных и затем передать эту
выборку для оперативной обработки в SAP HANA (яркий пример – сборка генома)
Ценность Hadoop + SAP HANA
42. Стратегия – это плановый документ, определяющий направление
«главного удара» в развитии организации и формирующий ее качественно
новое будущее состояние (в горизонте планирования 3-5 лет) относительно
ее роли и места в расстановке отраслевых сил и создания ее новой
рыночной стоимости.
Big Data как часть корпоративной стратегии
45. Let’s Do IT
Вадим Табаков
Менеджер по развитию направления Big Data&Technology SAP CIS
к.э.н.
+7 495 755 9800
+7 967 132 5871
vadim.tabakov@sap.com