Oracle Big Data. Обзор технологий

Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Oracle Big Data
Обзор технологий
Успенский Никита
Руководитель направления Big Data (Россия, Казахстан, Монголия)
Моб.: +7 916 074 2340
E-mail: nikita.uspenskiy@oracle.com

Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Safe Harbor Statement
The following is intended to outline our general product direction. It is intended for information
purposes only, and may not be incorporated into any contract. It is not a commitment to deliver
any material, code, or functionality, and should not be relied upon in making purchasing decisions.
The development, release, and timing of any features or functionality described for Oracle’s
products remains at the sole discretion of Oracle.
2

Copyright © 2015, Oracle and/or its affiliates. All rights reserved. |
Архитектура ИТ
3

Data Management Platform: общая архитектура
WarehouseData FactoryReservoir
Data Streaming
Data Platform
Discovery Lab
Аналитика
APIs
Корпора-
тивные
данные
Другие
источники
данных
Потоки
данных
Бизнес-
данные
Логи /
данные
соц. сетей
Model First
Analytics
• Отчеты и аналитика
• Аналитика на всех
данных
• Классический анализ
данных
Отчеты &
Дашборды
Data First
Analytics
• Визуальное
исследование
данных
• Скрытые
закономерности
Исследования
• Телеметрия
• Индустриальные
сервисы
• Internet of Things
Data
Services
Исполнение
Инновации
4

Data Management Platform: компоненты Oracle
обеспечивают выполнение всех основных задач Big Data
WarehouseFactoryReservoir
Data Streaming
Data Platform
Discovery Lab
Аналитика
APIs
Бизнес-
данные
Model First
Analytics
• Reporting-oriented
• Often enterprise wide
in scope, cross LoB
• “you know the
questions to ask”
Reports &
Dashboards
Data First
Analytics
• Data Exploration
• Highly visual and/or
interactive
• “you don’t know the
questions to ask”
Discovery
• Telematics
• Industry Services
• Sentiment
Data
Services
Real Time
Decisions
Metadata Management & Business Glossary
Oracle Database
& Big Data SQL
Oracle
R
Oracle
Big Data
Discovery
Oracle
Business
Intelligence
Oracle
Big Data
Discovery
Apache
Model First
Analytics
данных
данных
Отчеты &
Дашборды
Data First
Analytics
данных
• Скрытые
сервисы
Data
Services
5536536
Oracle
Stream
Analytics
Oracle
NoSQL
Apache
Инновации
Корпора-
тивные
данные
Другие
источники
данных
Потоки
данных
Логи /
данные
соц. сетей
5
Oracle
Big Data
Preparation
Cloud Service
OracleGoldenGateforBigData
Oracle Data Integrator for Big Data
Oracle
Enterprise
Data Quality

Data Management Platform: интегрированные
программно-аппаратные комплексы
Data Streaming
Data Platform
Discovery Lab
Analytics
APIs
Бизнес-
данные
Model First
Analytics
in scope, cross LoB
• “you know the
questions to ask”
Reports &
Dashboards
Data First
Analytics
interactive
questions to ask”
Discovery
• Telematics
• Sentiment
Data
Services
APIs
Аналитика
Model First
Analytics
in scope, cross LoB
• “you know the
questions to ask”
Reports &
Dashboards
Data First
Analytics
interactive
questions to ask”
Discovery
• Telematics
• Sentiment
Data
Services
Model First
Analytics
данных
данных
Отчеты &
Дашборды
Data First
Analytics
данных
• Скрытые
сервисы
Data
Services
Инновации
Корпора-
тивные
данные
Другие
источники
данных
Потоки
данных
Логи /
данные
соц. сетей
6

Преимущества
Oracle Big Data
7

• Oracle – №1 среди 7 вендоров
• Oracle – №1 по 3/3 категорий:
– Продукт
– Стратегия
– Присутствие
на рынке
Forrester Wave: Big Data Hadoop-Optimized Systems
8
http://reprints.forrester.com/#/assets/2/132/%27RES123865%27/reports

4 года непрерывного технологического прогресса
Big Data Appliance X2
Big Data Connectors
9
On-Premise
• Big Data Appliance X6
• Big Data Connectors
• Big Data SQL
• Big Data Spatial and Graph
• Big Data Discovery
• ODI for Big Data
• Golden Gate for Big Data
Cloud
• Big Data Cloud Service
• Big Data SQL Cloud
Service
• Big Data Discovery Cloud
Service
• Big Data Preparation
Cloud Service
• ...
Сен-
тябрь
2016
Июнь
2012

1. Простота доступа
к данным
10

Новые реалии в мире управления данными
Появление и развитие новых
средств программирования
Появление и развитие новых компонентов
управления данными
11

Big Data меняет представление об управлении данными
Традиционный
взгляд на управление
данными
Новые подходы к
управлению данных
Oracle Big Data SQL
12

Big Data SQL
13
Транзакции
RelationalHadoop
Логи
NoSQL
Профили клиентов
SQL
Информационная безопасность:
ВСЕ данные в рамках единых общих политик обеспечения безопасности

Единый интерфейс обращения к данным
14
Oracle Big Data SQL - нет необходимости переписывать существующие приложения
Oracle Database 12c
Предобработка запроса
на серверах хранения
Exadata
Быстрый возврат
выборочных данных
Hadoop и NoSQL
Предобработка запроса
на узлах кластера
SQL
Часть
данных
SQL

Развитие Big Data SQL
Операция SQL Технология Версия Big Data SQL
Scan Smart Scan 1.0
Scan Storage Index 2.0
Scan Partition Pruning 3.0
Scan Parquet | ORC Predicate Pushdown 3.0
Join Bloom Filters 3.0
Aggregation Vector Aggregation Ожидается в будущем
15

Big Data SQL – поддерживаемые конфигурации
Engineered Systems
XB
Oracle Cloud*
Commodity Servers Mixed Deployment*
Engineered Systems*
Mixed Deployment*
Уже скоро!
16

Структура ячейки Big Data SQL
I/O Stream Data Transfer
Exadata Storage
Server Software
Наследованная
технология
17

Структура ячейки Big Data SQL
Smart Scan
I/O Stream Data Transfer
Конвертация в
«блочный» формат
Oracle
Применение
Smart Scan и
других оптимизаций
18

Технологии увеличения скорости Big Data SQL
Сокращение ввода-вывода
100 TB
User Query Partition Pruning
10 TB
1
Storage Indexing
1 TB
2
Predicate Pushdown
100 GB
3
19

Технологии Big Data SQL Security
Hadoop Security
ACL’s | Sentry | HDFS Encryption | Encryption in Motion
20

Технологии Big Data SQL Security
• Единые модели
безопасности для
различных сред хранения
данных
• Дополнительные опции
по безопасности, такие
как «data redaction» могут
быть применены к
объединенным
источникам данных
• Oracle обеспечивает
безопасность поверх
Hadoop
Hadoop Security
ACL’s | Sentry | HDFS Encryption | Encryption in Motion
21

Oracle Big Data
Открытая аналитическая платформа
22

2. Исследование
новых возможностей
23

Из данных в Hadoop не так легко извлечь пользу
• Существующие аналитические
средства не подходят
– Требуется много усилий для подготовки данных
– Ручная обработка наборов данных
– Очистка данных и их подготовка сильно зависят
от ETL инструментов
– Аналитические запросы должны быть
определены заранее
• Нет единого инструмента для
анализа
– Несогласованность данных и визуализации
– Нет единого «источника правды»
• Нужен полный функционал
• Сложные компоненты Hadoop
– Pig, Oozie, Sqoop, Hive, Spark
• Сложно найти специалистов
– Языки программирования
(например, Map Reduce, Python, Scala)
– Мат. статистика и машинное обучение
– Интерфейсы с командной строкой
24

Аналитика больших данных требует новых подходов
Изучение
Трансфор-
мация
Исследо-
вание
Поиск
Интуитивный, интерактивный
и наглядный пользовательский
интерфейс
понятный всем, для быстрого
поиска, изучения, трансформации
и анализа данных в Hadoop,
а также для общего
пользования результатами
25

Big Data Discovery. Визуальный интерфейс к Hadoop
Изучение
Трансфор-
мация
Иссле-
дование
Поиск
26

• Доступ к интерактивному
каталогу данных,
расположенных в Hadoop
• Удобный поиск и навигация
в наборах данных
• Аннотации, краткие
описания и рекомендации к
наборам данных
• Загрузка собственных
данных
• Автоматическое
обогащение данных
• Навигация по собственным
и коллективным проектам
27
Легко находите нужные наборы данных

• Понимание структуры
данных. Визуализация
атрибутов по типам
• Сортировака атрибутов по
степени их важности на
основе алгоритмов
машинного обучения
• Распределение данных,
качество данных и
выбросы
• Понимание корелляции
между атрибутами
• Оценка целесообразности
дальнейшей работы с
набором данных
28
Изучайте данные и раскрывайте их потенциал

• Интуитивный интерфейс для
трансформации данных
• Расширяемая библиотека
функций (замена значений,
конвертация типов,
группировки, слияния и т.д.)
• Предварительный просмотр
результатов, отмена,
подтверждение и повторное
выполнение трансформаций
• Тестирование на небольшом
наборе данных в оперативной
памяти, применение на
полном наборе данных в
Hadoop
29
Трансформируйте и обогащайте данные

• Объединение различных
данных для более
глубокого анализа
• Фильтрация данных с
помощью мощного
поисковика и интуитивной
навигации с подсказками
• Интерфейс «Drag & drop»
для создания
интерактивных визуальных
дэшбордов
• Публикация в Hadoop
отчетов на основе
смешанных наборов
данных
30
Исследуйте данные для получения новых знаний

Делитесь результатами с Вашими коллегами
31
• Делитесь и взаимодействуйте с Вашей
командой
– Делитесь проектами, закладками, снапшотами
и т.д.
• Публикуйте данные в Hadoop
– Трансформации и обогащения могут быть
применены к исходным наборам данных
– Публикация подготовленных наборов данных в
HDFS
• Используйте результаты для работы с
другими инструментами
– Публикуйте данные в Hadoop в форматах,
оптимизированных для аналитических
инструментов (например, ORAAH)
– Используйте стандартные компоненты Hadoop
(например, Pig, Hive, Impala, Python, т.д.)
Oracle Big Data Discovery отлично
работает со всех экосистемой Big Data
Explore
TransformDiscover
Find
Share & Collaborate
raw data
transformed data
data reservoir
(HDFS)
Publish
data
warehouse
business
intelligence
advanced
analytics
other
hadoop
tools
Leverage

3. Развертывание,
сопровождение
и TCO

Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | Oracle Confidential – Internal
BIG DATA APPLIANCE – аппаратная платформа
До 792 ядер с 4.6TB RAM (расширяется до 13.8TB)
До 1728 TB дискового пространства
40 Gb/s InfiniBand
Оптимизации для Linux
Сконфигурированная Java
Сетевые оптимизации
Оптимизации для Hadoop
Единая точка обновления и патчирования
Full
Минимум 6 узлов и расширение по 96TB
до 20+ систем в кластере
Kerberos аутентификация
Авторизация Apache Sentry
Аудит Oracle Audit Vault
Шифрование данных
Шифрование трафика
Централизированное управление через OEM 12c
+1
+1
+1
+1
+1
+1
• МОЩНЫЙ
• МОДУЛЬНЫЙ
• ОПТИМИЗИРОВАННЫЙ
• БЕЗОПАСНЫЙ
• УПРАВЛЯЕМЫЙ

Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | Oracle Confidential – Internal 34
• Oracle Linux 5 или Oracle Linux 6
• Oracle Java – JDK 8
• Oracle R Distribution
• Oracle Big Data Appliance Enterprise Manager Plug-In
• Big Data SQL (опционально, лицензируется отдельно)
• Big Data Discovery (опционально, лицензируется отдельно)
• Oracle NoSQL Database Enterprise Edition
(опционально, лицензируется отдельно)
• Cloudera Enterprise 5 – Data Hub Edition
• Cloudera’s Distribution including Apache Hadoop (CDH) with
support for YARN and MR2
• Cloudera Impala
• HBase (as well as support for Accumulo)
• Cloudera Search
• Apache Spark
• Cloudera Manager including:
• Cloudera Back-up and Disaster Recovery (BDR)
• Cloudera Navigator
BIG DATA APPLIANCE – программное обеспечение

Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 35
Эластичное масштабирование от Starter Rack to Multi-Rack
Starter
Full
Multi-Rack
• Начальная конфигурация включает 6 BDA узлов и все свитчи
- Можно добавлять по одному BDA узлу
• Системы предыдущих поколений можно расширять новыми узлами
35
HC

Что вам НЕ придется делать с Big Data Appliance (1/2)
• Подбирать и оптимизировать компоненты – серверы, диски,
количество дисков, процессоры, сети, память и т.п.
• Заключать отдельный договор о поддержке с Cloudera
• Собирать кластер
• Настраивать сетевые коммутаторы
• Инсталлировать операционную систему на каждом узле и
• Отслеживать и устанавливать оптимальные версии драйверов и
прошивок для каждого компонента
• Настраивать операционную систему для оптимальной
производительности (у нас же очень много данных!)
• Настраивать Java
36

Что вам НЕ придется делать с Big Data Appliance (2/2)
• Инсталлировать дополнительное ПО от Cloudera
• Тестировать работоспособность и производительность каждого
узла кластера
• Заниматься самостоятельно трудоемкой процедурой
многуровнего апгрейда и патчирования BIOS, OS, Java, Hadoop и
т.п.
• И просто следить за тем, что нужно что-то проапгрейдить
• Изучать как это все сделать без остановки и прерывания работы
пользователей
• Заниматься дизайном перебалансировки кластера при его
расширении
• И т.д. и т.п.
37

TCO и развитие системы
• Экономия на лицензировании:
– По кол-ву дисков (например, Oracle Big Data SQL):
• Больше размер дисков → меньше лицензий для нужного объема данных
• Экономия на тех. поддержке ПО:
– 12% от стоимости Oracle Big Data Appliance, тех. поддержка Cloudera учтена
– Напрямую покупать дороже
(цена на узел $3000-$7000, узлы могут быть «слабее»)
• Западные заказчики переходят на Enterprise-решения
• Рынок развивается в сторону конвергентных систем, а не подхода
«сделай сам»
38

Техническая поддержка
• Premier Support: 24х7, русский язык в рабочие часы с 9:00 до 18:00
• Покрывает весь «стек» программно-аппаратного комплекса:
– Аппаратные компоненты
– Системное ПО (ОС, Java и т.д.)
– Платформенное ПО Cloudera
• Единый интерфейс обращения – через Oracle
• 12% от стоимости решения в год
39

BDA: Maximum Availability Architecture
Automatic Failover of the NameNode on BDA
Automatic Failover of the ResourceManager on BDA
White Paper: Maximum Availability Architecture for Big Data Appliance
40

4. Производительность
41

Oracle Big Data Appliance
В 2Xбыстрее
самосборного кластера1
Software and workloads used in performance tests may have been optimized for performance only on Intel microprocessors. Performance tests, such as SYSmark and MobileMark, are measured using specific computer systems, components, software, operations and functions. Any change to any of those factors may cause
the results to vary. You should consult other information and performance tests to assist you in fully evaluating your contemplated purchases, including the performance of that product when combined with other products. For more complete information visit http://www.intel.com/performance. Tests document performance of
components on a particular test, in specific systems. Differences in hardware, software, or configuration will affect actual performance. Consult other sources of information to evaluate performance as you consider your purchase. For more complete information about performance and benchmark results, visit
http://www.intel.com/performance. 1 - Configurations were compared by using the Big Data Benchmark for BigBench.Oracle* Big Data Appliance configuration included 6 nodes comprised of: Intel® Xeon® CPU E5-2699 v3 (HT enabled) with 128 GB DDR4, 12 X 4TB HDD, Infiniband network (1 connection) observed max
throughput 24 Gb/sec, Oracle* Linux Enterprise 6, and CDH* 5.4.4 with modified configuration. DIY cluster configuration included 6 nodes comprised of: Intel® Xeon® CPU E5-2699 v3 (HT enabled) with 128 GB DDR4, 1 x 64GB SSD for OS, 12 X 4TB HDD, 10Gb network (1 connection), CentOS* 6.6, CDH* 5.3.3 with
minimal changes.

1DMP (CleverDATA)
• Результаты тестирования:
– Обработка более 101,5 тысяч (в 1,45 раз больше
изначально ожидаемого числа) запросов в
секунду всего на одном узле Oracle Big Data
Appliance. Время отклика на запрос в 99% случаев
не превысило 1,17 миллисекунды (в 1,7 раза
лучше ожидаемого).
– Время классификации Интернет-страниц и
построение пользовательских профилей на 6
узлах Oracle Big Data Appliance составило 11
минут 17 секунд и оказалось в 5,43 раза лучше
ожидаемых результатов.
Тестирование партнерского решения в РФ
«Число клиентов Биржи данных растет, а это значит,
что актуальными становятся вопросы увеличения
производительности и масштабируемости решения.
Мы решили эти задачи за счет портирования
платформы на Oracle Big Data Appliance, что позволит
клиентам 1DMP строить на облачной площадке
собственные решения по управлению большими
данными, накапливать и за короткое время
классифицировать большие объемы информации,
формировать профили клиентов для целей
таргетированного маркетинга. Комплекс Oracle Big
Data Appliance позволил нам обеспечивать короткое
минимальное время отклика, что является критичным
на данном рынке работы с данными»
Денис Афанасьев, генеральный директор CleverDATA
http://cleverdata.ru/1dmp-na-oracle-big-data-appliance/
43

IQPLATFORM® (Айкумен ИБС)
– Скорость поиска в архиве выросла в 9 раз –
с 40 000 до 366 600 документов в секунду
«Ускорение обработки данных с применением
программно-аппаратных комплексов Oracle
Exadata, Oracle Exalogic и Oracle Big Data Appliance
позволяет нашим клиентам наиболее
эффективно обрабатывать большие массивы
накопленной информации, используя быстрый
онлайн-доступ к необходимым данным для их
комплексного анализа прямо на входном потоке.
Таким образом, открываются возможности
решения нового класса исследовательских задач,
требующих обработки данных в режиме
реального времени»
Дмитрий Часовской,
руководитель проектного отдела «Айкумен ИБС»
44

ForSMedia (ФОРС – ЦР)
– Скорость поиска в архиве выросла в 9 раз –
с 40 000 до 366 600 документов в секунду
«Столь впечатляющие результаты
тестирования ForSMedia на Oracle Exalytics In-
Memory Machine и Oracle Big Data Appliance
свидетельствуют о несомненных
преимуществах этих оптимизированных
программно-аппаратных комплексов перед
традиционными, что открывает широкие
перспективы для продвижения наших решений с
использованием технологий Больших данных
среди компаний финансового,
телекоммуникационного сектора, в ритейле и
других индустриях»
Алексей Голосов, президент ФОРС
45

Примеры проектов
46

Oracle Big Data: референсные заказчики
47

Garanti Bank
7 сценариев применения
48

Garanti Bank – текущая архитектура

Garanti Bank – целевая архитектура
50

Garanti Bank – источники данных
51

Garanti Bank – лучшее новое предложение клиенту
52

Garanti Bank – система оповещений
(мошенничество, риски, репутация) Банкоматы
Жалобы клиентов
53

Garanti Bank – анализ соц. сетей
54

Garanti Bank – гео-аналитика
Задачи:
1. Планирование развития
филиальной сети
2. Распределение человеческих
ресурсов между точками
продаж и филиалами
3. Поддержка управления
маркетинговыми кампаниями
55

ВТБ24
«Наша ИТ-стратегия опирается в том числе на
трансформацию ИТ-инфраструктуры на базе
технологических инноваций. Интегрированный
стек продуктов Oracle отвечает потребностям
бизнеса банка, а выбор Oracle Big Data Appliance,
снижая общую стоимость хранения, дает не
только экономию по стоимости владения
данными, но и открывает перспективы для их
превращения в реально работающий актив.»
Сергей Русанов,
член правления, директор департамента банковских и
информационных технологий банка ВТБ24
Пресс-релиз: ссылка
Статья на TADVISER: ссылка
56

Альфа Банк
Описание проекта на сайте Cnews: ссылка
«В начале мы хотели увидеть, действительно ли
анализ больших данных приносит те плоды, о
которых красиво рассказывают менеджеры по
продажам. Мир становится другим, объем данных
растет. Анализ информации становится
источником дополнительного дохода для бизнеса.
Мы в начале пути. У нас есть большие планы по
использованию внешних и внутренних данных.
Важны не просто технологии, а важен комплекс –
соединение технологии, людей, которые это
делают и конкретных целей бизнеса»
Ирина Елистратова, главный директор BI
57

50%Увеличение продаж –
персонализированные предложения
“Внедрение решений Big Data поможет
CaixaBank оставаться CaixaBank в
авангарде инноваций финансового
сектора.” – Juan-Maria Nin, CEO
Трансформация бизнеса
• Крупнейший банк в Испании
• Начали с развития CRM и обеспечения
требований регуляторов
• Единый взгляд на все данные
необходимые для бизнеса
• Обеспечение новых услуг
• Создание базы для будущих проектов
• Внедрена платформа Oracle Big Data
58Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |

“В мире нет другой платформы, которая бы
обеспечивала такую производительность.”
– Jameel Mohammed, Group Chief Operating
Officer, Globacom Limited
40xБыстрее анализ
внутрисетевых
событий
Улучшение аналитики сети и
эффективности call-центра
• Оптимизация управления данными о
клиентах и о работе сети
• Улучшение аналитики и отчетности
• Уменьшение скорости реагирования
сотрудников технической поддержки
35,000Ежедневная экономия
времени call-центра
59

Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | Oracle Confidential – Internal/Restricted/Highly RestrictedСсылка на видео
Клиентская аналитика в
розничной торговле – 1
• Персональные предложения на уровне
домохозяйства для 9,5 млн клиентов
• Улучшенное взаимодействие с
партнерами
• Внедрены Oracle Exadata и
50хУвеличение производительности
выполнения отчетов
“С помощью Oracle Exadata Database
Machine и Oracle Big Data Appliance
мы ожем исследовать больше данных
и делать это быстрее.” – Chris Wones,
Enterprise Architect, dunnhumby
60

Path to conversion
Mix and effectiveness
Measuring ROI
Клиентская аналитика в
розничной торговле – 2
• Аналитика по всем данным, а не по
выборке.
• Уменьшение времение выполнения
запросов с нескольких дней до
считанных минут
• Внедрены Oracle Exadata и
100%Получение персонализированных
результатов на всех данных –
больше никаких выборок
“Возможность получить ответ за
минуты, а не дни имеет достаточно
большое значение для нашего
бизнеса.” – Yael Cosset, CIO, 84.51
Ссылка на видео 61

Увеличение вовлеченности в
игровой процесс с помощью
аналитики больших данных
• Управление и аналитика до 300
миллиардов событий в день
• Понимание предпочтений и
сегментация игроков
• Быстрое устранение проблем с
игровыми сценариями
• На Oracle Big Data Appliance и Oracle
Database Appliance развернуты Oracle
Advanced Analytics и Oracle R Advanced
Analytics for Hadoop
Увеличение выручки в одном из
регионов засчет улучшения отклика на
потребности игроков
62%
62

Copyright © 2015, Oracle and/or its affiliates. All rights reserved. |https://www.youtube.com/watch?v=jHivBLWORlw
Ускорение тестовых испытаний
• Управление и распределение
данных более чем с 7,000 сенсоров,
2 TB за одно тестирование
• Быстрый и единовременный доступ
к данным несколькими командами
сокращает время анализа данных и
ускоряет запуск последующих
тестов
• Внедрены Oracle Big Data Appliance
и СУБД Oracle NoSQL
30%Уменьшено время тестирований, что
обеспечивает более быстрый запуск
продуктов на рынок
63

Oracle Big Data. Обзор технологий

Oracle Big Data. Обзор технологий

Recommandé

Recommandé

Contenu connexe

Tendances

Tendances (20)

En vedette

En vedette (20)

Similaire à Oracle Big Data. Обзор технологий

Similaire à Oracle Big Data. Обзор технологий (20)

Plus de Andrey Akulov

Plus de Andrey Akulov (20)

Oracle Big Data. Обзор технологий