Oracle Big Data proposition

Copyright © 2015, Oracle and/or its affiliates. All rights reserved. |
Преимущества
Oracle Big Data
1

• Oracle – №1 среди 7 вендоров
• Oracle – №1 по 3/3 категорий:
– Продукт
– Стратегия
– Присутствие
на рынке
Forrester Wave: Big Data Hadoop-Optimized Systems
2
http://reprints.forrester.com/#/assets/2/132/%27RES123865%27/reports

4 года непрерывного технологического прогресса
Big Data Appliance X2
Big Data Connectors
3
On-Premise
• Big Data Appliance X6
• Big Data Connectors
• Big Data SQL
• Big Data Spatial and Graph
• Big Data Discovery
• ODI for Big Data
• Golden Gate for Big Data
Cloud
• Big Data Cloud Service
• Big Data SQL Cloud
Service
• Big Data Discovery Cloud
Service
• Big Data Preparation
Cloud Service
• ...
Сен-
тябрь
2016
Июнь
2012

1. Простота доступа
к данным
4

Новые реалии в мире управления данными
Появление и развитие новых
средств программирования
Появление и развитие новых компонентов
управления данными
5

Big Data SQL
6
Транзакции
RelationalHadoop
Логи
NoSQL
Профили клиентов
SQL
Информационная безопасность:
ВСЕ данные в рамках единых общих политик обеспечения безопасности

Единый интерфейс обращения к данным
7
Oracle Big Data SQL - нет необходимости переписывать существующие приложения
Oracle Database 12c
Предобработка запроса
на серверах хранения
Exadata
Быстрый возврат
выборочных данных
Hadoop и NoSQL
Предобработка запроса
на узлах кластера
SQL
Часть
данных
SQL

Развитие Big Data SQL
Операция SQL Технология Версия Big Data SQL
Scan Smart Scan 1.0
Scan Storage Index 2.0
Scan Partition Pruning 3.0
Scan Parquet | ORC Predicate Pushdown 3.0
Join Bloom Filters 3.0
Aggregation Vector Aggregation Ожидается в будущем
8

Big Data SQL – поддерживаемые конфигурации
Engineered Systems
XB
Oracle Cloud*
Commodity Servers Mixed Deployment*
Engineered Systems
Mixed Deployment
* Уже скоро!
9

Структура ячейки Big Data SQL
I/O Stream Data Transfer
Exadata Storage
Server Software
Наследованная
технология
10

Структура ячейки Big Data SQL
Smart Scan
I/O Stream Data Transfer
Конвертация в
«блочный» формат
Oracle
Применение
Smart Scan и
других оптимизаций
11

Технологии увеличения скорости Big Data SQL
Сокращение ввода-вывода
100 TB
User Query Partition Pruning
10 TB
1
Storage Indexing
1 TB
2
Predicate Pushdown
100 GB
3
12

Технологии Big Data SQL Security
Hadoop Security
ACL’s | Sentry | HDFS Encryption | Encryption in Motion
13

Технологии Big Data SQL Security
• Единые модели
безопасности для
различных сред хранения
данных
• Дополнительные опции
по безопасности, такие
как «data redaction» могут
быть применены к
объединенным
источникам данных
• Oracle обеспечивает
безопасность поверх
Hadoop
Hadoop Security
ACL’s | Sentry | HDFS Encryption | Encryption in Motion
14

Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 15
Интеграция данных между традиционными
реляционными СУБД и миром Big Data
Резервуар данных Хранилище данных
Oracle Loader for
Hadoop (Big Data
connectors)
B Copy to BDA
Query in-place
with Big Data
SQL
Oracle Table
Access for Hadoop

Oracle Big Data
Открытая аналитическая платформа
16

2. Исследование
новых возможностей
17

Из данных в Hadoop не так легко извлечь пользу
• Существующие аналитические
средства не подходят
– Требуется много усилий для подготовки данных
– Ручная обработка наборов данных
– Очистка данных и их подготовка сильно зависят
от ETL инструментов
– Аналитические запросы должны быть
определены заранее
• Нет единого инструмента для
анализа
– Несогласованность данных и визуализации
– Нет единого «источника правды»
• Нужен полный функционал
• Сложные компоненты Hadoop
– Pig, Oozie, Sqoop, Hive, Spark
• Сложно найти специалистов
– Языки программирования
(например, Map Reduce, Python, Scala)
– Мат. статистика и машинное обучение
– Интерфейсы с командной строкой
18

Аналитика больших данных требует новых подходов
Изучение
Трансфор-
мация
Исследо-
вание
Поиск
Интуитивный, интерактивный
и наглядный
пользовательский интерфейс
понятный всем, для быстрого
поиска, изучения, трансформации
и анализа данных в Hadoop,
а также для общего
пользования результатами
19

Big Data Discovery. Визуальный интерфейс к Hadoop
Изучение
Трансфор-
мация
Иссле-
дование
Поиск
20

• Доступ к интерактивному
каталогу данных,
расположенных в Hadoop
• Удобный поиск и навигация
в наборах данных
• Аннотации, краткие
описания и рекомендации к
наборам данных
• Загрузка собственных
данных
• Автоматическое
обогащение данных
• Навигация по собственным
и коллективным проектам
21
Легко находите нужные наборы данных

• Понимание структуры
данных. Визуализация
атрибутов по типам
• Сортировака атрибутов по
степени их важности на
основе алгоритмов
машинного обучения
• Распределение данных,
качество данных и
выбросы
• Понимание корелляции
между атрибутами
• Оценка целесообразности
дальнейшей работы с
набором данных
22
Изучайте данные и раскрывайте их потенциал

• Интуитивный интерфейс для
трансформации данных
• Расширяемая библиотека
функций (замена значений,
конвертация типов,
группировки, слияния и т.д.)
• Предварительный просмотр
результатов, отмена,
подтверждение и повторное
выполнение трансформаций
• Тестирование на небольшом
наборе данных в оперативной
памяти, применение на
полном наборе данных в
Hadoop
23
Трансформируйте и обогащайте данные

• Объединение различных
данных для более
глубокого анализа
• Фильтрация данных с
помощью мощного
поисковика и интуитивной
навигации с подсказками
• Интерфейс «Drag & drop»
для создания
интерактивных визуальных
дэшбордов
• Публикация в Hadoop
отчетов на основе
смешанных наборов
данных
24
Исследуйте данные для получения новых знаний

Делитесь результатами с Вашими коллегами
25
• Делитесь и взаимодействуйте с Вашей
командой
– Делитесь проектами, закладками, снапшотами
и т.д.
• Публикуйте данные в Hadoop
– Трансформации и обогащения могут быть
применены к исходным наборам данных
– Публикация подготовленных наборов данных в
HDFS
• Используйте результаты для работы с
другими инструментами
– Публикуйте данные в Hadoop в форматах,
оптимизированных для аналитических
инструментов (например, ORAAH)
– Используйте стандартные компоненты Haddop
(например, Pig, Hive, Impala, Python, т.д.)
Oracle Big Data Discovery отлично
работает со всех экосистемой Big Data
Explore
TransformDiscover
Find
Share & Collaborate
raw data
transformed data
data reservoir
(HDFS)
Publish
data
warehouse
business
intelligence
advanced
analytics
other
hadoop
tools
Leverage

3. Развертывание,
сопровождение
и TCO

Oracle Confidential – Intern
BIG DATA APPLIANCE – аппаратная платформа
До 792 ядер с 4.6TB RAM (расширяется до 13.8TB)
До 1728 TB дискового пространства
40 Gb/s InfiniBand
Оптимизации для Linux
Сконфигурированная Java
Сетевые оптимизации
Оптимизации для Hadoop
Единая точка обновления и патчирования
Full
Минимум 6 узлов и расширение по 96TB
до 20+ систем в кластере
Kerberos аутентификация
Авторизация Apache Sentry
Аудит Oracle Audit Vault
Шифрование данных
Шифрование трафика
Централизированное управление через OEM 12c
+1
+1
+1
+1
+1
+1
• МОЩНЫЙ
• МОДУЛЬНЫЙ
• ОПТИМИЗИРОВАННЫЙ
• БЕЗОПАСНЫЙ
• УПРАВЛЯЕМЫЙ

Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | Oracle Confidential – Internal28
• Oracle Linux 5 или Oracle Linux 6
• Oracle Java – JDK 8
• Oracle R Distribution
• Oracle Big Data Appliance Enterprise Manager Plug-In
• Big Data SQL (опционально, лицензируется отдельно)
• Big Data Discovery (опционально, лицензируется отдельно)
• Oracle NoSQL Database Enterprise Edition
(опционально, лицензируется отдельно)
• Cloudera Enterprise 5 – Data Hub Edition
• Cloudera’s Distribution including Apache Hadoop (CDH) with
support for YARN and MR2
• Cloudera Impala
• HBase (as well as support for Accumulo)
• Cloudera Search
• Apache Spark
• Cloudera Manager including:
• Cloudera Back-up and Disaster Recovery (BDR)
• Cloudera Navigator
BIG DATA APPLIANCE – программное обеспечение

Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 29
Эластичное масштабирование от Starter Rack to Multi-Rack
Starter
Full
Multi-Rack
• Начальная конфигурация включает 6 BDA узлов и все свитчи
- Можно добавлять по одному BDA узлу
• Системы предыдущих поколений можно расширять новыми узлами
29
HC

Что вам НЕ придется делать с Big Data Appliance (1/2)
• Подбирать и оптимизировать компоненты – серверы, диски,
количество дисков, процессоры, сети, память и т.п.
• Заключать отдельный договор о поддержке с Cloudera
• Собирать кластер
• Настраивать сетевые коммутаторы
• Инсталлировать операционную систему на каждом узле и
• Отслеживать и устанавливать оптимальные версии драйверов и
прошивок для каждого компонента
• Настраивать операционную систему для оптимальной
производительности (у нас же очень много данных!)
• Настраивать Java
30

Что вам НЕ придется делать с Big Data Appliance (2/2)
• Инсталлировать дополнительное ПО от Cloudera
• Тестировать работоспособность и производительность каждого
узла кластера
• Заниматься самостоятельно трудоемкой процедурой
многуровнего апгрейда и патчирования BIOS, OS, Java, Hadoop и
т.п.
• И просто следить за тем, что нужно что-то проапгрейдить
• Изучать как это все сделать без остановки и прерывания работы
пользователей
• Заниматься дизайном перебалансировки кластера при его
расширении
• И т.д. и т.п.
31

Использование готовых продуктов
Oracle
Разработка решения на основе ПО и оборудования
общего назначения
Платформа уже готова к использованию с возможностью
достижения результата в предсказуемые и
контролируемые сроки.
Каждое решение есть результат разработки и требует разработки,
нескольких этапов тестирования и технической поддержки, что удорожает
и замедляет внедрение.
Небольшое количество комбинаций оборудования и ПО от
одного вендора оптимизированного работать вместе.
Большое количество возможных комбинаций ПО и оборудования от разных
вендоров с разными и часто не совпадающими характеристиками по
производительности и надежности.
Возможность объединять в одном SQL запросе
реляционные и не реляционные данные без ущерба
производительности.
Анализ реляционных и нереляционных данных, как правило, - это две
параллельные активности, требующие дополнительной интеграции.
Возможность обеспечить единый SLA от одного вендора
упрощает поддержку и делает ее более предсказуемой.
Многовендорный подход создает риск конфликта зон ответственности и,
как следствие, оперативного определения и устранения неисправности.
Возможность предоставить дорожную карту развития с
использованием лучших практик индустрии и
наработанного внутреннего опыта.
Каждый компонент в решении имеет свою дорожную карту развития и
жизненный цикл, что может привести к технологической и функциональной
не совместимости.
Изначально более высокое инвестирование предоставляет
платформу, готовую для обработки больших объемов
данных и извлечения из них максимальной пользы для
бизнеса.
Изначально более низкое инвестирование предоставит платформу годную
для пилотных экспериментов и ограниченной полезности результатов
исследования для бизнеса. В дальнейшем потребуются дополнительные
инвестиции и время для реализации платформы, полезной для бизнеса в
полном объеме.
Методология управления информацией Oracle
BigData: Купить или разрабатывать самому?
32

TCO и развитие системы
• Экономия на лицензировании:
– По кол-ву дисков (например, Oracle Big Data SQL):
• Больше размер дисков → меньше лицензий для нужного объема данных
• Экономия на тех. поддержке ПО:
– 12% от стоимости Oracle Big Data Appliance, тех. поддержка Cloudera учтена
– Напрямую покупать дороже
(цена на узел $3000-$7000, узлы могут быть «слабее»)
• Западные заказчики переходят на Enterprise-решения
• Рынок развивается в сторону конвергентных систем, а не подхода
«сделай сам»
33

Техническая поддержка
• Premier Support: 24х7, русский язык в рабочие часы с 9:00 до 18:00
• Покрывает весь «стек» программно-аппаратного комплекса:
– Аппаратные компоненты
– Системное ПО (ОС, Java и т.д.)
– Платформенное ПО Cloudera
• Единый интерфейс обращения – через Oracle
• 12% от стоимости решения в год
34

BDA: Maximum Availability Architecture
Automatic Failover of the NameNode on BDA
Automatic Failover of the ResourceManager on BDA
White Paper: Maximum Availability Architecture for Big Data Appliance
35

4. Производительность
36

Oracle Big Data Appliance
В 2Xбыстрее
самосборного
кластера1
Software and workloads used in performance tests may have been optimized for performance only on Intel microprocessors. Performance tests, such as SYSmark and MobileMark, are measured using specific computer systems, components, software, operations and functions. Any change to any of those factors may cause
the results to vary. You should consult other information and performance tests to assist you in fully evaluating your contemplated purchases, including the performance of that product when combined with other products. For more complete information visit http://www.intel.com/performance. Tests document performance of
components on a particular test, in specific systems. Differences in hardware, software, or configuration will affect actual performance. Consult other sources of information to evaluate performance as you consider your purchase. For more complete information about performance and benchmark results, visit
http://www.intel.com/performance. 1 - Configurations were compared by using the Big Data Benchmark for BigBench.Oracle* Big Data Appliance configuration included 6 nodes comprised of: Intel® Xeon® CPU E5-2699 v3 (HT enabled) with 128 GB DDR4, 12 X 4TB HDD, Infiniband network (1 connection) observed max
throughput 24 Gb/sec, Oracle* Linux Enterprise 6, and CDH* 5.4.4 with modified configuration. DIY cluster configuration included 6 nodes comprised of: Intel® Xeon® CPU E5-2699 v3 (HT enabled) with 128 GB DDR4, 1 x 64GB SSD for OS, 12 X 4TB HDD, 10Gb network (1 connection), CentOS* 6.6, CDH* 5.3.3 with
minimal changes.

1DMP (CleverDATA)
• Результаты тестирования:
– Обработка более 101,5 тысяч (в 1,45 раз больше
изначально ожидаемого числа) запросов в
секунду всего на одном узле Oracle Big Data
Appliance. Время отклика на запрос в 99% случаев
не превысило 1,17 миллисекунды (в 1,7 раза
лучше ожидаемого).
– Время классификации Интернет-страниц и
построение пользовательских профилей на 6
узлах Oracle Big Data Appliance составило 11
минут 17 секунд и оказалось в 5,43 раза лучше
ожидаемых результатов.
Тестирование партнерского решения в РФ
«Число клиентов Биржи данных растет, а это значит,
что актуальными становятся вопросы увеличения
производительности и масштабируемости решения.
Мы решили эти задачи за счет портирования
платформы на Oracle Big Data Appliance, что позволит
клиентам 1DMP строить на облачной площадке
собственные решения по управлению большими
данными, накапливать и за короткое время
классифицировать большие объемы информации,
формировать профили клиентов для целей
таргетированного маркетинга. Комплекс Oracle Big
Data Appliance позволил нам обеспечивать короткое
минимальное время отклика, что является критичным
на данном рынке работы с данными»
Денис Афанасьев, генеральный директор CleverDATA
http://cleverdata.ru/1dmp-na-oracle-big-data-appliance/
38

IQPLATFORM® (Айкумен ИБС)
– Скорость поиска в архиве выросла в 9 раз –
с 40 000 до 366 600 документов в секунду
«Ускорение обработки данных с применением
программно-аппаратных комплексов Oracle
Exadata, Oracle Exalogic и Oracle Big Data Appliance
позволяет нашим клиентам наиболее
эффективно обрабатывать большие массивы
накопленной информации, используя быстрый
онлайн-доступ к необходимым данным для их
комплексного анализа прямо на входном потоке.
Таким образом, открываются возможности
решения нового класса исследовательских задач,
требующих обработки данных в режиме
реального времени»
Дмитрий Часовской,
руководитель проектного отдела «Айкумен ИБС»
39
http://www.iqmen.ru/iqmen-oracle_exastack

ForSMedia (ФОРС – ЦР)
– Скорость поиска в архиве выросла в 9 раз –
с 40 000 до 366 600 документов в секунду
«Столь впечатляющие результаты
тестирования ForSMedia на Oracle Exalytics In-
Memory Machine и Oracle Big Data Appliance
свидетельствуют о несомненных
преимуществах этих оптимизированных
программно-аппаратных комплексов перед
традиционными, что открывает широкие
перспективы для продвижения наших решений с
использованием технологий Больших данных
среди компаний финансового,
телекоммуникационного сектора, в ритейле и
других индустриях»
Алексей Голосов, президент ФОРС
40
http://www.fors.ru/pressroom/news/1892/

Oracle Big Data proposition

Recommandé

Recommandé

Contenu connexe

Tendances

Tendances (20)

En vedette

En vedette (17)

Similaire à Oracle Big Data proposition

Similaire à Oracle Big Data proposition (20)

Plus de Andrey Akulov

Plus de Andrey Akulov (20)

Oracle Big Data proposition