Как сделать ценными Ваши данные? Excel, My SQL, OLAP-кубы, сотни и тысячи специальных процедур, человеко-годы работ… Надоело? Количество данных растет, бизнес меняется быстрее, чем ИТ за ним поспевает? Необходимой отчетности нет… Знакомая картина? Тогда Вам СЮДА. Сегодня новые технологии ломают рынок BI-решений. Знаете ли Вы, что можно БЕСПЛАТНО использовать такое же решение, какое используют такие крупные бизнесы как Zynga, HP, YOTA и др.? Знаете ли Вы, что проект по разработке и внедрению мощной аналитической системы сегодня занимает пару месяцев?

1. Серия вебинаров
«Как сделать Ценными
Ваши данные?»
Вебинар:
«Новые технологии
HP Vertica + Tableau
как комбинация
«двойка» Майка Тайсона»
Начало в 11:00

2. План вебинара





HP Vertica
Tableau
Демонстрация HP Vertica + Tableau
Case study Zynga, Yota Networks
О компании АНАЛИТИКА ПЛЮС

3. Big Data –
одна из наиболее обсуждаемых бизнесом проблем.
Аналитика –
один из ключевых процессов деятельности компании.

4. 3 шага для создания мощной и эффективной стратегии
в области аналитики:

Выбор системы сбора и хранения информации

Выбор аналитических инструментов

Подготовка человеческих ресурсов

5. 1й шаг для создания мощной и эффективной стратегии в
области аналитики –
 Выбор системы сбора и хранения информации

6. Вы готовы к анализу данных?
«Люди даже приблизительно не готовы к той революции, которая произойдет…»
Эрик Э. Шмидт, Председатель совета директоров Google



Объемы данных растут в
геометрической прогрессии
Excel, My SQL и даже традиционные
ХД уже не справляются с большими
объемами данных
Снижение производительности и
эффективности

7. HP Vertica
Аналитическая платформа Реального времени

8. The Vertica - аналитическая платформа реального времени












Аналитика в реальном времени
Большие масштабы данных
Массовая параллельная обработка данных (MPP)
Продвинутое сжатие данных
Колоночное хранение
Простота установки/использования – нулевое администрирование
Кластеризация и высокая масштабируемость
Индустриально стандартная
платформа x86
Гибридная in-memory/on-disk архитектура
Автоматизированный Дизайнер БД
Стандартный SQL интерфейс
Простая интеграция с существующими решениями ETL и BI

9. Колоночное хранение в Vertica




Vertica интеллектуально организует данные на диске для каждой
колонки
Читаются только колонки, участвующие в запросе
Чтение и Запись блоков очень большого размера
Идеально для интенсивной работы в режиме ЗАГРУЗКА/ЧТЕНИЕ с
серьезным сокращением операций ввода/вывода
SELECT
avg(price)
FROM
tickstore
WHERE
symbol = ‘AAPL’
AND
date = ‘5/06/09’;
Колоночное хранение – читаются 3 колонки
NQDS
NYSE
NYSE
NYSE
NQDS
NYSE
NYSE
NYSE
NQDS
NYSE
NYSE
NYSE
NQDS
NYSE
NYSE
NYSE
NQDS
AAPL
AAPL
BBY
BBY
NQDS
NYSE
NYSE
NYSE
NQDS
NYSE
NYSE
NYSE
NQDS
NYSE
NYSE
NYSE
NQDS
NYSE
NYSE
NYSE
NQDS
NQDS
NYSE
NYSE
NYSE
NQDS
NYSE
NYSE
NYSE
NQDS
NYSE
NYSE
NYSE
NQDS
NYSE
NYSE
NYSE
NQDS
NQDS
NYSE
NYSE
NYSE
NQDS
NYSE
NYSE
NYSE
NQDS
NYSE
NYSE
NYSE
NQDS
NYSE
NYSE
NYSE
NQDS
NQDS
NYSE
NYSE
NYSE
NQDS
NYSE
NYSE
NYSE
NQDS
NYSE
NYSE
NYSE
NQDS
NYSE
NYSE
NYSE
NQDS
NQDS
NYSE
NYSE
NYSE
NQDS
NYSE
NYSE
NYSE
NQDS
NYSE
NYSE
NYSE
NQDS
NYSE
NYSE
NYSE
NQDS
NQDS
NYSE
NYSE
NYSE
NQDS
NYSE
NYSE
NYSE
NQDS
NYSE
NYSE
NYSE
NQDS
NYSE
NYSE
NYSE
NQDS
143.74
143.75
37.03
37.13
NQDS
NYSE
NYSE
NYSE
NQDS
NYSE
NYSE
NYSE
NQDS
NYSE
NYSE
NYSE
NQDS
NYSE
NYSE
NYSE
NQDS
NQDS
NYSE
NYSE
NYSE
NQDS
NYSE
NYSE
NYSE
NQDS
NYSE
NYSE
NYSE
NQDS
NYSE
NYSE
NYSE
NQDS
Строчное хранение - читаются все колонки
AAPL
AAPL
BBY
BBY
NYASE
NYAASE
NYSE
NYASE
NGGYSE
NYGGGSE
NYSE
NYSE
NYSE
NYASE
NYAASE
NYSE
NYASE
NGGYSE
NYGGGSE
NYSE
NYSE
NYSE
NYASE
NYAASE
NYSE
NYASE
NGGYSE
NYGGGSE
NYSE
NYSE
NYSE
NYASE
NYAASE
NYSE
NYASE
NGGYSE
NYGGGSE
NYSE
NYSE
NYSE
143.74
143.74
37.03
37.13
NYSE
NYSE
NYSE
NYSE
NYSE
NYSE
NYSE
NYSE
NYSE
NYSE
NYSE
NYSE
5/05/09
5/06/09
5/05/09
5/06/09
5/05/09
5/06/09
5/05/09
5/06/09

10. Продвинутое сжатие





Vertica заменяет медленные операции ввода/вывода быстрыми
циклами процессора через агрессивное сжатие
Использует свойства данных такие как сортировка
Работает на больших объемах чисел и строк
Может работать без первичного раскодирования
Интеллектуальное раскодирование как можно позднее
Механизм раскодирования
Transaction Date
Customer ID
Trade
5/05/2009, 16
5/05/2009
0000001
0000001
0
0000001
2
0000003
2
0000003
4
0000005
10
10
0000011
19
0000011
25
0000020
49
0000026
0000050
0000051
0000052
Раскодирование на лету
100.25
.25
1
100.50
2
100.75
3
1
100.25
3
100.75
4
101.00
5
3
101.25
5
100.75
3
101.25
100.75
100.00
100.50
5/05/2009
5/05/2009
5/05/2009
5/05/2009
5/05/2009
5/05/2009
5/05/2009
5/05/2009
Несколько
значений
Отсортировано
RLE
Много значений
Целое
Может быть
отсортировано
DeltaVal
Множество
других…
Диск:
Кодирование
+ Сжатие
100
Буфер:
Только
распаковка
Engine:
Раскодирова
ние блоков
Много значений
Отсортировано
Раскодированный
результат
Просто во время
GCD
Сырые данные
Сжатые данные
Сеть:
Раскодированные
блоки
+ возможно
использование
LZO

11. Кластеризация (MPP -Massive Parallel Processing)



Массовая параллельная обработка
Нет специализированных узлов
Загрузка данных и запросы на любом узле
Кластерная сеть
Внешняя сеть



Больше кластер = больше места для
данных + выше производительность
Автоматическая репликация и
восстановление после сбоев
Линейная масштабируемость

12. Проекции – оптимизированное хранение запросов





Нет нужды хранить и перестраивать базовые таблицы
Физический дизайн понятен всем приложениям
Данные хранятся в сортированном, сжатом виде
Не нужно индексирование (колонки уже индексированы)
Нужная проекция выбирается оптимизатором в момент обращения

13. Проекции – оптимизированное хранение запросов




Проекции распределены и зеркалированы по узлам для
отказоустойчивости
Vertica продолжает загрузку данных и исполнение запросов даже когда
один из узлов не доступен
Нет нужды в ручном восстановлении на основе логов
Данные восстанавливаются с оставшихся узлов кластера
Vertica Кластер из трех
узлов
Узел 2
Узел 1
Узел 3
B2
A2
C2
B1
A1
C1
B3
A3
C3
A3
B3
C3
A2
B2
C2
A1
B1
C1

14. Гибридная структура хранения




Аналитика в реальном времени на больших объемах данных
Гибридная структура хранения
Конкурентная загрузка и чтение доступно при помощи асинхронного
TUPLE MOVER процесса
Загрузка зависит от размера кластера: +10 TB в час
Потоковая
загрузка
Хранилище оптимизированное
для чтения (ROS)
Хранилище
оптимизированное для
записи (WOS)
A
B
C
 Базируется в памяти
TUPLE MOVER
• На диске
• Сортированное / Сжатое
•Сегментированное
Асинхронная передача
данных
A
 Не сортированное / Не сжатое
 Сегментированное
B
(A B C | A)
 Низкая задержка
Загрузка данных
C

15. Стандартный SQL-интерфейс в Vertica




Vertica поддерживает ANSI SQL-99 + Analytics
Минимизация интеграционных затрат существующими инструментами
BI и ETL
Vertica’s Hadoop Connector
Массовая и
Коннекторы БД для
SQL, ODBC, JDBC

JDBC

ODBC

ADO.NET

OLE DB
поточная загрузка
ETL, Replication, Data Quality
Analytics, Reporting

16. Безопасность




Аутентификация
 Внешняя аутентификация через LDAP (Active Directory), Kerberos, и тд
 Конфигурируемая политика паролей – сложность и жизненный цикл
Шифрование
 SSL шифрование для операций клиент-сервер
 AES шифрование первого уровня
Безопасность на основе ролей
 Включает предопределенные роли для пользователей и DBA
Permissions на объекты
 Стандартный SQL GRANT синтакс

17. Vertica VS MySQL

18. Vertica vs MySQL
MySQL

Шардинг

Все операции с БД на уровне
Vertica

Сегментирование

Компрессия данных

Проекции
файлов

Индексы

Строчное хранение

Колоночное хранение

Миллиарды строк в таблице

Архитектура MPP
ведут к перегрузке серверов

19. Vertica vs MySQL
MySQL
Проблемы в производительности
на Big
Data
Затрата времени на администрирование
Нарастание объема запросов
Миллионы строк данных
Vertica
Экстремальная
производительность
Минимальное
администрирование
Минимум обработки данных
Миллиарды строк данных

20. 2й шаг для создания мощной и эффективной стратегии в
области аналитики –
 Выбор аналитических инструментов

21. Проблемы анализа данных

Большое количество данных

Как представить и описать?
Много времени уходит на
построение аналитической отчётности


Нет необходимой отчётности

22. Tableau Software
Помогает людям видеть и понимать данные

23. Красивые визуализации на любых данных

24. 2013 Gartner Magic Quadrant for Business Intelligence and
Analytics Platforms

Сильные стороны Tableau
 Скорость достижения
результата
 Простота использования
 Самообслуживание
 Мощное средство
визуализации
 Технические
возможности
 Высокая
производительность
 Мобильное решение

25. Клиенты Tableau Software в мире. 11
000+

26. Любые данные












Excel, Access, Text files
Oracle, MySQL, Sybase
SAP
Vertica
Teradata
Greenplum
Salesforce
Google Analytics
Google BigQuery
Hadoot
IBM Netezza
…

27. Что это дает?
Полный доступ к данным
Бизнес-аналитика в любом
месте и в любое время
Аналитика для всех

28. Мощное BI-решение HP Vertica + Tableau
+

29. Преимущества Vertica + Tableau
Возможности решения:
 «Живое» подключение к данным
 Миллиарды строк данных в режиме
реального времени. Vertica
предоставляет доступ к
данным, Tableau визуализирует эти
данные
 Бизнес-пользователи получают
возможность самостоятельно
исследовать свои данные
 Клиенты Vertica + Tableau, 100+:
Bank of America, Mozilla, Zynga,
DreamWorks Yota Networks, Animation,
Buffalo Studios, News Limited, WB Games


30. Архитектура решения HP Vertica + Tableau
Tableau
Данные
MsSQL,
MySQL и др.
Кубы
Файлы (Excel,
Txt и др. )

31. 



Крупнейший интернет-разработчик социальных игр в мире
230 млн. активных пользователей
Аналитическая среда Vertica, крупнейшее внедрение Vertica в мире
Почему Tableau:





Информация представляется не в цифрах, а на картинках
Интерактивность процесса анализа. Можно задать вопрос: «Почему так?»
Глубокое проникновение в систему управления компанией. Средство
общения, а не аналитический инструмент
Ответы на вопросы: Как влияет каждая новая игра на бизнес в целом?
Сколько из игроков играет каждый день? От трех до пяти раз в неделю?
Только один раз в неделю? Как это изменяется с течением времени?
Простота решения
По материалам статьи «Q&A: Zynga Stresses Visual Access to Its Vast Data
Volumes», www.tdwi.org

32. О задачах компании YOTA Networks

Yota Networks
 Российская телекоммуникационная компания
 Быстрорастущая инфраструктура
 Занимается сетями LTE
 Тысячи базовых станций в десятках регионах России

Бизнес-цели проекта
 Оперативное управление бизнесом
 Информация об актуальном состоянии сети
 Оценка эффективности по техническим, качественным и
финансовым показателям
 Создание единого инструмента для оперативного анализа данных и
статистики

33. Что получилось?
~ 3 недели
~ 140 отчетов
>70 пользователей
> 25 Dashboards
~ 100 KPI

34. YOTA Networks: Почему нам нравится решение
HP Vertica + Tableau?
Ведущий специалист Департамента Качества:
«Понятно. Быстро. Просто. Красиво.
Интерактивно»
Руководитель отдела систем управления
сетью, Департамент мониторинга и
управления сетью:
«Решение универсальное, позволяет
работать с Big Data СУБД, используя их
собственный потенциал, обладает
богатым функционалом. Одновременно
с этим решение очень простое в
использовании»
Руководитель Отдела контроля
качества услуг, Технический
Блок: «Я мечтал о такой
отчетности 3 года, и наконец
получил…»
Архитектор хранилища данных
Vertica:
«Vertica и Tableau. Оба
продукта просты в настройке
и эксплуатации, имеют
низкую стоимость владения
и высокую степень
интеграции»

35. Примеры Dashboards

36. Примеры Dashboards

37. Примеры Dashboards

39. О компании АНАЛИТИКА ПЛЮС

АНАЛИТИКА ПЛЮС официальный партнер компаний
Tableau Sofware и HP в России. Мы
работаем на рынке BI-решений с
2012 г.

Продукты
 Tableau
 HP Vertica

Нам доверяют
Бизнес-анализ. Быстро и просто.

40. Наши услуги






Аналитика для бизнеса. Разработка отчетов: маркетинг, веб-аналитика,
Social Media, финансовая отчетность, картография и т.д.
BIG DATA анализ. Работа с большими массивами данных. Аналитика,
прогнозирование и оптимизация деятельности компании: закупки,
реклама, работа с клиентами, финансы и т.д.
Хранилища данных. Разработка архитектуры ХД, ETL, внедрение и
сопровождение BI-решения
Оптимизация данных. Подготовка источников данных для аналитики,
витрины данных. Интеграция с 1С, Terrasoft и другими учетными
системами
Обучение. Обучающие курсы по Tableau и персонализированное
обучение на ваших данных
Техническая и аналитическая поддержка

41. Наши ПЛЮСЫ

ПРОСТЫЕ решения
Мы создаем простые решения для сложных задач и рады поделиться с
Вами своим опытом и открытиями

Высокая СКОРОСТЬ
Наши решения внедряются за недели. А значит, наши Клиенты
получают быстрый результат, снижают риски, сокращают период
возврата инвестиций

Значимый РЕЗУЛЬТАТ
Мы помогаем обеспечить существенную информационную
прозрачность бизнеса: объединяем и организуем данные в мощном и
удобном BI-решении

42. КОНТАКТЫ
Тел.
+7 499 391-2984
Адрес:
г. Москва, 119119, Ленинский пр., д.42, к.1, офис 14-63
e-mail:
info@analytikaplus.ru
Мы на facebook: www.facebook.com/analytikaplus
Сайт:
www.analytikaplus.ru