Построение аналитических систем для анализа больших данных

1. Построение аналитических
систем для анализа больших
данных
Кукса Юрий
Ноябрь
2014
1

2. © 2013 Cisco and/or its affiliates. All rights reserved. Cisco Internal Only
Что такоеBig Data ?
Взрывной рост объемов информации.
Новые проблемы и возможности.
Big Data –данные, настолько большие, что управлять ими и анализировать их невозможно традиционными инструментами, укладываясь в разумное время и деньги
Атрибуты =проблемы больших данных (5 V)
Volume
Velocity –кол-во и частота транзакции, IO иNWлатентность
Variety -типы данных, pic, audio, video
Value –нужно перекопать тонны породы для 1 г
Veracity –точность и достоверность
2

3. © 2013 Cisco and/or its affiliates. All rights reserved. Cisco Internal Only
Аналитика –новая классификация
1.
“Быстрая” :Аналитика передового фронта бизнеса в потоке актуальных данных. MBs/GBs.
2.
“Традиционная”: Штабная аналитика с транзакционной БД в центре, выгрузка в хранилище (ETL ). 10s TB
3.
“Big Data” –Штабная аналитика, комбинирующая данные с разных источников, используя такие технологии, как Hadoopи NoSQL. 100s TBs или даже PBs.
Все 3 будут будут дополнять друг друга.
Cisco’s Vision –архитектурная поддержка всех 3-х, упрощение посредством общей инфраструктуры, управления, минимизации переносов данных (co-location)
3

4. © 2013 Cisco and/or its affiliates. All rights reserved. Cisco Internal Only
Сферы примененияпо индустриям
Выявления мошенничества,
Портфельный анализ
Рекомендации
Управление рисками
Финансы
Интеллектуальные сети
Управление мощностями
Гибкие тарифы
ЖКХ
Анализ отзывов
Адресная реклама
Привлечение новых клиентов
Реклама
Управление взаимодействием с заказчиками
Оптимизация цепочки поставок
Рекомендации
Расположение магазинов и их ассортимент
Розница
Фарма/клинические исследования
Биоинформатика
Предотвращение махинаций
Здравоохранение
Регулирование рынка
Социальное страхование
Антитеррор / СОРМ
Гос. сектор
Анализ качества процессов
Оптимизация дистрибуции
Превентивные меры
Производство
4

5. © 2013 Cisco and/or its affiliates. All rights reserved. Cisco Internal Only
Success Story
5

6. © 2013 Cisco and/or its affiliates. All rights reserved. Cisco Internal Only
6

7. © 2013-2014 Cisco and/or its affiliates. All rights reserved. Cisco Confidential 7
Cisco иBig Data

UCS делает предложение для Big Data полным

В фокусе: Hadoop, NoSQL, MPP,бизнес-аналитика

Проверенные архитектуры c Cisco UCS
•
Cisco UCS “Common Platform Architecture” for Big Data (теперьa Cisco UCS Integrated Infrastructure Initiative)
•
ISV партнеры
•
Совместные решения сEMC/VCE иNetApp
Влиятельный игрок на рынке облачных вычислений85% глобального IP-трафика проходит через Cisco

8. © 2013 Cisco and/or its affiliates. All rights reserved. Cisco Internal Only
IVB. SFF –1TB SAS. LFF –4TB SAS. Optional flash (cache-tier, primary high speed storage or boot)

9. © 2013 Cisco and/or its affiliates. All rights reserved. Cisco Internal Only
Cisco UCS CPA for Big Data v3Reference Architectures and Bundles
Starter
High Performance
Performance Optimized
Capacity Optimized
Extreme Capacity
Designed for
Performance and density for analytics engines, NoSQL databases, and entry- level Hadoop deployments
Extreme performance and density for analytics engines
Balance of compute and storage for scale-out applications including Hadoop, NoSQL, and MPP databases
Storage- intensiveHadoop and scale-out storage deployments.
Industry leading storage density with low cost per terabyte
Applications
ActianMatrix, DataStaxEnterprise, Elastic Search, MongoDB, Oracle NoSQL Database, Pivotal GreenplumDB, Platfora, SAS Analytics, Splunk, and Hadoop deployments
ActianMatrix, DataStaxEnterprise, Elastic Search, MongoDB, Oracle NoSQL Database, Platfora, SAS Analytics, Splunk, and high-performance Hadoop deployments
ActianMatrix, Cloudera, HortonWorks, MapR, MarkLogic, GreenplumDB, Pivotal HD, SAS Analytics, and Splunk
ActianMatrix, Cloudera, HortonWorks, MapR, MarkLogic, Pivotal HD, SAS Analytics, and Splunk
Snapshots, active archiving, compliance, media storage, and distributed file systems for scenarios in which high storage capacity is important
Server
UCS C220 M4
UCS C220 M4
UCS C240 M4
UCS C240 M4
UCS C3160
CPU
2 x Intel Xeon E5-2620 v3(15M Cache, 2.40 GHz)
2 x Intel Xeon E5-2680 v3(30M Cache, 2.50 GHz)
2 x Intel Xeon E5-2680 v3(30M Cache, 2.50 GHz)
2 x Intel XeonE5-2620 v3(15M Cache, 2.40 GHz)
2 x Intel XeonE5-2695 v2(30M Cache, 2.40 GHz)
Memory
256GB
256GB
256GB
128GB
256GB
StorageController
Cisco 12-Gbps SAS Modular Raid Controller with 2-GB FBWC
Cisco 12-Gbps SAS Modular Raid Controller with 2-GB FBWC
Cisco 12-Gbps SAS Modular Raid Controller with 2-GB FBWC
Cisco 12-Gbps SAS Modular Raid Controller with 2-GB FBWC
Cisco 12-Gbps SAS Modular Raid Controller with 4-GB FBWC
Storage
8 1.2-TB10K SASSFF HDD
2 1.2-TB10K SAS SFFHDD, 6 400-GBSAS SSD
2 120-GBSATA SSD, 24 1.2-TB 10KSAS SFF HDD
2 120-GBSATA SSD.12 4-TB 7.2K SAS SFF HDD
2 120-GBSATA SSD, 60 4-TB 7.2K SAS SFF HDD
Network Controller
Cisco UCSVIC 1227 2 10GE SFP+
Cisco UCS VIC 1227 2 10GE SFP+
Cisco UCSVIC 1227 2 10GE SFP+
Cisco UCS VIC 12272 10GESFP+
2 Cisco UCS VIC 1227 2 10GE SFP+
Network and Cluster Scaling
2 Cisco UCS 6248UP FIs, Scale up to 32 servers with no additional switching infrastructure
2 Cisco UCS6248UP FIs, Scale up to 32 servers with no additional switching infrastructure
2 Cisco UCS 6296UP FIs, Scale up to 80 servers per domain, Scale to thousands of servers with Cisco Nexus 7000 or 9000 Series Switches
2 Cisco UCS 6296UP FIs, Scale up to 80 servers per domain, Scale to thousands ofservers with Cisco Nexus 7000 or 9000 Series Switches
Integrates into existingor new Cisco UCS and Nexus infrastructure
Cisco Single SKU SmartPlayOffers
UCS-SL-CPA3-S(8 servers)
UCS-SL-CPA3-H(8 Servers)
UCS-SL-CPA3-P(16 Servers)
UCS-SL-CPA3-C(16 Servers)
UCS-SL-CPA3-D(5 Servers) 9

10. © 2013 Cisco and/or its affiliates. All rights reserved. Cisco Internal Only
(теперьCisco UCS Integrated Infrastructure for Big Data)
UCS 6200 Series
Fabric Interconnects
Nexus 2232
Fabric Extenders (optional)
UCS Manager
UCS C220/C240 M4 Servers
LAN, SAN, Management
10

11. © 2013 Cisco and/or its affiliates. All rights reserved. Cisco Internal Only
Простая интеграцияс корпоративными приложениями
UCSManager: развертывание, управление и мониторинг вмасштабахBig Data
Низколатентнаясетевая фабрика высокой пропускной способности увеличивает эффективность кластера
Крепкое партнерство с ключевыми прикладными вендорамиобеспечивают поддержку решения на уровне Enterprise
Почему Cisco UCS для Big Data?

12. © 2013 Cisco and/or its affiliates. All rights reserved. Cisco Internal Only
6200
Fabric A
6200
Fabric B
B200
CNA
FEX
B
FEX
A
SAN A
SAN B
ETH 1
ETH 2
MGMT
MGMT
Chassis 1
Fabric Switch
Uplink Ports
Compute Blades
Half / Full width
OOB Mgmt
Server Ports
VirtualisedAdapters
Cluster
Rack Mount– С240
CNA
FEX A
FEX B
Cisco UCS : физическая архитектура–CPA v2
Fabric Extenders:

13. © 2013 Cisco and/or its affiliates. All rights reserved. Cisco Internal Only
6200
Fabric A
6200
Fabric B
B200
CNA
FEX
B
FEX
A
SAN A
SAN B
ETH 1
ETH 2
MGMT
MGMT
Chassis 1
Fabric Switch
Uplink Ports
Compute Blades
Half / Full width
OOB Mgmt
Server Ports
VirtualisedAdapters
Cluster
Rack Mount– С240
CNA
Cisco UCS : физическая архитектура–CPA v3
Fabric Extenders:
Optional in CPA V3

14. © 2013 Cisco and/or its affiliates. All rights reserved. Cisco Internal Only
UCSRack-Mount Servers
UCSBlade Servers
Big Data Common Platform Architecture
NoSQLDatabase
SAN/NAS Arrays
Enterprise Applications
РасширениеэкосистемыCisco UCSдля традиционных корпоративных приложений в сторону Big Data

15. © 2013 Cisco and/or its affiliates. All rights reserved. Cisco Internal Only
Простая интеграцияс корпоративными приложениями
UCSManager: развертывание, управление и мониторинг вмасштабахBig Data
Низколатентнаясетевая фабрика высокой пропускной способности увеличивает эффективность кластера
Крепкое партнерство с ключевыми прикладными вендорамиобеспечивают поддержку решения на уровне Enterprise
Почему Cisco UCS для Big Data?

16. © 2013 Cisco and/or its affiliates. All rights reserved. Cisco Internal Only
Болевые точки управления кластером
Развертывание
Мониторинг
Рутинные операции по обслуживанию
Масштабирование
UCSManager приходит на помощь:
•
Быстрые элементарные и групповые операции
•
Моделирование, перестроение конфигураций и топологий, -больше тестов и симуляционныхпрогонов
•
Консистентность, надежность конфигураций
•
Простота
•
Все ресурсы видны как на ладони

17. © 2013 Cisco and/or its affiliates. All rights reserved. Cisco Internal Only
Инфраструктура Big Data
UCS Management (160 узловв одномкластере UCSDomain)
•
Кластерная топологияи инвентаризация
•
Детальная инвентаризация сервера
•
Назначение пулов идентификационных номеровMAC, IP, UUID
Инвентарный учет и управление ресурсами
Детектирование сбоев, обновление ПО
Политики QoSи
контрольэнергопотребления
•
Обнаружение сбоев, запись в журналы
•
Агрегирование событий
•
Обновление системного ПО
•
Задание политик QoS
•
Управление на основе политик
•
Контроль потолка потребляемой мощности

18. © 2013 Cisco and/or its affiliates. All rights reserved. Cisco Internal Only
Простая интеграцияс корпоративными приложениями
UCSManager: развертывание, управление и мониторинг вмасштабахBig Data
Низколатентнаясетевая фабрика высокой пропускной способности увеличивает эффективность кластера
Крепкое партнерство с ключевыми прикладными вендорамиобеспечивают поддержку решения на уровне Enterprise
Почему Cisco UCS для Big Data?

19. © 2013 Cisco and/or its affiliates. All rights reserved. Cisco Internal Only
Унифицированная фабрика Ciscoдает высокую пропускную способность
•
“Прокачка”на номинальной скорости аппаратуры без загрузки CPU на сервере
•
Динамическое управление полосами пропускания по заданным SLA
•
Стабильно низкая латентность между узлами кластера (микросекунды)
3G/s
LAN Traffic (HDFS Import) 3G/s
2G/s
3G/s
Cluster Traffic (Shuffle) 3G/s
3G/s
Application Traffic (HBase)
4G/s
5G/s
3G/s
t1
t2
t3
Индивидуальные
интерфейсы Ethernet
Сгруппированные по
приоритету QoS

20. © 2013 Cisco and/or its affiliates. All rights reserved. Cisco Internal Only
Простая интеграцияс корпоративными приложениями
UCSManager: развертывание, управление и мониторинг вмасштабахBig Data
Низколатентнаясетевая фабрика высокой пропускной способности увеличивает эффективность кластера
Крепкое партнерство с ключевыми прикладными вендорамиобеспечивают поддержку решения, готового промышленной эксплуатации
Почему UCS для Big Data?

21. © 2013-2014 Cisco and/or its affiliates. All rights reserved. Cisco Confidential 21
Cisco UCS Big Data–партнеры ISV
•
Референтныеархитектуры
•
Совместные инженерные лаборатории
•
Документированные best practice и design guide
•
Cisco Big Data Design Zone
•
Cisco Big Data Lab для тестирований и POCs
NoSQL Database
No SQL
MPP Databases
Hadoop
Analytics

22. © 2013 Cisco and/or its affiliates. All rights reserved. Cisco Internal Only
•
8 больших проектов с глобальными клиентами
•
ClouderaBig Data Software Leadership + Cisco’s Platform Leadership and Deep Account Relationships
•
Клиенты с новыми и унаследованными задачами
•
Нет конкуренции с Cisco
•
Совместное решение–платформауровня Enterpriseдля Big Data
+
Что говорят партнеры:Cloudera

23. © 2013 Cisco and/or its affiliates. All rights reserved. Cisco Internal Only
Простое позиционирование HadoopдляBI / DW аудитории
Cloudera’sHadoopdistribution,работающеена Cisco UCS, это как обычное хранилище данных (DW), только вмещает больше данных, больше типов данных, и позволяет выполнять более продвинутую аналитику.
В то же времяэтоopen source, поэтому, на порядок экономичнее, чем
хранилища на базе Teradata /Netezza/ Exadata.
Что говорят партнеры: Cloudera

24. © 2013 Cisco and/or its affiliates. All rights reserved. Cisco Internal Only
Sensor Data
Web Logs
Hadoop
RDBMS
Преимущества:

Структурированныеи неструктурированные данные

Расширенная аналитика сMapReduce, NoSQL, и т.д.
DW
Query + Present
ETL Term Storage
ETL + Long Term Storage
Solution
Cost/ Terabyte
Hadoop Advantage
MapRinclusive of Cisco UCS
$500
Teradata Warehouse Appliance
$26,000
50x savings
OracleExadata
$21,000
40xsavings
IBMNetezza
$18,000
36xsavings
Что говорят партнеры: MapR–подтверждает новую экономику хранилищ данныхна Cisco UCS

25. © 2013 Cisco and/or its affiliates. All rights reserved. Cisco Internal Only
Cisco UCS Big Data –один из результатов партнерства
MapRна Cisco CPA v2показали линейную масштабируемость производительности на тестах Yahoo Storage Benchmark–это квалификационные испытания для кластеров Hadoop.

26. © 2013 Cisco and/or its affiliates. All rights reserved. Cisco Internal Only
Простая интеграцияс корпоративными приложениями
UCSManager: развертывание, управление и мониторинг вмасштабахBig Data
Низколатентнаясетевая фабрика высокой пропускной способности увеличивает эффективность кластера
Крепкое партнерство с ключевыми прикладными вендорамиобеспечивают поддержку решения, готового промышленной эксплуатации
Определенно, Cisco UCS для Big Data;-)!

27. CiscoRu Cisco CiscoRussia
Ждем ваших сообщений с хештегом
#CiscoConnectRu
•
Пожалуйста, используйте код для оценки доклада
•
4546
•
Ваше мнение очень важно для нас
Спасибо за внимание!
18.11.2014 © 2014 Cisco and/or its affiliates. All rights reserved.

28. Построение аналитических
систем для анализа больших
данных
Кукса Юрий
Ноябрь
2014
28