SlideShare une entreprise Scribd logo
1  sur  8
ВОЗМОЖНОСТИ ОРГАНИЗАЦИИ 
ОБРАБОТКИ БОЛЬШИХ И 
СВЕРХБОЛЬШИХ МАССИВОВ ДАННЫХ 
Алексей Галаган
Решения Teradata для управления данными 
6XX 
17XX 
67XX 
27XX 
2 9/1/2014 Teradata Confidential 
7XX 
Мировой лидер в области хранилищ данных 
• Top 10 мировых публичных компаний ПО 
• Top 10 стратегических IT вендоров 
Глобальное присутствие 
• 2,500+ заказчиков в 77 странах 
• 10,000+ сотрудников 
Финансовые результаты (2013 г.) 
• Оборот более $2.5 млрд. 
• Рыночная капитализация более $10млрд. 
Data Mart 
Appliance 
Extreme Data 
Appliance 
Data Warehouse 
Appliance 
Active 
Enterprise 
Data 
Warehouse 
Appliance for 
Hadoop 
Aster Big Analytics 
Appliance 
SAS High 
Performance 
Analytics 
Масштаби 
руемость 
до 12TB до 186PB до 22PB до 61PB до 10PB до 5PB до 52TB 
Тип задач 
Тестирование/ 
Разработка 
небольших 
витрин 
данных 
Аналитический 
архив, 
обеспечивающий 
глубокое 
погружение в 
данные 
Стратегическая 
аналитика, 
система 
поддержки 
принятия 
решений, 
быстрое 
сканирование 
Стратегическая и 
операционная 
аналитика, 
обновление 
данных в реальном 
времени, активные 
нагрузки 
Платформа для 
загрузки, 
хранения и 
предобработки 
данных на основе 
Hadoop 1.3.2/2.1 
Платформа для 
анализа Больших 
данных с 
поддержкой SQL 
MapReduce для 
новых типов и 
источников данных 
Выделенное 
решение для 
реализации 
модели SAS high-performance 
analytics
Цели Транспортной стратегии России 
3 9/1/2014 Teradata Confidential 
Целевые индикаторы ТС РФ 
№1. Формирование единого транспортного 
пространства России на базе 
сбалансированного развития эффективной 
транспортной инфраструктуры 
Создание единой централизованной модели 
транспортного комплекса на базе 
высоконадежной, масштабируемой платформы, 
оптимизированной под задачи отрасли 
№2. Обеспечение доступности, объема и 
конкурентоспособности транспортных услуг по 
критериям качества для грузовладельцев на уровне 
потребностей инновационного развития экономики 
страны 
Создание бизнес сервисов, обеспечивающих 
грузовладельцев полной, согласованной, 
актуальной информацией. 
№3. Обеспечение доступности и качества транспортных 
услуг для населения в соответствии с социальными 
стандартами 
Моделирование пассажиропотоков, привязка 
единой транспортной модели к планам 
регионального развития, миграционным потокам, 
пропускным возможностям транспортных узлов 
№4. Интеграция в мировое транспортное пространство и 
реализация транзитного потенциала страны 
Переход на международные протоколы 
информационного взаимодействия на базе 
транснациональных индустриальных моделей 
№5. Повышение уровня безопасности транспортной 
системы 
Ситуационные центры и системы оперативного 
мониторинга на базе активных хранилищ данных
Управление транспортным комплексом 
на основе детальной аналитики 
Data Warehouse Advanced Analytics 
4 9/1/2014 Teradata Confidential 
Integrated 
Data Warehouse 
(IDW) 
SQL Framework Access Layer 
Integrated Discovery 
Platform (IDP) 
Pre-Built Analytics Functions 
1 2 
3 4
Новая парадигма анализа 
От визуализации агрегатов к комплексному исследованию детальных данных 
Кластеризация Многомерные бизнес индикаторы и геопривязка потоков потоков и анализ графов 
Санкей диаграммы, мощность событийных потоков 
5 9/1/2014 Teradata Confidential
Управление наземного транспорта Сингапура 
Проект PLANET 
Цели и вызовы 
Управление наземного транспорта Сингапура планирует, 
организует и обслуживает транспортную инфраструктуру города. 
Население мегаполиса превышает 5 миллионов человек – 
особенно актуальными являются следующие задачи: 
• Оптимизация транспортной системы – повышение пропускной 
способности, сокращение общего времени поездки, повышение 
уровня комфорта при перемещении по городу для пассажиров 
общественного транспорта 
• Формирование политики в области транспорта на детальных, 
достоверных данных 
• Стратегическое планирование и операционное управление 
комплексом за счет мониторинга показателей наземного 
транспорта 
• Использование информационной системы для решения задач 
управления и прогнозирования 
Решение 
Модель транспортной системы и логическая модель данных 
Teradata 
Хранилище данных Teradata 
Данные: 
• о билетах на общественный транспорт 
• о поездках частных а/м 
• о загруженности дорог 
Объём данных: 
• 4.6 млрд. записей за 3 года 
6 9/1/2014 Teradata Confidential 
Результат 
Формирование транспортной 
политики на достоверных данных 
Мониторинг и анализ показателей 
функционирования транспортной 
системы 
Моделирование и 
прогнозирование поведения 
транспортной системы 
Прогнозирование загруженности 
дорог с точностью более 80% 
Планирование мощности 
транспортной системы 
Оптимизация маршрутов 
общественного транспорта 
Расчёт тарифов общественного 
транспорта и проезда по платным 
дорогам 
Повышение эффективности 
работы сотрудников на 13% 
Снижение затрат на ИТ на 19% в 
год
Таможенная служба Швейцарии 
Цели и вызовы 
Таможенная служба Швейцарии решает следующие задачи: 
борьба с незаконной иммиграцией и криминальными явлениями, 
защита населения и окружающей среды, общественная 
безопасность, контроль импорта/экспорта и проведения 
досмотров, проверка уплаты налогов и сборов на границе, сбор 
детальных данных и статистики о перемещении пассажиров и 
грузов. 
Источники данных: 
• Электронные таможенные декларации 
• Данные о перемещении по платным автодорогам 
• NCTS – глобальная электронная система таможенных 
деклараций Евросоюза и Европейской ассоциации свободной 
торговли 
Решение 
Логическая модель данных Teradata 
Хранилище данных Teradata 
Данные: 
• 16 млн. деклараций на импорт 
• 6.5 млн. деклараций на экспорт 
• 7.5 млн. транзитных регистраций 
• 23 млрд. CHF таможенных поступлений – 30% бюджета 
Швейцарии 
7 9/1/2014 Teradata Confidential 
Результат 
• Аналитическая и оперативная 
отчётность в режиме реального 
времени 
• Анализ рисков 
• Сегментация клиентов 
таможенной службы 
• Мониторинг показателей 
эффективности 
• Контроль уплаты налогов и 
сборов 
• Мониторинг перемещения 
граждан 
• Повышение эффективности 
работы сотрудников таможни 
• Возможность использования 
данных хранилища для 
вероятностной оценки 
потенциального мошенничества
Преимущества партнерского подхода 
АЦ «Концепт» и Teradata - синергия методологии и 
технологического потенциала 
АЦ «Концепт» - лидер в 
методологии анализа и 
прогнозного моделирования ТК: 
Опыт реализации профильных 
проектов в транспортной отрасли РФ 
Собственная научно- 
методологическая база 
Штат специалистов в области 
автоматизации прогнозных и 
аналитических задач 
Teradata – лидер в создании высоко 
эффективных решений по хранению и 
обработке больших объемов данных 
Научно-технологическая кооперация позволяет эффективно решать задачи, сформулированные в 
Транспортной стратегии РФ, в части моделирования и прогнозирования транспортных потоков 
8 9/1/2014 Teradata Confidential 
Опыт в реализации крупных международных 
проектов управления ТК 
Собственная методология проектирования 
промышленных хранилищ данных, 
тиражируемая референтная модель данных 
Штат специалистов в РФ, реализующий 
проекты федерального уровня

Contenu connexe

En vedette

2024 State of Marketing Report – by Hubspot
2024 State of Marketing Report – by Hubspot2024 State of Marketing Report – by Hubspot
2024 State of Marketing Report – by HubspotMarius Sescu
 
Everything You Need To Know About ChatGPT
Everything You Need To Know About ChatGPTEverything You Need To Know About ChatGPT
Everything You Need To Know About ChatGPTExpeed Software
 
Product Design Trends in 2024 | Teenage Engineerings
Product Design Trends in 2024 | Teenage EngineeringsProduct Design Trends in 2024 | Teenage Engineerings
Product Design Trends in 2024 | Teenage EngineeringsPixeldarts
 
How Race, Age and Gender Shape Attitudes Towards Mental Health
How Race, Age and Gender Shape Attitudes Towards Mental HealthHow Race, Age and Gender Shape Attitudes Towards Mental Health
How Race, Age and Gender Shape Attitudes Towards Mental HealthThinkNow
 
AI Trends in Creative Operations 2024 by Artwork Flow.pdf
AI Trends in Creative Operations 2024 by Artwork Flow.pdfAI Trends in Creative Operations 2024 by Artwork Flow.pdf
AI Trends in Creative Operations 2024 by Artwork Flow.pdfmarketingartwork
 
PEPSICO Presentation to CAGNY Conference Feb 2024
PEPSICO Presentation to CAGNY Conference Feb 2024PEPSICO Presentation to CAGNY Conference Feb 2024
PEPSICO Presentation to CAGNY Conference Feb 2024Neil Kimberley
 
Content Methodology: A Best Practices Report (Webinar)
Content Methodology: A Best Practices Report (Webinar)Content Methodology: A Best Practices Report (Webinar)
Content Methodology: A Best Practices Report (Webinar)contently
 
How to Prepare For a Successful Job Search for 2024
How to Prepare For a Successful Job Search for 2024How to Prepare For a Successful Job Search for 2024
How to Prepare For a Successful Job Search for 2024Albert Qian
 
Social Media Marketing Trends 2024 // The Global Indie Insights
Social Media Marketing Trends 2024 // The Global Indie InsightsSocial Media Marketing Trends 2024 // The Global Indie Insights
Social Media Marketing Trends 2024 // The Global Indie InsightsKurio // The Social Media Age(ncy)
 
Trends In Paid Search: Navigating The Digital Landscape In 2024
Trends In Paid Search: Navigating The Digital Landscape In 2024Trends In Paid Search: Navigating The Digital Landscape In 2024
Trends In Paid Search: Navigating The Digital Landscape In 2024Search Engine Journal
 
5 Public speaking tips from TED - Visualized summary
5 Public speaking tips from TED - Visualized summary5 Public speaking tips from TED - Visualized summary
5 Public speaking tips from TED - Visualized summarySpeakerHub
 
ChatGPT and the Future of Work - Clark Boyd
ChatGPT and the Future of Work - Clark Boyd ChatGPT and the Future of Work - Clark Boyd
ChatGPT and the Future of Work - Clark Boyd Clark Boyd
 
Getting into the tech field. what next
Getting into the tech field. what next Getting into the tech field. what next
Getting into the tech field. what next Tessa Mero
 
Google's Just Not That Into You: Understanding Core Updates & Search Intent
Google's Just Not That Into You: Understanding Core Updates & Search IntentGoogle's Just Not That Into You: Understanding Core Updates & Search Intent
Google's Just Not That Into You: Understanding Core Updates & Search IntentLily Ray
 
Time Management & Productivity - Best Practices
Time Management & Productivity -  Best PracticesTime Management & Productivity -  Best Practices
Time Management & Productivity - Best PracticesVit Horky
 
The six step guide to practical project management
The six step guide to practical project managementThe six step guide to practical project management
The six step guide to practical project managementMindGenius
 
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...RachelPearson36
 

En vedette (20)

2024 State of Marketing Report – by Hubspot
2024 State of Marketing Report – by Hubspot2024 State of Marketing Report – by Hubspot
2024 State of Marketing Report – by Hubspot
 
Everything You Need To Know About ChatGPT
Everything You Need To Know About ChatGPTEverything You Need To Know About ChatGPT
Everything You Need To Know About ChatGPT
 
Product Design Trends in 2024 | Teenage Engineerings
Product Design Trends in 2024 | Teenage EngineeringsProduct Design Trends in 2024 | Teenage Engineerings
Product Design Trends in 2024 | Teenage Engineerings
 
How Race, Age and Gender Shape Attitudes Towards Mental Health
How Race, Age and Gender Shape Attitudes Towards Mental HealthHow Race, Age and Gender Shape Attitudes Towards Mental Health
How Race, Age and Gender Shape Attitudes Towards Mental Health
 
AI Trends in Creative Operations 2024 by Artwork Flow.pdf
AI Trends in Creative Operations 2024 by Artwork Flow.pdfAI Trends in Creative Operations 2024 by Artwork Flow.pdf
AI Trends in Creative Operations 2024 by Artwork Flow.pdf
 
Skeleton Culture Code
Skeleton Culture CodeSkeleton Culture Code
Skeleton Culture Code
 
PEPSICO Presentation to CAGNY Conference Feb 2024
PEPSICO Presentation to CAGNY Conference Feb 2024PEPSICO Presentation to CAGNY Conference Feb 2024
PEPSICO Presentation to CAGNY Conference Feb 2024
 
Content Methodology: A Best Practices Report (Webinar)
Content Methodology: A Best Practices Report (Webinar)Content Methodology: A Best Practices Report (Webinar)
Content Methodology: A Best Practices Report (Webinar)
 
How to Prepare For a Successful Job Search for 2024
How to Prepare For a Successful Job Search for 2024How to Prepare For a Successful Job Search for 2024
How to Prepare For a Successful Job Search for 2024
 
Social Media Marketing Trends 2024 // The Global Indie Insights
Social Media Marketing Trends 2024 // The Global Indie InsightsSocial Media Marketing Trends 2024 // The Global Indie Insights
Social Media Marketing Trends 2024 // The Global Indie Insights
 
Trends In Paid Search: Navigating The Digital Landscape In 2024
Trends In Paid Search: Navigating The Digital Landscape In 2024Trends In Paid Search: Navigating The Digital Landscape In 2024
Trends In Paid Search: Navigating The Digital Landscape In 2024
 
5 Public speaking tips from TED - Visualized summary
5 Public speaking tips from TED - Visualized summary5 Public speaking tips from TED - Visualized summary
5 Public speaking tips from TED - Visualized summary
 
ChatGPT and the Future of Work - Clark Boyd
ChatGPT and the Future of Work - Clark Boyd ChatGPT and the Future of Work - Clark Boyd
ChatGPT and the Future of Work - Clark Boyd
 
Getting into the tech field. what next
Getting into the tech field. what next Getting into the tech field. what next
Getting into the tech field. what next
 
Google's Just Not That Into You: Understanding Core Updates & Search Intent
Google's Just Not That Into You: Understanding Core Updates & Search IntentGoogle's Just Not That Into You: Understanding Core Updates & Search Intent
Google's Just Not That Into You: Understanding Core Updates & Search Intent
 
How to have difficult conversations
How to have difficult conversations How to have difficult conversations
How to have difficult conversations
 
Introduction to Data Science
Introduction to Data ScienceIntroduction to Data Science
Introduction to Data Science
 
Time Management & Productivity - Best Practices
Time Management & Productivity -  Best PracticesTime Management & Productivity -  Best Practices
Time Management & Productivity - Best Practices
 
The six step guide to practical project management
The six step guide to practical project managementThe six step guide to practical project management
The six step guide to practical project management
 
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...
 

Teradata. Возможности организации обработки больших и сверхбольших массивов данных.

  • 1. ВОЗМОЖНОСТИ ОРГАНИЗАЦИИ ОБРАБОТКИ БОЛЬШИХ И СВЕРХБОЛЬШИХ МАССИВОВ ДАННЫХ Алексей Галаган
  • 2. Решения Teradata для управления данными 6XX 17XX 67XX 27XX 2 9/1/2014 Teradata Confidential 7XX Мировой лидер в области хранилищ данных • Top 10 мировых публичных компаний ПО • Top 10 стратегических IT вендоров Глобальное присутствие • 2,500+ заказчиков в 77 странах • 10,000+ сотрудников Финансовые результаты (2013 г.) • Оборот более $2.5 млрд. • Рыночная капитализация более $10млрд. Data Mart Appliance Extreme Data Appliance Data Warehouse Appliance Active Enterprise Data Warehouse Appliance for Hadoop Aster Big Analytics Appliance SAS High Performance Analytics Масштаби руемость до 12TB до 186PB до 22PB до 61PB до 10PB до 5PB до 52TB Тип задач Тестирование/ Разработка небольших витрин данных Аналитический архив, обеспечивающий глубокое погружение в данные Стратегическая аналитика, система поддержки принятия решений, быстрое сканирование Стратегическая и операционная аналитика, обновление данных в реальном времени, активные нагрузки Платформа для загрузки, хранения и предобработки данных на основе Hadoop 1.3.2/2.1 Платформа для анализа Больших данных с поддержкой SQL MapReduce для новых типов и источников данных Выделенное решение для реализации модели SAS high-performance analytics
  • 3. Цели Транспортной стратегии России 3 9/1/2014 Teradata Confidential Целевые индикаторы ТС РФ №1. Формирование единого транспортного пространства России на базе сбалансированного развития эффективной транспортной инфраструктуры Создание единой централизованной модели транспортного комплекса на базе высоконадежной, масштабируемой платформы, оптимизированной под задачи отрасли №2. Обеспечение доступности, объема и конкурентоспособности транспортных услуг по критериям качества для грузовладельцев на уровне потребностей инновационного развития экономики страны Создание бизнес сервисов, обеспечивающих грузовладельцев полной, согласованной, актуальной информацией. №3. Обеспечение доступности и качества транспортных услуг для населения в соответствии с социальными стандартами Моделирование пассажиропотоков, привязка единой транспортной модели к планам регионального развития, миграционным потокам, пропускным возможностям транспортных узлов №4. Интеграция в мировое транспортное пространство и реализация транзитного потенциала страны Переход на международные протоколы информационного взаимодействия на базе транснациональных индустриальных моделей №5. Повышение уровня безопасности транспортной системы Ситуационные центры и системы оперативного мониторинга на базе активных хранилищ данных
  • 4. Управление транспортным комплексом на основе детальной аналитики Data Warehouse Advanced Analytics 4 9/1/2014 Teradata Confidential Integrated Data Warehouse (IDW) SQL Framework Access Layer Integrated Discovery Platform (IDP) Pre-Built Analytics Functions 1 2 3 4
  • 5. Новая парадигма анализа От визуализации агрегатов к комплексному исследованию детальных данных Кластеризация Многомерные бизнес индикаторы и геопривязка потоков потоков и анализ графов Санкей диаграммы, мощность событийных потоков 5 9/1/2014 Teradata Confidential
  • 6. Управление наземного транспорта Сингапура Проект PLANET Цели и вызовы Управление наземного транспорта Сингапура планирует, организует и обслуживает транспортную инфраструктуру города. Население мегаполиса превышает 5 миллионов человек – особенно актуальными являются следующие задачи: • Оптимизация транспортной системы – повышение пропускной способности, сокращение общего времени поездки, повышение уровня комфорта при перемещении по городу для пассажиров общественного транспорта • Формирование политики в области транспорта на детальных, достоверных данных • Стратегическое планирование и операционное управление комплексом за счет мониторинга показателей наземного транспорта • Использование информационной системы для решения задач управления и прогнозирования Решение Модель транспортной системы и логическая модель данных Teradata Хранилище данных Teradata Данные: • о билетах на общественный транспорт • о поездках частных а/м • о загруженности дорог Объём данных: • 4.6 млрд. записей за 3 года 6 9/1/2014 Teradata Confidential Результат Формирование транспортной политики на достоверных данных Мониторинг и анализ показателей функционирования транспортной системы Моделирование и прогнозирование поведения транспортной системы Прогнозирование загруженности дорог с точностью более 80% Планирование мощности транспортной системы Оптимизация маршрутов общественного транспорта Расчёт тарифов общественного транспорта и проезда по платным дорогам Повышение эффективности работы сотрудников на 13% Снижение затрат на ИТ на 19% в год
  • 7. Таможенная служба Швейцарии Цели и вызовы Таможенная служба Швейцарии решает следующие задачи: борьба с незаконной иммиграцией и криминальными явлениями, защита населения и окружающей среды, общественная безопасность, контроль импорта/экспорта и проведения досмотров, проверка уплаты налогов и сборов на границе, сбор детальных данных и статистики о перемещении пассажиров и грузов. Источники данных: • Электронные таможенные декларации • Данные о перемещении по платным автодорогам • NCTS – глобальная электронная система таможенных деклараций Евросоюза и Европейской ассоциации свободной торговли Решение Логическая модель данных Teradata Хранилище данных Teradata Данные: • 16 млн. деклараций на импорт • 6.5 млн. деклараций на экспорт • 7.5 млн. транзитных регистраций • 23 млрд. CHF таможенных поступлений – 30% бюджета Швейцарии 7 9/1/2014 Teradata Confidential Результат • Аналитическая и оперативная отчётность в режиме реального времени • Анализ рисков • Сегментация клиентов таможенной службы • Мониторинг показателей эффективности • Контроль уплаты налогов и сборов • Мониторинг перемещения граждан • Повышение эффективности работы сотрудников таможни • Возможность использования данных хранилища для вероятностной оценки потенциального мошенничества
  • 8. Преимущества партнерского подхода АЦ «Концепт» и Teradata - синергия методологии и технологического потенциала АЦ «Концепт» - лидер в методологии анализа и прогнозного моделирования ТК: Опыт реализации профильных проектов в транспортной отрасли РФ Собственная научно- методологическая база Штат специалистов в области автоматизации прогнозных и аналитических задач Teradata – лидер в создании высоко эффективных решений по хранению и обработке больших объемов данных Научно-технологическая кооперация позволяет эффективно решать задачи, сформулированные в Транспортной стратегии РФ, в части моделирования и прогнозирования транспортных потоков 8 9/1/2014 Teradata Confidential Опыт в реализации крупных международных проектов управления ТК Собственная методология проектирования промышленных хранилищ данных, тиражируемая референтная модель данных Штат специалистов в РФ, реализующий проекты федерального уровня