SlideShare une entreprise Scribd logo
1  sur  19
Télécharger pour lire hors ligne
От Статистики до Статистики
Яндекс
Докладчик:
Юхно Олег
руководитель группы администрирования
email: olegu@yandex-team.ru
11
О чем я хочу рассказать?
Развитии системы статистики
2
Проблемах и их решении
Зачем нужна система расчета статистики
3
Почему нужна система расчета статистики
4
Много проектов
Много данных
Потребовалось считать статистику регулярно и единообразно
5
6
Сначала данных и проектов было мало
< 10Gb в сутки
8
9
Данных и проектов еще было мало
< 100Gb в сутки
11
Когда данных стало 200-300Гб в сутки
12
Вторая попытка масштабирования
14
Пределы экстенсивного
роста
Финальное решение
16
17
18
Сейчас ежесуточно статистика обрабатывает
2-3Тб данных
19
А будет еще больше…
21Рост в 3-4 раза каждый год!
Итог:
25
Децентрализация системы
Специализация
компонентов
Автономность
компонентов
«Простота»
компонентов
Отказоустойчивость Производительность
Простота в обслуживании
и высокая эффективность
Спасибо!
Юхно Олег
руководитель группы администрирования
email: olegu@yandex-team.ru
26

Contenu connexe

Similaire à Олег Юхно – От статистики до статистики. Эволюция архитектуры системы на примере системы расчета статистики Яндекса

Управление Big data платформой Почты России
Управление Big data платформой Почты РоссииУправление Big data платформой Почты России
Управление Big data платформой Почты РоссииAndrey Bashchenko
 
Создание BigData-платформы для ФГУП Почта России / Андрей Бащенко (Luxoft)
Создание BigData-платформы для ФГУП Почта России / Андрей Бащенко (Luxoft)Создание BigData-платформы для ФГУП Почта России / Андрей Бащенко (Luxoft)
Создание BigData-платформы для ФГУП Почта России / Андрей Бащенко (Luxoft)Ontico
 
Нагрузочное тестирование как способ планирования ИТ-бюджета
Нагрузочное тестирование как способ планирования ИТ-бюджетаНагрузочное тестирование как способ планирования ИТ-бюджета
Нагрузочное тестирование как способ планирования ИТ-бюджетаSQALab
 
ект до 2014 v2
ект до 2014 v2ект до 2014 v2
ект до 2014 v2Expolink
 
Шойдин (СоДИТ) "Подводные камни при внедрении СЭД"
Шойдин (СоДИТ) "Подводные камни при внедрении СЭД"Шойдин (СоДИТ) "Подводные камни при внедрении СЭД"
Шойдин (СоДИТ) "Подводные камни при внедрении СЭД"Expolink
 
Внедрение системы управления требованиями. Опыт пользователя
Внедрение системы управления требованиями. Опыт пользователяВнедрение системы управления требованиями. Опыт пользователя
Внедрение системы управления требованиями. Опыт пользователяSQALab
 
Евгений Линник. БКС. GIGO — секреты очистки данных
Евгений Линник. БКС. GIGO — секреты очистки данныхЕвгений Линник. БКС. GIGO — секреты очистки данных
Евгений Линник. БКС. GIGO — секреты очистки данныхGlobal Innovation Labs
 
Поисковая аналитика DDS-2 (2016)
Поисковая аналитика DDS-2 (2016)Поисковая аналитика DDS-2 (2016)
Поисковая аналитика DDS-2 (2016)Стас Поломарь
 
4. Дмитрий Лазарев - Upgrade Google Analytics c помощью Tableau
4. Дмитрий Лазарев -  Upgrade Google Analytics c помощью Tableau4. Дмитрий Лазарев -  Upgrade Google Analytics c помощью Tableau
4. Дмитрий Лазарев - Upgrade Google Analytics c помощью TableauADLABS
 
Примеры проектов КРОК
Примеры проектов КРОКПримеры проектов КРОК
Примеры проектов КРОККРОК
 
Презентация Кибермаркетинг 2013 - SEO KPI
Презентация Кибермаркетинг 2013 - SEO KPIПрезентация Кибермаркетинг 2013 - SEO KPI
Презентация Кибермаркетинг 2013 - SEO KPIStanislav Stavsky
 
Станислав Поломарь, Работа с контентными порталами на примере Baby.ru, Optimi...
Станислав Поломарь, Работа с контентными порталами на примере Baby.ru, Optimi...Станислав Поломарь, Работа с контентными порталами на примере Baby.ru, Optimi...
Станислав Поломарь, Работа с контентными порталами на примере Baby.ru, Optimi...Optimization conference
 
gigaGantt презентация развёрнутая
gigaGantt презентация развёрнутаяgigaGantt презентация развёрнутая
gigaGantt презентация развёрнутаяДаниил Ромашов
 
Deductor Implementation Results
Deductor Implementation ResultsDeductor Implementation Results
Deductor Implementation ResultsKadimov Mansur
 
Валентин Макаров - Ситуация с экспортом ИТ-кластера Санкт-Петербурга (России)...
Валентин Макаров - Ситуация с экспортом ИТ-кластера Санкт-Петербурга (России)...Валентин Макаров - Ситуация с экспортом ИТ-кластера Санкт-Петербурга (России)...
Валентин Макаров - Ситуация с экспортом ИТ-кластера Санкт-Петербурга (России)...Ingria. Technopark St. Petersburg
 
Как мы разрабатывали мобильную версию сайта E96
Как мы разрабатывали мобильную версию сайта E96Как мы разрабатывали мобильную версию сайта E96
Как мы разрабатывали мобильную версию сайта E96E96
 
Operating through the “eyes” of development: Efficient communications
Operating through the “eyes” of development: Efficient communicationsOperating through the “eyes” of development: Efficient communications
Operating through the “eyes” of development: Efficient communicationsDevGAMM Conference
 
11 nov splunk_conf_мониторинг доступности услуг в мегафон
11 nov splunk_conf_мониторинг доступности услуг в мегафон11 nov splunk_conf_мониторинг доступности услуг в мегафон
11 nov splunk_conf_мониторинг доступности услуг в мегафонTimur Bagirov
 
Информационные технологии как инструмент повышения производительности труда в...
Информационные технологии как инструмент повышения производительности труда в...Информационные технологии как инструмент повышения производительности труда в...
Информационные технологии как инструмент повышения производительности труда в...Максим Войцеховский
 
Мобильная версия E96. Взгляд менеджера и взгляд разработчика (Версия для #ose...
Мобильная версия E96. Взгляд менеджера и взгляд разработчика (Версия для #ose...Мобильная версия E96. Взгляд менеджера и взгляд разработчика (Версия для #ose...
Мобильная версия E96. Взгляд менеджера и взгляд разработчика (Версия для #ose...Alex
 

Similaire à Олег Юхно – От статистики до статистики. Эволюция архитектуры системы на примере системы расчета статистики Яндекса (20)

Управление Big data платформой Почты России
Управление Big data платформой Почты РоссииУправление Big data платформой Почты России
Управление Big data платформой Почты России
 
Создание BigData-платформы для ФГУП Почта России / Андрей Бащенко (Luxoft)
Создание BigData-платформы для ФГУП Почта России / Андрей Бащенко (Luxoft)Создание BigData-платформы для ФГУП Почта России / Андрей Бащенко (Luxoft)
Создание BigData-платформы для ФГУП Почта России / Андрей Бащенко (Luxoft)
 
Нагрузочное тестирование как способ планирования ИТ-бюджета
Нагрузочное тестирование как способ планирования ИТ-бюджетаНагрузочное тестирование как способ планирования ИТ-бюджета
Нагрузочное тестирование как способ планирования ИТ-бюджета
 
ект до 2014 v2
ект до 2014 v2ект до 2014 v2
ект до 2014 v2
 
Шойдин (СоДИТ) "Подводные камни при внедрении СЭД"
Шойдин (СоДИТ) "Подводные камни при внедрении СЭД"Шойдин (СоДИТ) "Подводные камни при внедрении СЭД"
Шойдин (СоДИТ) "Подводные камни при внедрении СЭД"
 
Внедрение системы управления требованиями. Опыт пользователя
Внедрение системы управления требованиями. Опыт пользователяВнедрение системы управления требованиями. Опыт пользователя
Внедрение системы управления требованиями. Опыт пользователя
 
Евгений Линник. БКС. GIGO — секреты очистки данных
Евгений Линник. БКС. GIGO — секреты очистки данныхЕвгений Линник. БКС. GIGO — секреты очистки данных
Евгений Линник. БКС. GIGO — секреты очистки данных
 
Поисковая аналитика DDS-2 (2016)
Поисковая аналитика DDS-2 (2016)Поисковая аналитика DDS-2 (2016)
Поисковая аналитика DDS-2 (2016)
 
4. Дмитрий Лазарев - Upgrade Google Analytics c помощью Tableau
4. Дмитрий Лазарев -  Upgrade Google Analytics c помощью Tableau4. Дмитрий Лазарев -  Upgrade Google Analytics c помощью Tableau
4. Дмитрий Лазарев - Upgrade Google Analytics c помощью Tableau
 
Примеры проектов КРОК
Примеры проектов КРОКПримеры проектов КРОК
Примеры проектов КРОК
 
Презентация Кибермаркетинг 2013 - SEO KPI
Презентация Кибермаркетинг 2013 - SEO KPIПрезентация Кибермаркетинг 2013 - SEO KPI
Презентация Кибермаркетинг 2013 - SEO KPI
 
Станислав Поломарь, Работа с контентными порталами на примере Baby.ru, Optimi...
Станислав Поломарь, Работа с контентными порталами на примере Baby.ru, Optimi...Станислав Поломарь, Работа с контентными порталами на примере Baby.ru, Optimi...
Станислав Поломарь, Работа с контентными порталами на примере Baby.ru, Optimi...
 
gigaGantt презентация развёрнутая
gigaGantt презентация развёрнутаяgigaGantt презентация развёрнутая
gigaGantt презентация развёрнутая
 
Deductor Implementation Results
Deductor Implementation ResultsDeductor Implementation Results
Deductor Implementation Results
 
Валентин Макаров - Ситуация с экспортом ИТ-кластера Санкт-Петербурга (России)...
Валентин Макаров - Ситуация с экспортом ИТ-кластера Санкт-Петербурга (России)...Валентин Макаров - Ситуация с экспортом ИТ-кластера Санкт-Петербурга (России)...
Валентин Макаров - Ситуация с экспортом ИТ-кластера Санкт-Петербурга (России)...
 
Как мы разрабатывали мобильную версию сайта E96
Как мы разрабатывали мобильную версию сайта E96Как мы разрабатывали мобильную версию сайта E96
Как мы разрабатывали мобильную версию сайта E96
 
Operating through the “eyes” of development: Efficient communications
Operating through the “eyes” of development: Efficient communicationsOperating through the “eyes” of development: Efficient communications
Operating through the “eyes” of development: Efficient communications
 
11 nov splunk_conf_мониторинг доступности услуг в мегафон
11 nov splunk_conf_мониторинг доступности услуг в мегафон11 nov splunk_conf_мониторинг доступности услуг в мегафон
11 nov splunk_conf_мониторинг доступности услуг в мегафон
 
Информационные технологии как инструмент повышения производительности труда в...
Информационные технологии как инструмент повышения производительности труда в...Информационные технологии как инструмент повышения производительности труда в...
Информационные технологии как инструмент повышения производительности труда в...
 
Мобильная версия E96. Взгляд менеджера и взгляд разработчика (Версия для #ose...
Мобильная версия E96. Взгляд менеджера и взгляд разработчика (Версия для #ose...Мобильная версия E96. Взгляд менеджера и взгляд разработчика (Версия для #ose...
Мобильная версия E96. Взгляд менеджера и взгляд разработчика (Версия для #ose...
 

Plus de Media Gorod

Iidf market watch_2013
Iidf market watch_2013Iidf market watch_2013
Iidf market watch_2013Media Gorod
 
E travel 2013 ufs-f
E travel 2013 ufs-fE travel 2013 ufs-f
E travel 2013 ufs-fMedia Gorod
 
Travel shop 2013
Travel shop 2013Travel shop 2013
Travel shop 2013Media Gorod
 
Kozyakov pay u_e-travel2013
Kozyakov pay u_e-travel2013Kozyakov pay u_e-travel2013
Kozyakov pay u_e-travel2013Media Gorod
 
13909772985295c7a772abc7.11863824
13909772985295c7a772abc7.1186382413909772985295c7a772abc7.11863824
13909772985295c7a772abc7.11863824Media Gorod
 
As e-travel 2013
As   e-travel 2013As   e-travel 2013
As e-travel 2013Media Gorod
 
Ishounkina internet research-projects
Ishounkina internet research-projectsIshounkina internet research-projects
Ishounkina internet research-projectsMedia Gorod
 
Orlova pay u group_290813_
Orlova pay u group_290813_Orlova pay u group_290813_
Orlova pay u group_290813_Media Gorod
 
Ep presentation (infographic 2013)
Ep presentation (infographic 2013)Ep presentation (infographic 2013)
Ep presentation (infographic 2013)Media Gorod
 
Iway slides e-travel_2013-11_ready
Iway slides e-travel_2013-11_readyIway slides e-travel_2013-11_ready
Iway slides e-travel_2013-11_readyMedia Gorod
 
Data insight e-travel2013
Data insight e-travel2013Data insight e-travel2013
Data insight e-travel2013Media Gorod
 
Электронное Правительство как Продукт
Электронное Правительство как ПродуктЭлектронное Правительство как Продукт
Электронное Правительство как ПродуктMedia Gorod
 
Lean мышление / Специфика Lean Startup
Lean мышление / Специфика Lean StartupLean мышление / Специфика Lean Startup
Lean мышление / Специфика Lean StartupMedia Gorod
 
Глобальный взгляд на мобильный мир (Nielsen)
 Глобальный взгляд на мобильный мир (Nielsen) Глобальный взгляд на мобильный мир (Nielsen)
Глобальный взгляд на мобильный мир (Nielsen)Media Gorod
 
Как россияне используют смартфоны (Nielsen)
 Как россияне используют смартфоны (Nielsen) Как россияне используют смартфоны (Nielsen)
Как россияне используют смартфоны (Nielsen)Media Gorod
 
Мобильный интернет в России (MailRuGroup)
Мобильный интернет в России (MailRuGroup) Мобильный интернет в России (MailRuGroup)
Мобильный интернет в России (MailRuGroup) Media Gorod
 

Plus de Media Gorod (20)

Itogi2013
Itogi2013Itogi2013
Itogi2013
 
Moneytree rus 1
Moneytree rus 1Moneytree rus 1
Moneytree rus 1
 
Iidf market watch_2013
Iidf market watch_2013Iidf market watch_2013
Iidf market watch_2013
 
E travel 2013 ufs-f
E travel 2013 ufs-fE travel 2013 ufs-f
E travel 2013 ufs-f
 
Travel shop 2013
Travel shop 2013Travel shop 2013
Travel shop 2013
 
Kozyakov pay u_e-travel2013
Kozyakov pay u_e-travel2013Kozyakov pay u_e-travel2013
Kozyakov pay u_e-travel2013
 
13909772985295c7a772abc7.11863824
13909772985295c7a772abc7.1186382413909772985295c7a772abc7.11863824
13909772985295c7a772abc7.11863824
 
As e-travel 2013
As   e-travel 2013As   e-travel 2013
As e-travel 2013
 
Ishounkina internet research-projects
Ishounkina internet research-projectsIshounkina internet research-projects
Ishounkina internet research-projects
 
E travel13
E travel13E travel13
E travel13
 
Orlova pay u group_290813_
Orlova pay u group_290813_Orlova pay u group_290813_
Orlova pay u group_290813_
 
Ep presentation (infographic 2013)
Ep presentation (infographic 2013)Ep presentation (infographic 2013)
Ep presentation (infographic 2013)
 
Iway slides e-travel_2013-11_ready
Iway slides e-travel_2013-11_readyIway slides e-travel_2013-11_ready
Iway slides e-travel_2013-11_ready
 
Data insight e-travel2013
Data insight e-travel2013Data insight e-travel2013
Data insight e-travel2013
 
Электронное Правительство как Продукт
Электронное Правительство как ПродуктЭлектронное Правительство как Продукт
Электронное Правительство как Продукт
 
Lean мышление / Специфика Lean Startup
Lean мышление / Специфика Lean StartupLean мышление / Специфика Lean Startup
Lean мышление / Специфика Lean Startup
 
Глобальный взгляд на мобильный мир (Nielsen)
 Глобальный взгляд на мобильный мир (Nielsen) Глобальный взгляд на мобильный мир (Nielsen)
Глобальный взгляд на мобильный мир (Nielsen)
 
Как россияне используют смартфоны (Nielsen)
 Как россияне используют смартфоны (Nielsen) Как россияне используют смартфоны (Nielsen)
Как россияне используют смартфоны (Nielsen)
 
Мобильный интернет в России (MailRuGroup)
Мобильный интернет в России (MailRuGroup) Мобильный интернет в России (MailRuGroup)
Мобильный интернет в России (MailRuGroup)
 
Meta Mass Media
Meta Mass MediaMeta Mass Media
Meta Mass Media
 

Олег Юхно – От статистики до статистики. Эволюция архитектуры системы на примере системы расчета статистики Яндекса