Submit Search
Upload
Nginx Igor Sysoev
•
Download as ODP, PDF
•
3 likes
•
1,105 views
Media Gorod
Follow
Technology
Design
Slideshow view
Report
Share
Slideshow view
Report
Share
1 of 17
Download now
Recommended
PostgreSQLRussia meetup @ Avito (9.04.2016)
"Отказоустойчивый standby PostgreSQL (HAProxy + PgBouncer)" Виктор Ягофаров (...
"Отказоустойчивый standby PostgreSQL (HAProxy + PgBouncer)" Виктор Ягофаров (...
AvitoTech
CRIU: ускорение запуска PHP в CloudLinux OS -- Руслан Купреев https://events.yandex.ru/events/yagosti/19-september-2015-linux/
CRIU: ускорение запуска PHP в CloudLinux OS -- Руслан Купреев
CRIU: ускорение запуска PHP в CloudLinux OS -- Руслан Купреев
OpenVZ
"Мое выступление поможет ответить на следующие вопросы: 1. Что такое HTTP reverse proxy? 2. Настройка NGINX в режиме reverse proxy. 3. Стандартные способы выбора upstream server: Round Robin, Hash, Consistent Hash. 4. Не сдерживаем фантазию -- пишем свой алгоритм. 5. Примеры, когда создание собственного решения оправдано."
Андрей Светлов-«Делаем своё решение для оптимальной загрузки кластера»
Андрей Светлов-«Делаем своё решение для оптимальной загрузки кластера»
Tanya Denisyuk
Порой в процессе развития высоконагруженного проекта наступает момент, когда необходимо масштабирование. Возможно, ваш проект впервые упёрся в производительность железа (и таким образом перешёл в разряд высоконагруженных); возможно, это уже не первое масштабирование — не важно. Какие же проблемы могут возникнуть? Во-первых, если вы увеличиваете количество бэкенд-серверов, и, соответственно, количество рабочих процессов, то с ростом количества одновременных клиентских подключений вырастают и накладные расходы на базах данных. Во-вторых, достаточно быстро может кончиться ресурс in-memory баз данных. Потребуется создать (либо увеличить) кластер, а это каждый раз влечёт за собой необходимость модифицировать логику приложения. В-третьих, чем больше серверов, тем больше вероятность, что один из них выйдет из строя. Поэтому неплохо задуматься о том, как обеспечить отказоустойчивость, а это, опять же, потребует модифицировать логику приложения. В этом докладе я расскажу, как и какими инструментами можно легко решить все вышеперечисленные проблемы: уменьшить накладные расходы от большого количества подключений к базам данных, создать/модифицировать кластер БД прозрачно для приложения, а также прозрачно добавить устойчивость к падениям серверов БД.
"Кластеры баз данных: делаем сложные вещи просто" Андрей Тихонов (Avito)
"Кластеры баз данных: делаем сложные вещи просто" Андрей Тихонов (Avito)
AvitoTech
1. Файлы и процессы сервера 2. Внутренняя архитектура сервера 3. Примеры конфигурации 4. Понятие location 5. Методы обработки сетевых соединений
07 - Web-технологии. Web-сервера
07 - Web-технологии. Web-сервера
Roman Brovko
"Контейнеры могут динамически появляться и исчезать, являются легковесными, не резервируют все необходимые ресурсы при старте, потому их оркестрация дается не простой ценой. Каждый из виртуальных контейнеров в один момент времени может потребовать максимум доступных ему ресурсов и это может привести к тому, что закончатся все ресурсы на физическом сервере, на котором они размещаются. В докладе мы поговорим о механизме, который решает эту непростую задачу, и умеет проводить непрерывную балансировку нагрузки, перемещать контейнеры с одного физического сервера на другие для проведения технических работ без простоя приложений - умная живая миграция (Smart Live Migration). Многие считают, что контейнеры не подходят для хранения важных данных, т.к. в любой момент они могут упасть и все данные пропадут навсегда. Мы расскажем как этого избежать с помощью технологии Software-defined-storage."
Дмитрий Лазаренко-«Живая миграция и отказоустойчивость контейнеров в гибридно...
Дмитрий Лазаренко-«Живая миграция и отказоустойчивость контейнеров в гибридно...
Tanya Denisyuk
1. Задачи frontend сервера 2. Reverse proxy 3. Проксирование запросов 4. Application сервера 5. Протоколы CGI, FastCGI, WSGI
08 - Web-технологии. Архитектура frontend-backend
08 - Web-технологии. Архитектура frontend-backend
Roman Brovko
1. DNS 2. Домены и зоны, делегирование 3. Рекурсивные запросы 4. TCP 5. Понятие порта 6. TCP handshake 7. TCP клиент и сервер 8. TLS
05 - Web-технологии. Сетевые протоколы
05 - Web-технологии. Сетевые протоколы
Roman Brovko
Recommended
PostgreSQLRussia meetup @ Avito (9.04.2016)
"Отказоустойчивый standby PostgreSQL (HAProxy + PgBouncer)" Виктор Ягофаров (...
"Отказоустойчивый standby PostgreSQL (HAProxy + PgBouncer)" Виктор Ягофаров (...
AvitoTech
CRIU: ускорение запуска PHP в CloudLinux OS -- Руслан Купреев https://events.yandex.ru/events/yagosti/19-september-2015-linux/
CRIU: ускорение запуска PHP в CloudLinux OS -- Руслан Купреев
CRIU: ускорение запуска PHP в CloudLinux OS -- Руслан Купреев
OpenVZ
"Мое выступление поможет ответить на следующие вопросы: 1. Что такое HTTP reverse proxy? 2. Настройка NGINX в режиме reverse proxy. 3. Стандартные способы выбора upstream server: Round Robin, Hash, Consistent Hash. 4. Не сдерживаем фантазию -- пишем свой алгоритм. 5. Примеры, когда создание собственного решения оправдано."
Андрей Светлов-«Делаем своё решение для оптимальной загрузки кластера»
Андрей Светлов-«Делаем своё решение для оптимальной загрузки кластера»
Tanya Denisyuk
Порой в процессе развития высоконагруженного проекта наступает момент, когда необходимо масштабирование. Возможно, ваш проект впервые упёрся в производительность железа (и таким образом перешёл в разряд высоконагруженных); возможно, это уже не первое масштабирование — не важно. Какие же проблемы могут возникнуть? Во-первых, если вы увеличиваете количество бэкенд-серверов, и, соответственно, количество рабочих процессов, то с ростом количества одновременных клиентских подключений вырастают и накладные расходы на базах данных. Во-вторых, достаточно быстро может кончиться ресурс in-memory баз данных. Потребуется создать (либо увеличить) кластер, а это каждый раз влечёт за собой необходимость модифицировать логику приложения. В-третьих, чем больше серверов, тем больше вероятность, что один из них выйдет из строя. Поэтому неплохо задуматься о том, как обеспечить отказоустойчивость, а это, опять же, потребует модифицировать логику приложения. В этом докладе я расскажу, как и какими инструментами можно легко решить все вышеперечисленные проблемы: уменьшить накладные расходы от большого количества подключений к базам данных, создать/модифицировать кластер БД прозрачно для приложения, а также прозрачно добавить устойчивость к падениям серверов БД.
"Кластеры баз данных: делаем сложные вещи просто" Андрей Тихонов (Avito)
"Кластеры баз данных: делаем сложные вещи просто" Андрей Тихонов (Avito)
AvitoTech
1. Файлы и процессы сервера 2. Внутренняя архитектура сервера 3. Примеры конфигурации 4. Понятие location 5. Методы обработки сетевых соединений
07 - Web-технологии. Web-сервера
07 - Web-технологии. Web-сервера
Roman Brovko
"Контейнеры могут динамически появляться и исчезать, являются легковесными, не резервируют все необходимые ресурсы при старте, потому их оркестрация дается не простой ценой. Каждый из виртуальных контейнеров в один момент времени может потребовать максимум доступных ему ресурсов и это может привести к тому, что закончатся все ресурсы на физическом сервере, на котором они размещаются. В докладе мы поговорим о механизме, который решает эту непростую задачу, и умеет проводить непрерывную балансировку нагрузки, перемещать контейнеры с одного физического сервера на другие для проведения технических работ без простоя приложений - умная живая миграция (Smart Live Migration). Многие считают, что контейнеры не подходят для хранения важных данных, т.к. в любой момент они могут упасть и все данные пропадут навсегда. Мы расскажем как этого избежать с помощью технологии Software-defined-storage."
Дмитрий Лазаренко-«Живая миграция и отказоустойчивость контейнеров в гибридно...
Дмитрий Лазаренко-«Живая миграция и отказоустойчивость контейнеров в гибридно...
Tanya Denisyuk
1. Задачи frontend сервера 2. Reverse proxy 3. Проксирование запросов 4. Application сервера 5. Протоколы CGI, FastCGI, WSGI
08 - Web-технологии. Архитектура frontend-backend
08 - Web-технологии. Архитектура frontend-backend
Roman Brovko
1. DNS 2. Домены и зоны, делегирование 3. Рекурсивные запросы 4. TCP 5. Понятие порта 6. TCP handshake 7. TCP клиент и сервер 8. TLS
05 - Web-технологии. Сетевые протоколы
05 - Web-технологии. Сетевые протоколы
Roman Brovko
Базы данных PostgreSQL занимают одно из центральных мест в Авито. Они являются разделяемой платформой, вокруг которой построено множество дополнительных сервисов. Одной из основных задач при их администрировании является задача восстановления после аварий как самих баз, так и связанной с ними инфраструктуры. В своём докладе я постараюсь рассказать про: + общую схему связей баз данных между собой и с другими компонентами; + точки отказа и виды аварий, затрагиваемые связи; + бинарную репликацию и архив; + логическую репликацию, pgq, londiste, UNDO (REDO), пересоздание репки; + скрипт и процедуру переключения при аварии; + планы: развитие «восстановлений» по всем связям, автоматика на основе системы zookeeper (etcd и т.п.).
Реализация восстановления после аварий / Сергей Бурладян (Avito)
Реализация восстановления после аварий / Сергей Бурладян (Avito)
Ontico
Разговор в докладе пойдёт о веб-программировании. При изготовлении веб-проектов то и дело пользуются широко распространёнными фреймворками на базе языков программирования — PHP, Python, Perl, Ruby, Go, Rust, Java и т.п. Я предлагаю отказаться от употребления оных и использовать для разработки веб-приложений только c2h5oh — расширение для высокопроизводительного сервера nginx. Данное расширение позволяет эффективно использовать PostgreSQL в качестве сервера веб-приложений. Хочу поделиться со слушателями своим личным опытом разработки с использованием подобной связки. Планирую рассказать о плюсах и минусах такого подхода.
Веб-разработка без наркотиков с помощью PostgreSQL, Nginx и c2h5oh / Миша Кир...
Веб-разработка без наркотиков с помощью PostgreSQL, Nginx и c2h5oh / Миша Кир...
Ontico
"Если все возможности кеширования и индексирования исчерпаны, а производительности все равно недостаточно. Если еженочно просыпаясь в холодном поту, вы спрашиваете себя снова и снова: - Как организовать данные так, чтобы всё нужное всегда было под рукой - Как сделать так, чтобы приложение не тупило даже на медленном интернете - Как моментально обеспечивать клиента самыми свежими данными Тогда мой доклад может оказаться полезным.Мы в Todoist, кажется, нашли простой способ решить большинство из этих проблем. Всё, что мы сделали, это дополнили наш API функциями для синхронизации данных, позволяющими писать ""толстые клиенты"" (кстати,то же самое для решения тех же задач рекомендуют и Google, и Evernote). В докладе я расскажу как это реализовать с минимальными усилиями одним лишь MySQL и Redis, с какими проблемами мы столкнулись, и как мы героически эти проблемы побеждали."
Роман Иманкулов-«Быстрые и масштабируемые приложения с Sync API»
Роман Иманкулов-«Быстрые и масштабируемые приложения с Sync API»
Tanya Denisyuk
Что нового появилось в nginx за последнее время и для чего всё это нужно? В докладе - рассказ про основные новые функции в nginx 1.9.x (1.10.x) и 1.11.x. HTTP/2, модуль stream, динамическая загрузка модулей и так далее - зачем всё это нужно и как это использовать. Читаем CHANGES вместе и разбираем на примерах.
Что нового в nginx? / Максим Дунин (Nginx, Inc.)
Что нового в nginx? / Максим Дунин (Nginx, Inc.)
Ontico
1. Общая архитектура 2. Polling 3. Long-polling (comet) 4. Server-push 5. WebSocket 6. Механизм обновления (Upgrade) соединений
17 - Web-технологии. Real Time сообщения
17 - Web-технологии. Real Time сообщения
Roman Brovko
В нашей компании есть система для запуска PHP-скриптов по расписанию, которая позволяет распределять нагрузку на множество узлов и обеспечивать отказоустойвость. И в этой системе необходимо уметь собирать логи скриптов с сотен (и даже тысяч) машин, желательно в режиме реального времени. У нас раньше была система сбора логов, собранная «на коленке», и выдающая относительно невысокую производительность. Производительности стало не хватать, и мы переписали систему на Go. Новая система не использует scribe и обладает некоторыми уникальными фичами, например «вытесняющей многозадачностью» при доставке - если один из скриптов пишет столько логов, что мы не успеваем их всех доставить, логи всех остальных скриптов продолжают доставляться, с небольшой фиксированной задержкой. Система легко забивает гигабитную сетевую карту на нашем сервере-приемнике логов и не слишком «тормозит» доставку в случае, когда пропускной способности всё же не хваетает. В докладе я расскажу о том, как мы делали эту систему и про то, как она работает изнутри. Исходные тексты доступны на github: https://github.com/badoo/thunder
Юрий Насретдинов-«Сбор логов в «облаке» в Badoo»
Юрий Насретдинов-«Сбор логов в «облаке» в Badoo»
Tanya Denisyuk
HighLoad++ 2013
Максим Дунин, Nginx, Inc.
Максим Дунин, Nginx, Inc.
Ontico
Докладчик разберёт кейс быстрой разработки небольшого прототипа серверной части мобильной игры с геолокацией на стеке nginx, OpenResty (Lua), Redis и Docker. Вы услышите о том, почему был выбран такой стек, о его преимуществах (и некоторых недостатках), о том, как прототип устроен внутри, о том, как именно особенности стека были использованы для того, чтобы реализовать задуманное. Не будет обойден стороной вопрос о том, как максимально быстро собрать прототип и быстро итерироваться по нему, но при этом удержаться в золотой середине между Сциллой макаронной копипасты и Харибдой кристаллического перфекционизма. Немного времени будет уделено и рассказу о том, как можно превратить такой прототип в продакшен-систему.
Быстрое прототипирование бэкенда игры с геолокацией на OpenResty, Redis и Doc...
Быстрое прототипирование бэкенда игры с геолокацией на OpenResty, Redis и Doc...
Ontico
Доклад - https://www.youtube.com/watch?v=lJsqRwULRVA Какие проблемы решаем? быстрый вход нового разработчика в проект стандартизация настроек разработчиков переключение между проектами - разные версии ПО и библиотек (mysql 5.6/5.7, node 0.12/7.2) приучаем разработчиков к сетевому взаимодействию компонентов Microservice - масштабирование/разделения разработки Делим ресурсы staging среды между проектами
Процесс разработки и тестирования с Docker + gitlab ci
Процесс разработки и тестирования с Docker + gitlab ci
Александр Сигачев
Русская версия слайдов про потоковую репликацию в PostgreSQL с конференции PgConf 2016 Russia.
Streaming replication in practice
Streaming replication in practice
Alexey Lesovsky
Порой в процессе развития высоконагруженного проекта наступает момент, когда необходимо масштабирование. Возможно, ваш проект впервые упёрся в производительность железа (и таким образом перешёл в разряд высоконагруженных); возможно, это уже не первое масштабирование — не важно. Какие же проблемы могут возникнуть? Во-первых, если вы увеличиваете количество бэкенд-серверов, и, соответственно, количество рабочих процессов, то с ростом количества одновременных клиентских подключений вырастают и накладные расходы на базах данных. Во-вторых, достаточно быстро может кончиться ресурс in-memory баз данных. Потребуется создать (либо увеличить) кластер, а это каждый раз влечёт за собой необходимость модифицировать логику приложения. В-третьих, чем больше серверов, тем больше вероятность, что один из них выйдет из строя. Поэтому неплохо задуматься о том, как обеспечить отказоустойчивость, а это, опять же, потребует модифицировать логику приложения. В этом докладе я расскажу, как и какими инструментами можно легко решить все вышеперечисленные проблемы: уменьшить накладные расходы от большого количества подключений к базам данных, создать/модифицировать кластер БД прозрачно для приложения, а также прозрачно добавить устойчивость к падениям серверов БД. План доклада: - Введение. Методы масштабирования БД: репликация, шардирование. - Создаём шардированные кластеры in-memory БД прозрачно для приложений: Twemproxy, Redis-proxy, Mcrouter. - Уменьшаем накладные расходы от большого количества одновременных подключений на PostgreSQL с помощью PgBouncer. - Создаём шардированный кластер PostgreSQL с помощью PL/Proxy. - Добавляем прозрачную для приложения отказо�
Кластеры баз данных делаем сложные вещи просто / Андрей Тихонов (Avito)
Кластеры баз данных делаем сложные вещи просто / Андрей Тихонов (Avito)
Ontico
Многофункциональный сервер приложений, обеспечивающий среду запуска на одном сервере и группе серверов, дающий полный набор инструментов для создания прикладного программного обеспечения.
Impress Application Server for node.js (ru)
Impress Application Server for node.js (ru)
Timur Shemsedinov
Slides from Highload 2014 Miscow, Russia.
Highload 2014. PostgreSQL: ups, DevOps.
Highload 2014. PostgreSQL: ups, DevOps.
Alexey Lesovsky
О чем нам могут рассказать access логи вебсервера? Поиск аномалий и отклонений от нормы? Откуда наши пользователи? Город? Страна? Сайт? Сколько запросов генерируют роботы? Когда в последний раз к нам приходил поисковик для индексации? Какая динамика по ошибкам и страницам отсутствующим на сайте?
Elasticsearch(java) fluentbit(c++) fluentd(ruby) kibana(javascript)
Elasticsearch(java) fluentbit(c++) fluentd(ruby) kibana(javascript)
Александр Сигачев
Примеры кода приложений и конфигурации сервера с доступом к файлам, памяти, базам данных и параллельной асинхронной обработкой различных типов API запросов с состоянием и без состояния.
Примеры быстрой разработки API на масштабируемом сервере приложений Impress д...
Примеры быстрой разработки API на масштабируемом сервере приложений Impress д...
Timur Shemsedinov
Сходства и различия двух систем управления кластером
2017-03-11 01 Игорь Родионов. Docker swarm vs Kubernetes
2017-03-11 01 Игорь Родионов. Docker swarm vs Kubernetes
Омские ИТ-субботники
HighLoad++ 2017 Зал «Дели + Калькутта», 8 ноября, 13:00 Тезисы: http://www.highload.ru/2017/abstracts/3006.html Service mesh - это выделенный слой в инфраструктуре компании, который призван упростить взаимодействие между сервисами, а также сделать его надежным и безопасным. В юрисдикцию service mesh, по разным мнениям, входят: маршрутизация запросов, service discovery, балансировка, обработка ошибок, мониторинг, трейсинг, авторизация и аутентификация и др. вещи. Реализация тоже варьируется от размазывания функционала по всему стеку до концентрации большей части его в одной точке. ...
SOA: строим свой service mesh / Иван Круглов (Booking.com)
SOA: строим свой service mesh / Иван Круглов (Booking.com)
Ontico
Клиентская производительность – бесконечный процесс. Разрабатываются новые фичи, меняется дизайн, технологии, браузеры – контролировать скорость нужно постоянно. В этих условиях требуется автоматизированный процесс тестирования скорости клиентской части приложения. При этом тестировать нужно в настоящих браузерах, в максимально похожем на реальность окружении. В этом докладе будем говорить о том, как совместить все эти требования и не потратить много месяцев на построение собственного "велосипеда". Предлагается рабочее решение задачи с использованием open source решения WebPagetest Private Instance. Рассмотрим основные достоинства и проблемы решения, а также способы использования этого инструмента.
Автоматизация тестирования клиентской производительности / Николай Лавлинский...
Автоматизация тестирования клиентской производительности / Николай Лавлинский...
Ontico
Описание работы протокола HTTP
HTTP протокол
HTTP протокол
lectureswww lectureswww
Достаточно давно уже был какой-то доклад о том, что собой представляет Вконтакте изнутри. В своем докладе я хотел быть отчасти обновить те знания и рассказать, какие из общедоступных инструментов есть в руках системных администраторов социальной сети. Разумеется, кроме чистой головы и прямых рук (лишнее зачеркнуть). Я намереваюсь коснуться таких вопросов, как: - Управление конфигурацией на очень большом числе серверов. - Разграничение доступа. - Развертывание кода на рабочей площадке. - Мониторинг. - Как мы, вообще, справляемся с таким гигантом малым числом людей?
Системный администратор Vkontakte. Как? / Антон Кирюшкин (Vkontakte)
Системный администратор Vkontakte. Как? / Антон Кирюшкин (Vkontakte)
Ontico
Мой доклад на конференции "Php frameworks day 2013"
Phalcon - самый быстрый PHP Framework
Phalcon - самый быстрый PHP Framework
Oleksandr Torosh
Вячеслав Бирюков - HTTP и HTTPS
Вячеслав Бирюков - HTTP и HTTPS
Yandex
More Related Content
What's hot
Базы данных PostgreSQL занимают одно из центральных мест в Авито. Они являются разделяемой платформой, вокруг которой построено множество дополнительных сервисов. Одной из основных задач при их администрировании является задача восстановления после аварий как самих баз, так и связанной с ними инфраструктуры. В своём докладе я постараюсь рассказать про: + общую схему связей баз данных между собой и с другими компонентами; + точки отказа и виды аварий, затрагиваемые связи; + бинарную репликацию и архив; + логическую репликацию, pgq, londiste, UNDO (REDO), пересоздание репки; + скрипт и процедуру переключения при аварии; + планы: развитие «восстановлений» по всем связям, автоматика на основе системы zookeeper (etcd и т.п.).
Реализация восстановления после аварий / Сергей Бурладян (Avito)
Реализация восстановления после аварий / Сергей Бурладян (Avito)
Ontico
Разговор в докладе пойдёт о веб-программировании. При изготовлении веб-проектов то и дело пользуются широко распространёнными фреймворками на базе языков программирования — PHP, Python, Perl, Ruby, Go, Rust, Java и т.п. Я предлагаю отказаться от употребления оных и использовать для разработки веб-приложений только c2h5oh — расширение для высокопроизводительного сервера nginx. Данное расширение позволяет эффективно использовать PostgreSQL в качестве сервера веб-приложений. Хочу поделиться со слушателями своим личным опытом разработки с использованием подобной связки. Планирую рассказать о плюсах и минусах такого подхода.
Веб-разработка без наркотиков с помощью PostgreSQL, Nginx и c2h5oh / Миша Кир...
Веб-разработка без наркотиков с помощью PostgreSQL, Nginx и c2h5oh / Миша Кир...
Ontico
"Если все возможности кеширования и индексирования исчерпаны, а производительности все равно недостаточно. Если еженочно просыпаясь в холодном поту, вы спрашиваете себя снова и снова: - Как организовать данные так, чтобы всё нужное всегда было под рукой - Как сделать так, чтобы приложение не тупило даже на медленном интернете - Как моментально обеспечивать клиента самыми свежими данными Тогда мой доклад может оказаться полезным.Мы в Todoist, кажется, нашли простой способ решить большинство из этих проблем. Всё, что мы сделали, это дополнили наш API функциями для синхронизации данных, позволяющими писать ""толстые клиенты"" (кстати,то же самое для решения тех же задач рекомендуют и Google, и Evernote). В докладе я расскажу как это реализовать с минимальными усилиями одним лишь MySQL и Redis, с какими проблемами мы столкнулись, и как мы героически эти проблемы побеждали."
Роман Иманкулов-«Быстрые и масштабируемые приложения с Sync API»
Роман Иманкулов-«Быстрые и масштабируемые приложения с Sync API»
Tanya Denisyuk
Что нового появилось в nginx за последнее время и для чего всё это нужно? В докладе - рассказ про основные новые функции в nginx 1.9.x (1.10.x) и 1.11.x. HTTP/2, модуль stream, динамическая загрузка модулей и так далее - зачем всё это нужно и как это использовать. Читаем CHANGES вместе и разбираем на примерах.
Что нового в nginx? / Максим Дунин (Nginx, Inc.)
Что нового в nginx? / Максим Дунин (Nginx, Inc.)
Ontico
1. Общая архитектура 2. Polling 3. Long-polling (comet) 4. Server-push 5. WebSocket 6. Механизм обновления (Upgrade) соединений
17 - Web-технологии. Real Time сообщения
17 - Web-технологии. Real Time сообщения
Roman Brovko
В нашей компании есть система для запуска PHP-скриптов по расписанию, которая позволяет распределять нагрузку на множество узлов и обеспечивать отказоустойвость. И в этой системе необходимо уметь собирать логи скриптов с сотен (и даже тысяч) машин, желательно в режиме реального времени. У нас раньше была система сбора логов, собранная «на коленке», и выдающая относительно невысокую производительность. Производительности стало не хватать, и мы переписали систему на Go. Новая система не использует scribe и обладает некоторыми уникальными фичами, например «вытесняющей многозадачностью» при доставке - если один из скриптов пишет столько логов, что мы не успеваем их всех доставить, логи всех остальных скриптов продолжают доставляться, с небольшой фиксированной задержкой. Система легко забивает гигабитную сетевую карту на нашем сервере-приемнике логов и не слишком «тормозит» доставку в случае, когда пропускной способности всё же не хваетает. В докладе я расскажу о том, как мы делали эту систему и про то, как она работает изнутри. Исходные тексты доступны на github: https://github.com/badoo/thunder
Юрий Насретдинов-«Сбор логов в «облаке» в Badoo»
Юрий Насретдинов-«Сбор логов в «облаке» в Badoo»
Tanya Denisyuk
HighLoad++ 2013
Максим Дунин, Nginx, Inc.
Максим Дунин, Nginx, Inc.
Ontico
Докладчик разберёт кейс быстрой разработки небольшого прототипа серверной части мобильной игры с геолокацией на стеке nginx, OpenResty (Lua), Redis и Docker. Вы услышите о том, почему был выбран такой стек, о его преимуществах (и некоторых недостатках), о том, как прототип устроен внутри, о том, как именно особенности стека были использованы для того, чтобы реализовать задуманное. Не будет обойден стороной вопрос о том, как максимально быстро собрать прототип и быстро итерироваться по нему, но при этом удержаться в золотой середине между Сциллой макаронной копипасты и Харибдой кристаллического перфекционизма. Немного времени будет уделено и рассказу о том, как можно превратить такой прототип в продакшен-систему.
Быстрое прототипирование бэкенда игры с геолокацией на OpenResty, Redis и Doc...
Быстрое прототипирование бэкенда игры с геолокацией на OpenResty, Redis и Doc...
Ontico
Доклад - https://www.youtube.com/watch?v=lJsqRwULRVA Какие проблемы решаем? быстрый вход нового разработчика в проект стандартизация настроек разработчиков переключение между проектами - разные версии ПО и библиотек (mysql 5.6/5.7, node 0.12/7.2) приучаем разработчиков к сетевому взаимодействию компонентов Microservice - масштабирование/разделения разработки Делим ресурсы staging среды между проектами
Процесс разработки и тестирования с Docker + gitlab ci
Процесс разработки и тестирования с Docker + gitlab ci
Александр Сигачев
Русская версия слайдов про потоковую репликацию в PostgreSQL с конференции PgConf 2016 Russia.
Streaming replication in practice
Streaming replication in practice
Alexey Lesovsky
Порой в процессе развития высоконагруженного проекта наступает момент, когда необходимо масштабирование. Возможно, ваш проект впервые упёрся в производительность железа (и таким образом перешёл в разряд высоконагруженных); возможно, это уже не первое масштабирование — не важно. Какие же проблемы могут возникнуть? Во-первых, если вы увеличиваете количество бэкенд-серверов, и, соответственно, количество рабочих процессов, то с ростом количества одновременных клиентских подключений вырастают и накладные расходы на базах данных. Во-вторых, достаточно быстро может кончиться ресурс in-memory баз данных. Потребуется создать (либо увеличить) кластер, а это каждый раз влечёт за собой необходимость модифицировать логику приложения. В-третьих, чем больше серверов, тем больше вероятность, что один из них выйдет из строя. Поэтому неплохо задуматься о том, как обеспечить отказоустойчивость, а это, опять же, потребует модифицировать логику приложения. В этом докладе я расскажу, как и какими инструментами можно легко решить все вышеперечисленные проблемы: уменьшить накладные расходы от большого количества подключений к базам данных, создать/модифицировать кластер БД прозрачно для приложения, а также прозрачно добавить устойчивость к падениям серверов БД. План доклада: - Введение. Методы масштабирования БД: репликация, шардирование. - Создаём шардированные кластеры in-memory БД прозрачно для приложений: Twemproxy, Redis-proxy, Mcrouter. - Уменьшаем накладные расходы от большого количества одновременных подключений на PostgreSQL с помощью PgBouncer. - Создаём шардированный кластер PostgreSQL с помощью PL/Proxy. - Добавляем прозрачную для приложения отказо�
Кластеры баз данных делаем сложные вещи просто / Андрей Тихонов (Avito)
Кластеры баз данных делаем сложные вещи просто / Андрей Тихонов (Avito)
Ontico
Многофункциональный сервер приложений, обеспечивающий среду запуска на одном сервере и группе серверов, дающий полный набор инструментов для создания прикладного программного обеспечения.
Impress Application Server for node.js (ru)
Impress Application Server for node.js (ru)
Timur Shemsedinov
Slides from Highload 2014 Miscow, Russia.
Highload 2014. PostgreSQL: ups, DevOps.
Highload 2014. PostgreSQL: ups, DevOps.
Alexey Lesovsky
О чем нам могут рассказать access логи вебсервера? Поиск аномалий и отклонений от нормы? Откуда наши пользователи? Город? Страна? Сайт? Сколько запросов генерируют роботы? Когда в последний раз к нам приходил поисковик для индексации? Какая динамика по ошибкам и страницам отсутствующим на сайте?
Elasticsearch(java) fluentbit(c++) fluentd(ruby) kibana(javascript)
Elasticsearch(java) fluentbit(c++) fluentd(ruby) kibana(javascript)
Александр Сигачев
Примеры кода приложений и конфигурации сервера с доступом к файлам, памяти, базам данных и параллельной асинхронной обработкой различных типов API запросов с состоянием и без состояния.
Примеры быстрой разработки API на масштабируемом сервере приложений Impress д...
Примеры быстрой разработки API на масштабируемом сервере приложений Impress д...
Timur Shemsedinov
Сходства и различия двух систем управления кластером
2017-03-11 01 Игорь Родионов. Docker swarm vs Kubernetes
2017-03-11 01 Игорь Родионов. Docker swarm vs Kubernetes
Омские ИТ-субботники
HighLoad++ 2017 Зал «Дели + Калькутта», 8 ноября, 13:00 Тезисы: http://www.highload.ru/2017/abstracts/3006.html Service mesh - это выделенный слой в инфраструктуре компании, который призван упростить взаимодействие между сервисами, а также сделать его надежным и безопасным. В юрисдикцию service mesh, по разным мнениям, входят: маршрутизация запросов, service discovery, балансировка, обработка ошибок, мониторинг, трейсинг, авторизация и аутентификация и др. вещи. Реализация тоже варьируется от размазывания функционала по всему стеку до концентрации большей части его в одной точке. ...
SOA: строим свой service mesh / Иван Круглов (Booking.com)
SOA: строим свой service mesh / Иван Круглов (Booking.com)
Ontico
Клиентская производительность – бесконечный процесс. Разрабатываются новые фичи, меняется дизайн, технологии, браузеры – контролировать скорость нужно постоянно. В этих условиях требуется автоматизированный процесс тестирования скорости клиентской части приложения. При этом тестировать нужно в настоящих браузерах, в максимально похожем на реальность окружении. В этом докладе будем говорить о том, как совместить все эти требования и не потратить много месяцев на построение собственного "велосипеда". Предлагается рабочее решение задачи с использованием open source решения WebPagetest Private Instance. Рассмотрим основные достоинства и проблемы решения, а также способы использования этого инструмента.
Автоматизация тестирования клиентской производительности / Николай Лавлинский...
Автоматизация тестирования клиентской производительности / Николай Лавлинский...
Ontico
Описание работы протокола HTTP
HTTP протокол
HTTP протокол
lectureswww lectureswww
Достаточно давно уже был какой-то доклад о том, что собой представляет Вконтакте изнутри. В своем докладе я хотел быть отчасти обновить те знания и рассказать, какие из общедоступных инструментов есть в руках системных администраторов социальной сети. Разумеется, кроме чистой головы и прямых рук (лишнее зачеркнуть). Я намереваюсь коснуться таких вопросов, как: - Управление конфигурацией на очень большом числе серверов. - Разграничение доступа. - Развертывание кода на рабочей площадке. - Мониторинг. - Как мы, вообще, справляемся с таким гигантом малым числом людей?
Системный администратор Vkontakte. Как? / Антон Кирюшкин (Vkontakte)
Системный администратор Vkontakte. Как? / Антон Кирюшкин (Vkontakte)
Ontico
What's hot
(20)
Реализация восстановления после аварий / Сергей Бурладян (Avito)
Реализация восстановления после аварий / Сергей Бурладян (Avito)
Веб-разработка без наркотиков с помощью PostgreSQL, Nginx и c2h5oh / Миша Кир...
Веб-разработка без наркотиков с помощью PostgreSQL, Nginx и c2h5oh / Миша Кир...
Роман Иманкулов-«Быстрые и масштабируемые приложения с Sync API»
Роман Иманкулов-«Быстрые и масштабируемые приложения с Sync API»
Что нового в nginx? / Максим Дунин (Nginx, Inc.)
Что нового в nginx? / Максим Дунин (Nginx, Inc.)
17 - Web-технологии. Real Time сообщения
17 - Web-технологии. Real Time сообщения
Юрий Насретдинов-«Сбор логов в «облаке» в Badoo»
Юрий Насретдинов-«Сбор логов в «облаке» в Badoo»
Максим Дунин, Nginx, Inc.
Максим Дунин, Nginx, Inc.
Быстрое прототипирование бэкенда игры с геолокацией на OpenResty, Redis и Doc...
Быстрое прототипирование бэкенда игры с геолокацией на OpenResty, Redis и Doc...
Процесс разработки и тестирования с Docker + gitlab ci
Процесс разработки и тестирования с Docker + gitlab ci
Streaming replication in practice
Streaming replication in practice
Кластеры баз данных делаем сложные вещи просто / Андрей Тихонов (Avito)
Кластеры баз данных делаем сложные вещи просто / Андрей Тихонов (Avito)
Impress Application Server for node.js (ru)
Impress Application Server for node.js (ru)
Highload 2014. PostgreSQL: ups, DevOps.
Highload 2014. PostgreSQL: ups, DevOps.
Elasticsearch(java) fluentbit(c++) fluentd(ruby) kibana(javascript)
Elasticsearch(java) fluentbit(c++) fluentd(ruby) kibana(javascript)
Примеры быстрой разработки API на масштабируемом сервере приложений Impress д...
Примеры быстрой разработки API на масштабируемом сервере приложений Impress д...
2017-03-11 01 Игорь Родионов. Docker swarm vs Kubernetes
2017-03-11 01 Игорь Родионов. Docker swarm vs Kubernetes
SOA: строим свой service mesh / Иван Круглов (Booking.com)
SOA: строим свой service mesh / Иван Круглов (Booking.com)
Автоматизация тестирования клиентской производительности / Николай Лавлинский...
Автоматизация тестирования клиентской производительности / Николай Лавлинский...
HTTP протокол
HTTP протокол
Системный администратор Vkontakte. Как? / Антон Кирюшкин (Vkontakte)
Системный администратор Vkontakte. Как? / Антон Кирюшкин (Vkontakte)
Similar to Nginx Igor Sysoev
Мой доклад на конференции "Php frameworks day 2013"
Phalcon - самый быстрый PHP Framework
Phalcon - самый быстрый PHP Framework
Oleksandr Torosh
Вячеслав Бирюков - HTTP и HTTPS
Вячеслав Бирюков - HTTP и HTTPS
Yandex
Взломать Web-сайт на ASP.NET? Сложно, но можно! Владимир Кочетков
Взломать сайт на ASP.NET
Взломать сайт на ASP.NET
Positive Hack Days
WWW
WWW
Евгений Евсеев
Building deployment pipeline - DevOps way
Building deployment pipeline - DevOps way
Andrey Rebrov
Web осень 2013 лекция 3
Web осень 2013 лекция 3
Technopark
Cloud APIs. Обзор API западных провайдеров и API Scalaxy (Нат Гаджибалаев)
Cloud APIs. Обзор API западных провайдеров и API Scalaxy (Нат Гаджибалаев)
Ontico
Catalyst – MVC framework на Perl
Catalyst – MVC framework на Perl (RIT 2008)
Catalyst – MVC framework на Perl (RIT 2008)
Sergey Skvortsov
Web весна 2013 лекция 3
Web весна 2013 лекция 3
Technopark
Сергей Рыжиков. Директор "1С-Битрикс". Как настроить двухуровневую конфигурацию веб-приложения. Производительность. Нагруженный Форк
(1 часть) 1С-Битрикс. Как настроить двухуровневую конфигурацию веб-приложения...
(1 часть) 1С-Битрикс. Как настроить двухуровневую конфигурацию веб-приложения...
ForkConf
Service mesh - это выделенный слой в инфраструктуре компании, который призван упростить взаимодействие между сервисами, а также сделать его надежным и безопасным. В юрисдикцию service mesh, по разным мнениям, входят: маршрутизация запросов, service discovery, балансировка, обработка ошибок, мониторинг, трейсинг, авторизация и аутентификация и др. вещи. Реализация тоже варьируется от размазывания функционала по всему стеку до концентрации большей части его в одной точке. В своем докладе я бы хотел затронуть тему построения service mesh на примере Booking.com в контексте перехода от монолитной к сервис-ориентированной архитектуре. Мы погрузимся в детали некоторых компонентов и рассмотрим примеры решений удачных и не очень. Также затронем начальный опыт внедрения и эксплуатации L7 proxy envoy и linkerd.
SOA: Строим свой service mesh
SOA: Строим свой service mesh
Ivan Kruglov
176023
176023
whitepawn2012
Доклад Ричарда Шевела на RailsClub 2011
FT & HA Rails приложений приложений — это просто
FT & HA Rails приложений приложений — это просто
Александр Ежов
Стажировка-2013, разработчики, занятие 7. Web, HTTP
Стажировка-2013, разработчики, занятие 7. Web, HTTP
7bits
Web осень 2012 лекция 3
Web осень 2012 лекция 3
Technopark
HighLoad++ 2017 Зал Конгресс-Холл, 7.ноября, 11:00 Презентация и тезисы: http://www.highload.ru/2017/abstracts/2981.html Что нового появилось в nginx за последнее время, и для чего всё это нужно? В докладе - рассказ про основные новые функции в nginx 1.11.x (доступно в стабильной ветке 1.12.x) и 1.13.x. Для чего нужен параметр сборки --with-compat, что делает директива mirror, будет ли работать TLS 1.3, как обновлять кэш с помощью proxy_cache_background_update, что такое stale-while-revalidate, как логировать JSON и что делать, если после обновления конфигурации старые рабочие процессы долго не завершаются. Читаем CHANGES вместе и разбираем на примерах.
Что нового в nginx? / Максим Дунин (Nginx, Inc.)
Что нового в nginx? / Максим Дунин (Nginx, Inc.)
Ontico
Magento performance by Michael Zhalevich
Magento performance
Magento performance
aheadWorks
Спецкурс "Современные практики разработки ПО", 2013-2014 уч. год, занятие 6
Спецкурс "Современные практики разработки ПО", 2013-2014 уч. год, занятие 6
7bits
Проектирование и отладка веб приложений с использованием облака Microsoft Azure. Технологии для повышения отказоустойчивости и надежности веб приложений, в том числе при использовании своего хостинга.
Azure web apps - designing and debugging
Azure web apps - designing and debugging
Alexey Bokov
Виртуализация сетевой транспортной инфраструктуры
Виртуализация сетевой транспортной инфраструктуры
Виртуализация сетевой транспортной инфраструктуры
Cisco Russia
Similar to Nginx Igor Sysoev
(20)
Phalcon - самый быстрый PHP Framework
Phalcon - самый быстрый PHP Framework
Вячеслав Бирюков - HTTP и HTTPS
Вячеслав Бирюков - HTTP и HTTPS
Взломать сайт на ASP.NET
Взломать сайт на ASP.NET
WWW
WWW
Building deployment pipeline - DevOps way
Building deployment pipeline - DevOps way
Web осень 2013 лекция 3
Web осень 2013 лекция 3
Cloud APIs. Обзор API западных провайдеров и API Scalaxy (Нат Гаджибалаев)
Cloud APIs. Обзор API западных провайдеров и API Scalaxy (Нат Гаджибалаев)
Catalyst – MVC framework на Perl (RIT 2008)
Catalyst – MVC framework на Perl (RIT 2008)
Web весна 2013 лекция 3
Web весна 2013 лекция 3
(1 часть) 1С-Битрикс. Как настроить двухуровневую конфигурацию веб-приложения...
(1 часть) 1С-Битрикс. Как настроить двухуровневую конфигурацию веб-приложения...
SOA: Строим свой service mesh
SOA: Строим свой service mesh
176023
176023
FT & HA Rails приложений приложений — это просто
FT & HA Rails приложений приложений — это просто
Стажировка-2013, разработчики, занятие 7. Web, HTTP
Стажировка-2013, разработчики, занятие 7. Web, HTTP
Web осень 2012 лекция 3
Web осень 2012 лекция 3
Что нового в nginx? / Максим Дунин (Nginx, Inc.)
Что нового в nginx? / Максим Дунин (Nginx, Inc.)
Magento performance
Magento performance
Спецкурс "Современные практики разработки ПО", 2013-2014 уч. год, занятие 6
Спецкурс "Современные практики разработки ПО", 2013-2014 уч. год, занятие 6
Azure web apps - designing and debugging
Azure web apps - designing and debugging
Виртуализация сетевой транспортной инфраструктуры
Виртуализация сетевой транспортной инфраструктуры
More from Media Gorod
Itogi2013
Itogi2013
Media Gorod
Moneytree rus 1
Moneytree rus 1
Media Gorod
Iidf market watch_2013
Iidf market watch_2013
Media Gorod
E travel 2013 ufs-f
E travel 2013 ufs-f
Media Gorod
Travel shop 2013
Travel shop 2013
Media Gorod
Kozyakov pay u_e-travel2013
Kozyakov pay u_e-travel2013
Media Gorod
13909772985295c7a772abc7.11863824
13909772985295c7a772abc7.11863824
Media Gorod
As e-travel 2013
As e-travel 2013
Media Gorod
Ishounkina internet research-projects
Ishounkina internet research-projects
Media Gorod
E travel13
E travel13
Media Gorod
Orlova pay u group_290813_
Orlova pay u group_290813_
Media Gorod
Ep presentation (infographic 2013)
Ep presentation (infographic 2013)
Media Gorod
Iway slides e-travel_2013-11_ready
Iway slides e-travel_2013-11_ready
Media Gorod
Data insight e-travel2013
Data insight e-travel2013
Media Gorod
Электронное Правительство как Продукт
Электронное Правительство как Продукт
Media Gorod
Lean мышление / Специфика Lean Startup
Lean мышление / Специфика Lean Startup
Media Gorod
Глобальный взгляд на мобильный мир (Nielsen)
Глобальный взгляд на мобильный мир (Nielsen)
Media Gorod
Как россияне используют смартфоны (Nielsen)
Как россияне используют смартфоны (Nielsen)
Media Gorod
Мобильный интернет в России (MailRuGroup)
Мобильный интернет в России (MailRuGroup)
Media Gorod
Meta Mass Media
Meta Mass Media
Media Gorod
More from Media Gorod
(20)
Itogi2013
Itogi2013
Moneytree rus 1
Moneytree rus 1
Iidf market watch_2013
Iidf market watch_2013
E travel 2013 ufs-f
E travel 2013 ufs-f
Travel shop 2013
Travel shop 2013
Kozyakov pay u_e-travel2013
Kozyakov pay u_e-travel2013
13909772985295c7a772abc7.11863824
13909772985295c7a772abc7.11863824
As e-travel 2013
As e-travel 2013
Ishounkina internet research-projects
Ishounkina internet research-projects
E travel13
E travel13
Orlova pay u group_290813_
Orlova pay u group_290813_
Ep presentation (infographic 2013)
Ep presentation (infographic 2013)
Iway slides e-travel_2013-11_ready
Iway slides e-travel_2013-11_ready
Data insight e-travel2013
Data insight e-travel2013
Электронное Правительство как Продукт
Электронное Правительство как Продукт
Lean мышление / Специфика Lean Startup
Lean мышление / Специфика Lean Startup
Глобальный взгляд на мобильный мир (Nielsen)
Глобальный взгляд на мобильный мир (Nielsen)
Как россияне используют смартфоны (Nielsen)
Как россияне используют смартфоны (Nielsen)
Мобильный интернет в России (MailRuGroup)
Мобильный интернет в России (MailRuGroup)
Meta Mass Media
Meta Mass Media
Nginx Igor Sysoev
1.
nginx - зачем
он вообще нужен, текущие и будущие возможности Игорь Сысое http://sysoev.ru
2.
3.
HTTP прокси-сервер
4.
архитектура соединения
5.
6.
7.
8.
9.
10.
фильтры вывода
11.
12.
13.
14.
15.
почтовый прокси-сервер
16.
17.
Download now