Soumettre la recherche
Mettre en ligne
Python-разработка в части Яндекс-вселенной - Александр Кошелев, PyCon RU 2014
•
1 j'aime
•
917 vues
it-people
Suivre
Signaler
Partager
Signaler
Partager
1 sur 21
Télécharger maintenant
Télécharger pour lire hors ligne
Recommandé
Олег Анастасьев "Ближе к Cassandra". Выступление на Cassandra Conf 2013
Олег Анастасьев "Ближе к Cassandra". Выступление на Cassandra Conf 2013
it-people
Депрокрастинируем Docker: контейнеры здесь и сейчас (мастер-класс). Руслан Шарипов (7bits), Денис Нелюбин (Avelix). При подходе к любому важному делу или к изучению интересной технологии очень важно сделать первый шаг. Этот шаг может быть совсем шажочком, небольшим движением вперёд, но, часто бывает, что именно такие шаги позволяют добиваться завершения дел до конца. В последнее время часто наши коллеги и знакомые грозятся погуглить, изучить, разобраться, исследовать, ознакомиться, попробовать, начать использовать Docker, и постоянно откладывают это дело в долгий ящик. Кто-то боится новизны технологии, кто-то хочет задать тонну вопросов, а кто-то просто не понимает, нужна ли технология для него. В рамках этого мастер класса мы сделаем первый шаг к тому, чтобы попробовать на практике то, что есть сейчас Docker. Мы рассмотрим, что у него под капотом: какие технологии стоят за популярным названием, как работает Docker изнутри, обсудим и научимся использовать на практике контейнеры, registry и инструменты, упрощающие процесс доставки и запуска контейнеров на серверах, обсудим и найдём решения для возникающих проблем, напишем тесты и научимся тестировать инфраструктуру в контейнерах. Presented: 6th June, 2015
Депрокрастинируем Docker: контейнеры здесь и сейчас
Депрокрастинируем Docker: контейнеры здесь и сейчас
Ruslan Sharipov
Report about practical experience using openvz and Linux upstream containers in real hosting.
Containers in real world презентация
Containers in real world презентация
Pavel Odintsov
Continuousdelivery
Continuousdelivery
Ivan Evtukhovich
Опыт применения виртуализации для web-систем часть 2
Опыт применения виртуализации для web-систем часть 2
Alex Chistyakov
http://2013.codefest.ru/doklad/38
CodeFest 2013. Чистяков А. — Использование систем виртуализации в веб
CodeFest 2013. Чистяков А. — Использование систем виртуализации в веб
CodeFest
В выпуске 4.8 ядра Linux появилась поддержка NVMf (NVM Express over Fabrics) — стандартизованной возможности присоединять по сети как блочные устройства твердотельные накопители, установленные в разъёмы PCI Express. NVMf лишён многих недостатков iSCSI, повторяющего по сети SCSI-команды со всеми их издержками времён дисковых накопителей, и главное — позволяет по полной использовать возможности сетей с прямым доступом к оперативной памяти (RDMA). Таким образом, можно под управлением одного узла собрать сверхбыстрый и сверхотзывчивый пул блочных устройств, не прибегая к покупке дорогого флэш-массива. Но как воспользоваться этим пулом, не загубив теоретические показатели программными обёртками? В докладе будут рассмотрены варианты применения NVMf для различных конфигураций PostgreSQL, Oracle Database, Hadoop, файловых хранилищ, о разработках в направлении «программно-определяемой памяти» с применением NVMe-устройств, доступных по сети, обсуждены текущие проблемы, ограничения и перспективы. Особое внимание будет уделено практическим способам измерения производительности ввода-вывода с учётом задачи, решаемой подсистемой хранения.
NVMf: 5 млн IOPS по сети своими руками / Андрей Николаенко (IBS)
NVMf: 5 млн IOPS по сети своими руками / Андрей Николаенко (IBS)
Ontico
Дмитрий Перлов «openSUSE Build Server от Б до Ю, или ваш пакет в openSUSE это не просто, а очень просто» Доклад с июльской линуксовки MLUG 2013
openSUSE Build Server от Б до Ю
openSUSE Build Server от Б до Ю
Minsk Linux User Group
Recommandé
Олег Анастасьев "Ближе к Cassandra". Выступление на Cassandra Conf 2013
Олег Анастасьев "Ближе к Cassandra". Выступление на Cassandra Conf 2013
it-people
Депрокрастинируем Docker: контейнеры здесь и сейчас (мастер-класс). Руслан Шарипов (7bits), Денис Нелюбин (Avelix). При подходе к любому важному делу или к изучению интересной технологии очень важно сделать первый шаг. Этот шаг может быть совсем шажочком, небольшим движением вперёд, но, часто бывает, что именно такие шаги позволяют добиваться завершения дел до конца. В последнее время часто наши коллеги и знакомые грозятся погуглить, изучить, разобраться, исследовать, ознакомиться, попробовать, начать использовать Docker, и постоянно откладывают это дело в долгий ящик. Кто-то боится новизны технологии, кто-то хочет задать тонну вопросов, а кто-то просто не понимает, нужна ли технология для него. В рамках этого мастер класса мы сделаем первый шаг к тому, чтобы попробовать на практике то, что есть сейчас Docker. Мы рассмотрим, что у него под капотом: какие технологии стоят за популярным названием, как работает Docker изнутри, обсудим и научимся использовать на практике контейнеры, registry и инструменты, упрощающие процесс доставки и запуска контейнеров на серверах, обсудим и найдём решения для возникающих проблем, напишем тесты и научимся тестировать инфраструктуру в контейнерах. Presented: 6th June, 2015
Депрокрастинируем Docker: контейнеры здесь и сейчас
Депрокрастинируем Docker: контейнеры здесь и сейчас
Ruslan Sharipov
Report about practical experience using openvz and Linux upstream containers in real hosting.
Containers in real world презентация
Containers in real world презентация
Pavel Odintsov
Continuousdelivery
Continuousdelivery
Ivan Evtukhovich
Опыт применения виртуализации для web-систем часть 2
Опыт применения виртуализации для web-систем часть 2
Alex Chistyakov
http://2013.codefest.ru/doklad/38
CodeFest 2013. Чистяков А. — Использование систем виртуализации в веб
CodeFest 2013. Чистяков А. — Использование систем виртуализации в веб
CodeFest
В выпуске 4.8 ядра Linux появилась поддержка NVMf (NVM Express over Fabrics) — стандартизованной возможности присоединять по сети как блочные устройства твердотельные накопители, установленные в разъёмы PCI Express. NVMf лишён многих недостатков iSCSI, повторяющего по сети SCSI-команды со всеми их издержками времён дисковых накопителей, и главное — позволяет по полной использовать возможности сетей с прямым доступом к оперативной памяти (RDMA). Таким образом, можно под управлением одного узла собрать сверхбыстрый и сверхотзывчивый пул блочных устройств, не прибегая к покупке дорогого флэш-массива. Но как воспользоваться этим пулом, не загубив теоретические показатели программными обёртками? В докладе будут рассмотрены варианты применения NVMf для различных конфигураций PostgreSQL, Oracle Database, Hadoop, файловых хранилищ, о разработках в направлении «программно-определяемой памяти» с применением NVMe-устройств, доступных по сети, обсуждены текущие проблемы, ограничения и перспективы. Особое внимание будет уделено практическим способам измерения производительности ввода-вывода с учётом задачи, решаемой подсистемой хранения.
NVMf: 5 млн IOPS по сети своими руками / Андрей Николаенко (IBS)
NVMf: 5 млн IOPS по сети своими руками / Андрей Николаенко (IBS)
Ontico
Дмитрий Перлов «openSUSE Build Server от Б до Ю, или ваш пакет в openSUSE это не просто, а очень просто» Доклад с июльской линуксовки MLUG 2013
openSUSE Build Server от Б до Ю
openSUSE Build Server от Б до Ю
Minsk Linux User Group
Badoo presentation-2012-rit-nasretdinov
Badoo presentation-2012-rit-nasretdinov
Yuriy Nasretdinov
Типичные подходы к развертыванию приложений: как правильные, так и неправильные, но повсеместно применяемые. Как сделать так, чтобы развертывание не стало проблемой с линейным ростом количества поддерживаемых окружений. Методы обновления проекта с нулевым временем простоя: когда это уместно и принципиально возможно.
«Масштабируемый DevOps» Александр Колесень
«Масштабируемый DevOps» Александр Колесень
IT Share
Slides for Moscow Docker meetup in Oct 2014
Teach your dockers to use CRanes
Teach your dockers to use CRanes
Pavel Emelyanov
Релиз-менеджмент в Badoo (Юрий Насретдинов)
Релиз-менеджмент в Badoo (Юрий Насретдинов)
Ontico
"Sphinx 3.0 в реальной жизни" Андрей Смирнов (Avito)
"Sphinx 3.0 в реальной жизни" Андрей Смирнов (Avito)
"Sphinx 3.0 в реальной жизни" Андрей Смирнов (Avito)
AvitoTech
My talk at SPb Ansible Users Group meetup
Ansible in the enterprise
Ansible in the enterprise
Alex Chistyakov
Optimizations of Android version of Telegram
Android Telegram S Optimizations
Android Telegram S Optimizations
Stepan Korshakov
Выступление Юрия Насретдинова, Badoo, на #HPC 9 августа: "Деплой на тысячи серверов за 3 минуты!"
Выступление Юрия Насретдинова, Badoo, на High Performance Conference
Выступление Юрия Насретдинова, Badoo, на High Performance Conference
EYevseyeva
В настоящее время в OpenStack есть хорошая поддержка гипервизорной виртуализации, но пока нет работающего решения для использования контейнеров. Я расскажу, почему так получилось, сравню гипервизорную и контейнерную технологии в контексте OpenStack и рассмотрю, насколько проще будет выполнять некоторые операции в OpenStack при использовании контейнеров, а также какие новые возможности появятся в OpenStack при использовании этого типа виртуализации.
Контейнеры в OpenStack: простое решение сложных проблем
Контейнеры в OpenStack: простое решение сложных проблем
Yandex
Андрей Петров для DevOps MeetUp (Expert Fridays)
Yet Another PaaS
Yet Another PaaS
Provectus
Мы в Avito уже более года используем Kubernetes в качестве платформы для микросервисов. За это время мы столкнулись с рядом проблем, с которыми может столкнуться каждый, кто использует эту платформу. В докладе поделюсь опытом решения проблем и настройки кластера для обеспечения его эффективной работы.
Настройка Kubernetes: tips ans tricks
Настройка Kubernetes: tips ans tricks
Mike Prokopchuk
Доклад Виталия Гаврилова на HighLoad++ 2014.
Отказоустойчивый микрокластер своими руками, Виталий Гаврилов (Ленвендо)
Отказоустойчивый микрокластер своими руками, Виталий Гаврилов (Ленвендо)
Ontico
Строим CI/CD в Bamboo, используя Chef ----- Мы покажем эволюционный путь нашего CI/CD-процесса от маленького скрипта на python, до фреймворка на ruby: + рассмотрим типичные трудности, возникающие при построении CI/CD процесса с помощью CI-движка и Configuration management tools. + покажем реализованные решения на примере связки Chef + Bamboo: o унификация деплоймент-процесса компании; o деплойменты на гетерогенные environment'ы, включая Linux/Windows системы; o инструментарий для построения CD-процесса в Bamboo. Управление билд-фермой Bamboo с помощью Chef ----- Для поддержки SDLC-процесса компании мы эксплуатируем большую географически распределенную гетерогенную билд-ферму агентов (80+ агентов на базе Windows, Linux и MacOS). С ростом количества билд-конфигураций и агентов мы столкнулись с задачей управления конфигурациями билд-агентов, с которой успешно справляемся с помощью решения на базе Chef. Примеры решаемых задач: + настройка Bamboo-агентов с нуля; + сapability management при помощи ohai; + повышение эффективности использования билд-фермы.
Chef по обе стороны Bamboo / Артем Семенов (Align Technology)
Chef по обе стороны Bamboo / Артем Семенов (Align Technology)
Ontico
Highload Begun Pankov
Highload Begun Pankov
Ontico
Как узнать посетителя, если он очистил браузер и зашел под VPN
KazHackStan 2017 | Tracking
KazHackStan 2017 | Tracking
Дмитрий Бумов
Docker 1.9 для разработчиков, администраторов и пользователей
Docker 1.9
Docker 1.9
Дмитрий Золотов
Fiddler
Fiddler
Viktor Love
10.2
10.2
Средняя школа № 10 г. Слонима
Поговорим о том что такое докер, зачем он нужен и о способах его применения.
Docker. Зачем он нам?
Docker. Зачем он нам?
Andrey Gerasimov
* Следующее поколение моделей проектирования и эксплуатации серверных приложений в публичных облаках и на классических серверах. * Сравнение методов эксплуатации: "традиционных" Chef/Salt/Ansible, immutage images/virtual appliances/Docker, и автономных рабочих окружений Jetware/Snappy/Nix/Habitat. * Самоконфигурация, самоадминистрирование и самовосстановление серверов. ** Управление большими системами Mesos, Kubernetes, Docker Swarm. ** Управление внутри микросервисов. * Независимость рабочего окружения приложений от операционной системы и ядра, just enough OS. * Приложение - это не только исходный код, но и операционное окружение. Разработка, тестирование и версионирование всего полностью. * Сервер как программа - компонентный подход.
Как devops исчерпывает себя, и что будет дальше / Кирилл Вечера (Jetware)
Как devops исчерпывает себя, и что будет дальше / Кирилл Вечера (Jetware)
Ontico
Эволюция управления информационными системами Какие сейчас есть средства и какие появляются Как этому способствует Jetware Почему Devops становится ненужным
Как devops исчерпывает себя и что будет дальше
Как devops исчерпывает себя и что будет дальше
Kirill Vechera
Речь пойдет об особенностях использования контейнеров в публичных услугах. Почему linux upstream containers пока не подходят на эту роль? По каким причинам OpenVZ справляется с задачей, но не полностью? Какие фишки контейнеров мы хотим иметь в будущем?
Использование контейнеризации в среде массового хостинга
Использование контейнеризации в среде массового хостинга
Yandex
Contenu connexe
Tendances
Badoo presentation-2012-rit-nasretdinov
Badoo presentation-2012-rit-nasretdinov
Yuriy Nasretdinov
Типичные подходы к развертыванию приложений: как правильные, так и неправильные, но повсеместно применяемые. Как сделать так, чтобы развертывание не стало проблемой с линейным ростом количества поддерживаемых окружений. Методы обновления проекта с нулевым временем простоя: когда это уместно и принципиально возможно.
«Масштабируемый DevOps» Александр Колесень
«Масштабируемый DevOps» Александр Колесень
IT Share
Slides for Moscow Docker meetup in Oct 2014
Teach your dockers to use CRanes
Teach your dockers to use CRanes
Pavel Emelyanov
Релиз-менеджмент в Badoo (Юрий Насретдинов)
Релиз-менеджмент в Badoo (Юрий Насретдинов)
Ontico
"Sphinx 3.0 в реальной жизни" Андрей Смирнов (Avito)
"Sphinx 3.0 в реальной жизни" Андрей Смирнов (Avito)
"Sphinx 3.0 в реальной жизни" Андрей Смирнов (Avito)
AvitoTech
My talk at SPb Ansible Users Group meetup
Ansible in the enterprise
Ansible in the enterprise
Alex Chistyakov
Optimizations of Android version of Telegram
Android Telegram S Optimizations
Android Telegram S Optimizations
Stepan Korshakov
Выступление Юрия Насретдинова, Badoo, на #HPC 9 августа: "Деплой на тысячи серверов за 3 минуты!"
Выступление Юрия Насретдинова, Badoo, на High Performance Conference
Выступление Юрия Насретдинова, Badoo, на High Performance Conference
EYevseyeva
В настоящее время в OpenStack есть хорошая поддержка гипервизорной виртуализации, но пока нет работающего решения для использования контейнеров. Я расскажу, почему так получилось, сравню гипервизорную и контейнерную технологии в контексте OpenStack и рассмотрю, насколько проще будет выполнять некоторые операции в OpenStack при использовании контейнеров, а также какие новые возможности появятся в OpenStack при использовании этого типа виртуализации.
Контейнеры в OpenStack: простое решение сложных проблем
Контейнеры в OpenStack: простое решение сложных проблем
Yandex
Андрей Петров для DevOps MeetUp (Expert Fridays)
Yet Another PaaS
Yet Another PaaS
Provectus
Мы в Avito уже более года используем Kubernetes в качестве платформы для микросервисов. За это время мы столкнулись с рядом проблем, с которыми может столкнуться каждый, кто использует эту платформу. В докладе поделюсь опытом решения проблем и настройки кластера для обеспечения его эффективной работы.
Настройка Kubernetes: tips ans tricks
Настройка Kubernetes: tips ans tricks
Mike Prokopchuk
Доклад Виталия Гаврилова на HighLoad++ 2014.
Отказоустойчивый микрокластер своими руками, Виталий Гаврилов (Ленвендо)
Отказоустойчивый микрокластер своими руками, Виталий Гаврилов (Ленвендо)
Ontico
Строим CI/CD в Bamboo, используя Chef ----- Мы покажем эволюционный путь нашего CI/CD-процесса от маленького скрипта на python, до фреймворка на ruby: + рассмотрим типичные трудности, возникающие при построении CI/CD процесса с помощью CI-движка и Configuration management tools. + покажем реализованные решения на примере связки Chef + Bamboo: o унификация деплоймент-процесса компании; o деплойменты на гетерогенные environment'ы, включая Linux/Windows системы; o инструментарий для построения CD-процесса в Bamboo. Управление билд-фермой Bamboo с помощью Chef ----- Для поддержки SDLC-процесса компании мы эксплуатируем большую географически распределенную гетерогенную билд-ферму агентов (80+ агентов на базе Windows, Linux и MacOS). С ростом количества билд-конфигураций и агентов мы столкнулись с задачей управления конфигурациями билд-агентов, с которой успешно справляемся с помощью решения на базе Chef. Примеры решаемых задач: + настройка Bamboo-агентов с нуля; + сapability management при помощи ohai; + повышение эффективности использования билд-фермы.
Chef по обе стороны Bamboo / Артем Семенов (Align Technology)
Chef по обе стороны Bamboo / Артем Семенов (Align Technology)
Ontico
Highload Begun Pankov
Highload Begun Pankov
Ontico
Как узнать посетителя, если он очистил браузер и зашел под VPN
KazHackStan 2017 | Tracking
KazHackStan 2017 | Tracking
Дмитрий Бумов
Docker 1.9 для разработчиков, администраторов и пользователей
Docker 1.9
Docker 1.9
Дмитрий Золотов
Fiddler
Fiddler
Viktor Love
10.2
10.2
Средняя школа № 10 г. Слонима
Поговорим о том что такое докер, зачем он нужен и о способах его применения.
Docker. Зачем он нам?
Docker. Зачем он нам?
Andrey Gerasimov
Tendances
(19)
Badoo presentation-2012-rit-nasretdinov
Badoo presentation-2012-rit-nasretdinov
«Масштабируемый DevOps» Александр Колесень
«Масштабируемый DevOps» Александр Колесень
Teach your dockers to use CRanes
Teach your dockers to use CRanes
Релиз-менеджмент в Badoo (Юрий Насретдинов)
Релиз-менеджмент в Badoo (Юрий Насретдинов)
"Sphinx 3.0 в реальной жизни" Андрей Смирнов (Avito)
"Sphinx 3.0 в реальной жизни" Андрей Смирнов (Avito)
Ansible in the enterprise
Ansible in the enterprise
Android Telegram S Optimizations
Android Telegram S Optimizations
Выступление Юрия Насретдинова, Badoo, на High Performance Conference
Выступление Юрия Насретдинова, Badoo, на High Performance Conference
Контейнеры в OpenStack: простое решение сложных проблем
Контейнеры в OpenStack: простое решение сложных проблем
Yet Another PaaS
Yet Another PaaS
Настройка Kubernetes: tips ans tricks
Настройка Kubernetes: tips ans tricks
Отказоустойчивый микрокластер своими руками, Виталий Гаврилов (Ленвендо)
Отказоустойчивый микрокластер своими руками, Виталий Гаврилов (Ленвендо)
Chef по обе стороны Bamboo / Артем Семенов (Align Technology)
Chef по обе стороны Bamboo / Артем Семенов (Align Technology)
Highload Begun Pankov
Highload Begun Pankov
KazHackStan 2017 | Tracking
KazHackStan 2017 | Tracking
Docker 1.9
Docker 1.9
Fiddler
Fiddler
10.2
10.2
Docker. Зачем он нам?
Docker. Зачем он нам?
Similaire à Python-разработка в части Яндекс-вселенной - Александр Кошелев, PyCon RU 2014
* Следующее поколение моделей проектирования и эксплуатации серверных приложений в публичных облаках и на классических серверах. * Сравнение методов эксплуатации: "традиционных" Chef/Salt/Ansible, immutage images/virtual appliances/Docker, и автономных рабочих окружений Jetware/Snappy/Nix/Habitat. * Самоконфигурация, самоадминистрирование и самовосстановление серверов. ** Управление большими системами Mesos, Kubernetes, Docker Swarm. ** Управление внутри микросервисов. * Независимость рабочего окружения приложений от операционной системы и ядра, just enough OS. * Приложение - это не только исходный код, но и операционное окружение. Разработка, тестирование и версионирование всего полностью. * Сервер как программа - компонентный подход.
Как devops исчерпывает себя, и что будет дальше / Кирилл Вечера (Jetware)
Как devops исчерпывает себя, и что будет дальше / Кирилл Вечера (Jetware)
Ontico
Эволюция управления информационными системами Какие сейчас есть средства и какие появляются Как этому способствует Jetware Почему Devops становится ненужным
Как devops исчерпывает себя и что будет дальше
Как devops исчерпывает себя и что будет дальше
Kirill Vechera
Речь пойдет об особенностях использования контейнеров в публичных услугах. Почему linux upstream containers пока не подходят на эту роль? По каким причинам OpenVZ справляется с задачей, но не полностью? Какие фишки контейнеров мы хотим иметь в будущем?
Использование контейнеризации в среде массового хостинга
Использование контейнеризации в среде массового хостинга
Yandex
Net core and linux in production
Net core and linux in production
Net core and linux in production
Anatoly Popov
РИТ++ 2017 Зал Сан-Паулу, 5 июня, 15:00 Тезисы: http://ritfest.ru/2017/abstracts/2653.html Новые микросервисы появляются, но монолит никуда не исчезает. Мы в Avito разрабатываем и деплоим сервисы с помощью связки Docker и Kubernetes. Зачастую интегрировать монолит с сервисами довольно проблематично. А что, если монолит тоже завернуть в Docker+Kubernetes и применять те же практики, что и для микросервисов? В докладе речь пойдёт о том, как изменилась Dev-среда в Avito в связи с переходом на микросервисную архитектуру. В частности, поговорим про: - подход "legacy in a box"; - то, как мы решали проблемы с базами и sphinxsearch; - то, как Docker и Kubernetes помогли нам сократить различия между окружениями; - Developer Experience. Доклад будет полезен как командам, планирующим или переживающим распил монолита, так и всем тем, кому приходится работать со сторонними legacy-системами.
Legacy в коробочке. Dev-среда на базе Kubernetes / Илья Сауленко (Avito)
Legacy в коробочке. Dev-среда на базе Kubernetes / Илья Сауленко (Avito)
Ontico
Presented: 16th May, 2015 https://speakerdeck.com/sharipov/docker-schast-ie-dlia-khomiachka-ili-ghika
Docker - счастье для хомячка или ника?
Docker - счастье для хомячка или ника?
Ruslan Sharipov
Зачем нужен и что такое докер. Чем он отличается от виртуальных машин. Как создать, сохранить и запустить свой докер-контейнер. Обновленная презентация с шестого 4front митапа в Минске.
Что такое Docker
Что такое Docker
Pavel Klimiankou
Про docker
Docker : что это, зачем, и как им пользоваться
Docker : что это, зачем, и как им пользоваться
Сергей Ладыгин
Артём Ерошенко «Рецепт приготовления облачных тестингов»
Артём Ерошенко «Рецепт приготовления облачных тестингов»
Артём Ерошенко «Рецепт приготовления облачных тестингов»
WrikeTechClub
HighLoad++ 2017 Зал «Кейптаун», 8 ноября, 10:00 Тезисы: http://www.highload.ru/2017/abstracts/2914.html Казалось бы, что нужно для организации тестового окружения? Тестовая железка и копия боевого окружения - и тестовый сервер готов. Но как быть, когда проект сложный? А когда большой? А если нужно тестировать одновременно много версий? А если все это вместе? Организация тестирования большого развивающегося проекта, где одновременно в разработке и тестировании около полусотни фич - достаточно непростая задача. Ситуация обычно осложняется тем, что иногда есть желание потрогать еще не полностью готовый функционал. В таких ситуациях часто возникает вопрос: "А куда это можно накатить и где покликать?" ...
Готовим тестовое окружение, или сколько тестовых инстансов вам нужно / Алекса...
Готовим тестовое окружение, или сколько тестовых инстансов вам нужно / Алекса...
Ontico
HighLoad++ 2017 Зал «Найроби + Касабланка», 8 ноября, 16:00 Тезисы: http://www.highload.ru/2017/abstracts/2996.html Наш проект – это облачный CI-сервис, на котором пользователи запускают тесты разрабатываемых проектов. В этом году система автозакупки нашего проекта приобрела 37218 машин (Amazon Instances). Это позволило обработать 189488 "задач" (прогонов тестов) наших клиентов. Тесты – это всегда ресурсоемкие задачи с максимальным потреблением процессорных мощностей и памяти. Мы не можем прогнозировать, сколько параллельных вычислений и в какой момент времени будет. Перед нами стояла задача построения архитектуры системы, которая умеет очень быстро увеличивать, а также быстро уменьшать мощности кластера.
Как построить кластер для расчета сотен тысяч high-CPU/high-MEM-задач и не ра...
Как построить кластер для расчета сотен тысяч high-CPU/high-MEM-задач и не ра...
Ontico
International Security Conference "ZeroNights 2011" - http://www.zeronights.org/
Anton Bolshakov - Joint anti-crime. Open source security
Anton Bolshakov - Joint anti-crime. Open source security
DefconRussia
Sartakov, V., Tarasikov, Aksys labs The Analysis of Performance of Genode Micro-core Environment Network Subsystem
TMPA-2013 Sartakov: Genode
TMPA-2013 Sartakov: Genode
Iosif Itkin
Рутинные операции тестирования, сборки и развёртывания заставляют в нервном ожидании толстеть на кофепоинте, а частый релизный цикл создаёт лёгкое головокружение? Чтобы помочь вам сохранить тело подтянутым, а голову светлой, я расскажу об организации и особенностях непрерывной интеграции в Python-проектах на примере популярных инструментов.
Непрерывная интеграция Python-проектов в Яндексе
Непрерывная интеграция Python-проектов в Яндексе
Andrey Kazarinov
Java осень 2014 занятие 1
Java осень 2014 занятие 1
Java осень 2014 занятие 1
Technopark
Потребность в отстроенном процессе Continuous Delivery встает перед каждым развивающимся highload-проектом. Чем больше серверов и составных приложений, чем выше динамика релизов, тем раньше проект сталкивается с данной потребностью, и тем острее она стоит. Многие команды эксплуатации смогли отстроить этот процесс, некоторые добились впечатляющих результатов, а некоторые — потерпели неудачу. Но все из них знают, что их процесс можно улучшить: сделать быстрее, надежнее, предсказуемее и удобнее. В этом докладе я хочу обобщить и систематизировать лучшие практики построения процесса Continuous Delivery с использованием актуальных Open Source технологий (Docker, Chef, Gitlab, Kubernetes), а также обозначить известные проблемы и потенциальные пути их решения. Будет предпринята попытка однозначно ответить на следующие практические вопросы: - Почему пора всем переходить на Docker? Как лучше собирать Docker-образы? Как лучше доставлять и хранить Docker-образы? - Как правильно построить процесс разработки Infrastructure as Code (IaC)? - Как оптимально интегрировать автоматическое и ручное тестирование в процесс Continuous Delivery? - Как перестать бояться регулярных выкатов новых версий и сделать этот процесс надежным? - Почему Continuous Delivery не заканчивается релизом новой версии и зачем нужен Kubernetes?
Лучшие практики Continuous Delivery с Docker / Дмитрий Столяров (Флант)
Лучшие практики Continuous Delivery с Docker / Дмитрий Столяров (Флант)
Ontico
Андрей Казаринов, разработчик Python Almaty, Алматы, 15.09.2015
Процессы разработки в Яндексе
Процессы разработки в Яндексе
Andrey Kazarinov
Prepared by Andrey Kazarinov, developer of Yandex.Passport.
Python Development process in Yandex
Python Development process in Yandex
aviatakz
Управление облачной инфраструктурой
Управление облачной инфраструктурой
dddpaul
Презентация рассказывает о том, кто такие девопс инженеры, какие проблемы они решают, когда команда разработчиков может обойтись без них и какие инструменты для этого использовать.
А так ли нужен DevOps инженер в проекте?
А так ли нужен DevOps инженер в проекте?
Mad Devs
Similaire à Python-разработка в части Яндекс-вселенной - Александр Кошелев, PyCon RU 2014
(20)
Как devops исчерпывает себя, и что будет дальше / Кирилл Вечера (Jetware)
Как devops исчерпывает себя, и что будет дальше / Кирилл Вечера (Jetware)
Как devops исчерпывает себя и что будет дальше
Как devops исчерпывает себя и что будет дальше
Использование контейнеризации в среде массового хостинга
Использование контейнеризации в среде массового хостинга
Net core and linux in production
Net core and linux in production
Legacy в коробочке. Dev-среда на базе Kubernetes / Илья Сауленко (Avito)
Legacy в коробочке. Dev-среда на базе Kubernetes / Илья Сауленко (Avito)
Docker - счастье для хомячка или ника?
Docker - счастье для хомячка или ника?
Что такое Docker
Что такое Docker
Docker : что это, зачем, и как им пользоваться
Docker : что это, зачем, и как им пользоваться
Артём Ерошенко «Рецепт приготовления облачных тестингов»
Артём Ерошенко «Рецепт приготовления облачных тестингов»
Готовим тестовое окружение, или сколько тестовых инстансов вам нужно / Алекса...
Готовим тестовое окружение, или сколько тестовых инстансов вам нужно / Алекса...
Как построить кластер для расчета сотен тысяч high-CPU/high-MEM-задач и не ра...
Как построить кластер для расчета сотен тысяч high-CPU/high-MEM-задач и не ра...
Anton Bolshakov - Joint anti-crime. Open source security
Anton Bolshakov - Joint anti-crime. Open source security
TMPA-2013 Sartakov: Genode
TMPA-2013 Sartakov: Genode
Непрерывная интеграция Python-проектов в Яндексе
Непрерывная интеграция Python-проектов в Яндексе
Java осень 2014 занятие 1
Java осень 2014 занятие 1
Лучшие практики Continuous Delivery с Docker / Дмитрий Столяров (Флант)
Лучшие практики Continuous Delivery с Docker / Дмитрий Столяров (Флант)
Процессы разработки в Яндексе
Процессы разработки в Яндексе
Python Development process in Yandex
Python Development process in Yandex
Управление облачной инфраструктурой
Управление облачной инфраструктурой
А так ли нужен DevOps инженер в проекте?
А так ли нужен DevOps инженер в проекте?
Plus de it-people
Выступление на PYCON RUSSIA 2017
«Про аналитику и серебряные пули» Александр Подсобляев, Rambler&Co
«Про аналитику и серебряные пули» Александр Подсобляев, Rambler&Co
it-people
Выступление на PYCON RUSSIA 2017
«Scrapy internals» Александр Сибиряков, Scrapinghub
«Scrapy internals» Александр Сибиряков, Scrapinghub
it-people
Выступление на PYCON RUSSIA 2017
«Отладка в Python 3.6: Быстрее, Выше, Сильнее» Елизавета Шашкова, JetBrains
«Отладка в Python 3.6: Быстрее, Выше, Сильнее» Елизавета Шашкова, JetBrains
it-people
Выступление на PYCON RUSSIA 2017
«Gevent — быть или не быть?» Александр Мокров, Positive Technologies
«Gevent — быть или не быть?» Александр Мокров, Positive Technologies
it-people
Выступление на PYCON RUSSIA 2017
«Ещё один Поиск Яндекса» Александр Кошелев, Яндекс
«Ещё один Поиск Яндекса» Александр Кошелев, Яндекс
it-people
Выступление на PYCON RUSSIA 2017
«How I Learned to Stop Worrying and Love the BFG: нагрузочное тестирование со...
«How I Learned to Stop Worrying and Love the BFG: нагрузочное тестирование со...
it-people
Выступление на PYCON RUSSIA 2017
«Write once run anywhere — почём опиум для народа?» Игорь Новиков, Scalr
«Write once run anywhere — почём опиум для народа?» Игорь Новиков, Scalr
it-people
Выступление на PYCON RUSSIA 2017
«Gensim — тематическое моделирование для людей» Иван Меньших, Лев Константино...
«Gensim — тематическое моделирование для людей» Иван Меньших, Лев Константино...
it-people
Выступление на PYCON RUSSIA 2017
«Тотальный контроль производительности» Михаил Юматов, ЦИАН
«Тотальный контроль производительности» Михаил Юматов, ЦИАН
it-people
Выступление на PYCON RUSSIA 2017
«Детские болезни live-чата» Ольга Сентемова, Тинькофф Банк
«Детские болезни live-чата» Ольга Сентемова, Тинькофф Банк
it-people
Выступление на PYCON RUSSIA 2017
«Микросервисы наносят ответный удар!» Олег Чуркин, Rambler&Co
«Микросервисы наносят ответный удар!» Олег Чуркин, Rambler&Co
it-people
Выступление на PYCON RUSSIA 2017
«Память и Python. Что надо знать для счастья?» Алексей Кузьмин, ЦНС
«Память и Python. Что надо знать для счастья?» Алексей Кузьмин, ЦНС
it-people
Выступление на PYCON RUSSIA 2017
«Что такое serverless-архитектура и как с ней жить?» Николай Марков, Aligned ...
«Что такое serverless-архитектура и как с ней жить?» Николай Марков, Aligned ...
it-people
Выступление на PYCON RUSSIA 2017
«Python на острие бритвы: PyPy project» Александр Кошкин, Positive Technologies
«Python на острие бритвы: PyPy project» Александр Кошкин, Positive Technologies
it-people
Выступление на PYCON RUSSIA 2017
«PyWat. А хорошо ли вы знаете Python?» Александр Швец, Marilyn System
«PyWat. А хорошо ли вы знаете Python?» Александр Швец, Marilyn System
it-people
Выступление на PYCON RUSSIA 2017
«(Без)опасный Python», Иван Цыганов, Positive Technologies
«(Без)опасный Python», Иван Цыганов, Positive Technologies
it-people
Выступление на PYCON RUSSIA 2017
«Python of Things», Кирилл Борисов, Яндекс
«Python of Things», Кирилл Борисов, Яндекс
it-people
Выступление на конференции DUMP-2017
«Как сделать так, чтобы тесты на Swift не причиняли боль» Сычев Александр, Ra...
«Как сделать так, чтобы тесты на Swift не причиняли боль» Сычев Александр, Ra...
it-people
Выступление на конференции DUMP-2017
«Клиенту и серверу нужно поговорить» Прокопов Никита, Cognician
«Клиенту и серверу нужно поговорить» Прокопов Никита, Cognician
it-people
Выступление на конференции DUMP-2017
«Кошелек или деньги: сложный выбор между памятью и процессором» Алексеенко Иг...
«Кошелек или деньги: сложный выбор между памятью и процессором» Алексеенко Иг...
it-people
Plus de it-people
(20)
«Про аналитику и серебряные пули» Александр Подсобляев, Rambler&Co
«Про аналитику и серебряные пули» Александр Подсобляев, Rambler&Co
«Scrapy internals» Александр Сибиряков, Scrapinghub
«Scrapy internals» Александр Сибиряков, Scrapinghub
«Отладка в Python 3.6: Быстрее, Выше, Сильнее» Елизавета Шашкова, JetBrains
«Отладка в Python 3.6: Быстрее, Выше, Сильнее» Елизавета Шашкова, JetBrains
«Gevent — быть или не быть?» Александр Мокров, Positive Technologies
«Gevent — быть или не быть?» Александр Мокров, Positive Technologies
«Ещё один Поиск Яндекса» Александр Кошелев, Яндекс
«Ещё один Поиск Яндекса» Александр Кошелев, Яндекс
«How I Learned to Stop Worrying and Love the BFG: нагрузочное тестирование со...
«How I Learned to Stop Worrying and Love the BFG: нагрузочное тестирование со...
«Write once run anywhere — почём опиум для народа?» Игорь Новиков, Scalr
«Write once run anywhere — почём опиум для народа?» Игорь Новиков, Scalr
«Gensim — тематическое моделирование для людей» Иван Меньших, Лев Константино...
«Gensim — тематическое моделирование для людей» Иван Меньших, Лев Константино...
«Тотальный контроль производительности» Михаил Юматов, ЦИАН
«Тотальный контроль производительности» Михаил Юматов, ЦИАН
«Детские болезни live-чата» Ольга Сентемова, Тинькофф Банк
«Детские болезни live-чата» Ольга Сентемова, Тинькофф Банк
«Микросервисы наносят ответный удар!» Олег Чуркин, Rambler&Co
«Микросервисы наносят ответный удар!» Олег Чуркин, Rambler&Co
«Память и Python. Что надо знать для счастья?» Алексей Кузьмин, ЦНС
«Память и Python. Что надо знать для счастья?» Алексей Кузьмин, ЦНС
«Что такое serverless-архитектура и как с ней жить?» Николай Марков, Aligned ...
«Что такое serverless-архитектура и как с ней жить?» Николай Марков, Aligned ...
«Python на острие бритвы: PyPy project» Александр Кошкин, Positive Technologies
«Python на острие бритвы: PyPy project» Александр Кошкин, Positive Technologies
«PyWat. А хорошо ли вы знаете Python?» Александр Швец, Marilyn System
«PyWat. А хорошо ли вы знаете Python?» Александр Швец, Marilyn System
«(Без)опасный Python», Иван Цыганов, Positive Technologies
«(Без)опасный Python», Иван Цыганов, Positive Technologies
«Python of Things», Кирилл Борисов, Яндекс
«Python of Things», Кирилл Борисов, Яндекс
«Как сделать так, чтобы тесты на Swift не причиняли боль» Сычев Александр, Ra...
«Как сделать так, чтобы тесты на Swift не причиняли боль» Сычев Александр, Ra...
«Клиенту и серверу нужно поговорить» Прокопов Никита, Cognician
«Клиенту и серверу нужно поговорить» Прокопов Никита, Cognician
«Кошелек или деньги: сложный выбор между памятью и процессором» Алексеенко Иг...
«Кошелек или деньги: сложный выбор между памятью и процессором» Алексеенко Иг...
Python-разработка в части Яндекс-вселенной - Александр Кошелев, PyCon RU 2014
1.
Python-разработка в части Яндекс-вселенной Александр Кошелев, Яндекс
2.
Содержание Введение Как было Как стало Выводы
3.
Наша часть вселенной Десятки сервисов Внутренние и
иногда внешние Высокие и не очень нагрузки Бекэнд или full-stack сервис Python 2.x Django, Tornado, Flask и т.п.
4.
Условия Несколько серверных сред development testing production Ubuntu Хорошее
железо и инфраструктура Общежитие
5.
Как было Разрабатывали как могли Руками
собирали debian-пакеты Пересобирали зависимости Все команды делали по-своему
6.
Плюсы Debian-пакеты Используется только пакетный
менеджер системы Предсказуемость выкладки на большой кластер Больше свободы
7.
Минусы Debian-пакеты Зависимость от соседей Много
ручной работы Нет стандартных подходов
8.
Как сейчас virtualenv Fabric CI Внутренний Open Source Стандартизация
9.
Плюсы Решили почти все
проблемы старого подхода
10.
Минусы Теперь у нас
два пакетных менеджера Меньше свободы
11.
virtualenv Изоляция Предсказуемость окружения Свой PyPI
– быстрое создание окружения pip-accel/wheel – ещё более быстрое
12.
Свой PyPI localshop Сотни пользователей Сотни пакетов Интегрировано
с CI Зеркало большого PyPI
13.
Fabric Для нас –
альтернатива make Автоматизация конвейера сборки Утилитарные операции Запуск тестов
14.
CI Сборка Тестирование Добавление в очередь
на выкатку (тикет)
15.
Конвейер сборки в CI Создать окружение через
virtualenv Установить зависимости и код проекта Собрать статику, переводы и т.п. Положить в debian-пакет Пакет загрузить в репозиторий
16.
Конвейер сборки у разработчика Обновить changelog Дождаться сборки
в CI Дождаться тестов в CI Дождаться тикета на выкладку Дождаться выкладки в нужную среду
17.
Внутренний Open Source Библиотеки Общее владение кодом Code
Review
18.
Платформа Стандартизация Предсказуемые компоненты
19.
Стандартизация Единый перечень технологий Единые
подходы Авторизация Логи Распределенные блокировки Работа с окружением Интерфейсы Мониторинги ...
20.
Компоненты База (SQL и
NoSQL) Очередь задач Фронты/беки Агрегация логов/ошибок Pub/sub механизм
21.
Вопросы?
Télécharger maintenant