QA Fest 2015. Игорь Хрол. Тестировщик в Agile - кто это?

•

0 j'aime•925 vues

Гибкие процессы разработки привлекательны как для бизнеса, так и для инженеров. Но внедряя Scrum или Kanban на практике, выясняются ограничения в существовавших до этого подходах к тестированию. На примере проекта Toptal хотелось бы поделиться практиками, как делать продукт быстро и качественно, не делая при этом тестирование узким звеном в поставке.

Formation

Игорь Хрол
Toptal
Тестировщик в Agile – кто он?

О себе
● Игорь Хрол
● Инженер по тестированию в
Toptal (http://toptal.com)
● 9 лет в отрасли
● Инженер, архитектор,
менеджер, консультант,
тренер
● http://www.khroliz.com

Отдел Аналитики в Toptal
Обеспечение информацией:
● отчёты
● графики
●
вычисление KPI

Техническая сторона и
автоматические тесты
● Две подсистемы
– Ruby
– Scala
● JSON-based API
● UI на основе React
UI
JSON API
Scala
Источник
данных
Ruby

Unit-тесты
● Ruby on Rails
– 5100 штук
– 5 минут
● Scala
– 370 штук
– 70 секунд
UI
JSON API
Scala
Источник
данных
Ruby

UI Unit-тесты
– 160 штук
– 20 секунд UI
JSON API
Scala
Источник
данных
Ruby

Интеграционные API тесты
● Проверяют интеграцию
почти всего решения
● Не проверяют бизнес-
логику
● Характеристики
– 200 штук
– 10 минут
UI
JSON API
Scala
Источник
данных
Ruby

Различные системы мониторинга
● NewRelic
● Google Analytics
● OpsGenie
● Rollbar
● Takipi

Покрытие автоматическим
тестированием
Ruby Unit-
тесты
(5.1k, 5 мин)
Scala Unit-
тесты
(370, 70 сек)
UI Unit-тесты
(160, 20 сек)
Интеграционные тесты
(200, 10 мин)
Системы
мониторинга
~30 минут на всё

Процесс разработки
B
A
C
K
L
O
G
D
O
N
E✔ Code
✔ Test (manual)
✔ Test (auto)
✔ Code Review
✔ Test (manual)

Преимущества
● Автотесты – неотъемлемая часть поставки

Преимущества
● Автотесты – неотъемлемая часть поставки
● Возможность тестировать на любом уровне

Преимущества
● Автотесты – неотъемлемая часть поставки
● Возможность тестировать на любом уровне
● Тестируемость закладывается в процессе
разработки

Задачи тестировщика
● Работа по общему процессу, разрабатывая,
проводя review и тестируя изменения

Задачи тестировщика
● Работа по общему процессу, разрабатывая,
проводя review и тестируя изменения
● Экспертная помощь в спорных/сложных
вопросах, касающихся тестирования

Спасибо! Обсудим?
www.toptal.com/careers
Игорь Хрол
khroliz@gmail.com
igor.khrol@toptal.com
skype: igor.khrol
www.khroliz.com

Contenu connexe

Tendances

ROCS 2 - advanced platform for automated test execution in clustered environm...

Rina Uzhevko

Улучшить KPI в два раза? Сделано!

SQALab

Тестирование инсталляторов

SQALab

Введение в performance management

SQALab

Мы обсудим основные виды тестовой документации, зачем и почему они нужны, кратко поговорим о том почему нужны тест планы и в каком виде. Узнаем для каких задач какую тест документацию стоит выбрать. Поговорим об эффективных принципах и подходах к построению наборов тест-кейсов и чек-листов. Затронем тему отчетности и, конечно же, поговорим о типичных ошибках.

QA Fest 2015. Aлександр Кузняк. Тестовая документация. How-To и типичные ошибки

QAFest

WP как экспериментальная платформа

SQALab

Автоматизация 0.0: 0 - бюджет, 0 - опыт программирования

SQALab

Agile Testing: вопросы и ответы

Andrey Rebrov

Делаем автоматизацию проектных KPIs

SQALab

Темная сторона метрик

Roman Ivliev

В своем докладе я расскажу, как мы внедряли devops в банке, а конкретнее какую роль в этом процессе сыграло тестирование. Также расскажу с какими проблемами столкнулись, и как мы их устраняли. И да, каких результатов смогли добиться уже через полгода. А самое интересное, покажу как мы смогли добиться того, чтоб у нас pull request долетал до боя за 3 часа со всеми этапами тестирования. Доклад будет содержать большое количество лайфхаков и обзоров инструментария, который мы использовали.

QA Fes 2016. Анастасия Асеева. Роль тестирования в Devops

QAFest

Эффективное взаимодействие тестировщика и аналитика

SQALab

Доклад для ленивых тестировщиков, которые не хотят набивать свои шишки, а научится на чужом опыте: - полезные инструменты и решения для тестирования; - работа с сетью, внутренними и внешними сервисами; - процессы и культура тестирования в отделе разработки - silver bullet в конце доклада

QA Fes 2016. Василий Сливка. 10 лучших практик для тестирования мобильных при...

QAFest

Поговорим о том, что такое Quality Assurance и что такое Quality Control. Узнаем в чем заключается принципиальная разница между этими двумя понятиями\подходами. Расскажем как можно и нужно строить карьеру тестировщика. Приведем пример мировой практики от Microsoft.

Quality Assurance vs Quality Control - так в чем же заключается работа специа...

COMAQA.BY

Новый процесс тестирования на "старом" проекте

SQALab

Как развить отдел тестирования от палки-копалки до CI

CEE-SEC(R)

Оценка проектов тестирования

Rina Uzhevko

QA как драйвер трансформации

SQALab

KPI тестировщиков - особенности и проблемы

Rina Uzhevko

"Давайте не будем про качество"

SQALab

Tendances (20)

ROCS 2 - advanced platform for automated test execution in clustered environm...

Улучшить KPI в два раза? Сделано!

Тестирование инсталляторов

Введение в performance management

QA Fest 2015. Aлександр Кузняк. Тестовая документация. How-To и типичные ошибки

WP как экспериментальная платформа

Автоматизация 0.0: 0 - бюджет, 0 - опыт программирования

Agile Testing: вопросы и ответы

Делаем автоматизацию проектных KPIs

Темная сторона метрик

QA Fes 2016. Анастасия Асеева. Роль тестирования в Devops

Эффективное взаимодействие тестировщика и аналитика

QA Fes 2016. Василий Сливка. 10 лучших практик для тестирования мобильных при...

Quality Assurance vs Quality Control - так в чем же заключается работа специа...

Новый процесс тестирования на "старом" проекте

Как развить отдел тестирования от палки-копалки до CI

Оценка проектов тестирования

QA как драйвер трансформации

KPI тестировщиков - особенности и проблемы

"Давайте не будем про качество"

En vedette

SQA Days 11 SAtroschenkov SBerezhnoy

Sergey Atroschenkov

"Дедуктивный метод тестировщика". Ищем баги анализируя статистику

SQALab

Попытка раскрытия темы одного из самых перспективных инструментов автоматизации тестирования мобильных приложений. Реализация параллельного прогона одних и тех же тестов на разных мобильных платформах с его помощью. Грабли, по которым придется идти в процессе. И стоит ли игра свеч?

QA Fest 2014. Ярослав Пернеровский. Appium - два в одном. рецепт приготовлени...

QAFest

Selenium and Cucumber Selenium Conf 2011

dimakovalenko

Сергей Слесарев, Отличия в работе тестировщика в software-development компани...

SQADays_2009_Piter

Человеческий мозг является самым сложным объектом во вселенной и обладает огромными возможностями, но, к сожалению, мы его получаем без мануала и потому зеваем, когда пытаемся что-то выучить. В своем докладе я хочу поделиться с вами некоторыми интересными фактами о нашем мозге и о существующих эффективных методах обучения.

QA Fest 2015. Михаил Дырда. Мозг, как инструмент обучения!

QAFest

Роль TestOps: расширяем традиционные обязанности тестировщика

SQALab

Как 3 тестировщика играючи тестируют приложение для 10млн пользователей

SQALab

Планирование трудозатрат на тестирование

SQALab

Идентификация рисков и проблем тестирования

SQALab

Functional tests are usually the slowest layer of automated tests for almost every product. They use product via UI, store data in real DB, integrate with external services and do other “slow” things. The first easy answer how to make them fast is to run in parallel. But in reality tests depends on the same data and intersect by some common functionality. In this talk we will review useful techniques and approaches how to win this battle.

How to make your functional tests really quick

Mikalai Alimenkou

- Цепочка документов, которые принуждают тестировщика создавать тест-кейсы; - Как жить, когда до тест-кейсов "не хватает дыхания"; - В чем разница между "функцией" и "функциональной возможностью", и что из этого требует внимания тестировщика

QA Fest 2014. Алексей Лупан. Не тест-кейсы красят тестировщика, а...

QAFest

En vedette (12)

SQA Days 11 SAtroschenkov SBerezhnoy

"Дедуктивный метод тестировщика". Ищем баги анализируя статистику

QA Fest 2014. Ярослав Пернеровский. Appium - два в одном. рецепт приготовлени...

Selenium and Cucumber Selenium Conf 2011

Сергей Слесарев, Отличия в работе тестировщика в software-development компани...

QA Fest 2015. Михаил Дырда. Мозг, как инструмент обучения!

Роль TestOps: расширяем традиционные обязанности тестировщика

Как 3 тестировщика играючи тестируют приложение для 10млн пользователей

Планирование трудозатрат на тестирование

Идентификация рисков и проблем тестирования

How to make your functional tests really quick

QA Fest 2014. Алексей Лупан. Не тест-кейсы красят тестировщика, а...

Similaire à QA Fest 2015. Игорь Хрол. Тестировщик в Agile - кто это?

Развитие процессов тестирования в Badoo за три года

SQALab

Test Automation Wargaming SQA Days 17

Igor Khrol

Автоматизация тестирования: доступна каждому или удел избранных?

SQALab

Илья Кудинов

CodeFest

Как автоматизировать комплексные системы

SQALab

Александр Ильин, Oracle

Nata_Churda

Практические аспекты организации процесса тестирования в государственных учре...

SQALab

C&C for coffee'n'code

Ivan Mosiev

Введение в performance management

CEE-SEC(R)

Какие основные проблемы есть при тестировании больших проектов и как их помогают решить гибкие (agile) практики. Какие инструменты помогают снизить накладные расходы на тестирование при постоянно меняющихся требованиях

Денис Тучин - Почему всегда не успеваем QA? Как могут помочь гибкие методы в ...

Denis Tuchin

Добиваемся эффективности каждого из 9000+ UI-тестов

SQALab

Agile Testing Process

Return on Intelligence

Agile Testing Process

Return on Intelligence

Лилия Зданевич "Automation testing save time and money"

DataArt

Автоматизация функционального тестирования с использованием платформы MS Visu...

Александр Шамрай

Доклад о том, как выжить в условиях двух релизов в день, не понижая планку качества проекта и дать разработчикам и QA-инженерам больше времени на полезные дела. Подробно: Прослушав доклад, вы узнаете: 1. Что НА САМОМ ДЕЛЕ называется непрерывной интеграцией; 2. Кому и зачем нужно переходить на Continious Integration; 3. Почему процесс контроля качества начинается ещё до написания кода; 4. Как программисты учавствуют в процессе тестирования; 5. Как устроен наш поток тестирования с пятью (!) уровнями контроля; 6. Как наши QA-инженеры тестируют задачи до релиза в максимально реалистичных условиях; 7. Как помогает тестированию плотная интеграция Git, Jira и TeamCity; 8. Зачем нужны более 20 тысяч автоматических тестов и кто их должен разрабатывать и поддерживать; 9. Чем непрерывно занимаются более 10 агентов-тестировщиков в нашей TeamCity; 10. Какими средствами мы добились того, чтобы пункты 8 и 9 не превращал QA-процесс в долгое и унылое действо.

Доклад Ильи Кудинова на DevConf 2013. "Организация автоматизированного тестир...

Badoo Development

Автоматизация тестирования встроенного ПО

SQALab

Инструменты автоматизации тестирования - дефективные

SQALab

Антон Золотарев, Екатерина Невельская "По следам SQA days"

EPAM Systems

Шаги мануальщика к автоматизации на крупном проекте

SQALab

Similaire à QA Fest 2015. Игорь Хрол. Тестировщик в Agile - кто это? (20)

Развитие процессов тестирования в Badoo за три года

Test Automation Wargaming SQA Days 17

Автоматизация тестирования: доступна каждому или удел избранных?

Илья Кудинов

Как автоматизировать комплексные системы

Александр Ильин, Oracle

Практические аспекты организации процесса тестирования в государственных учре...

C&C for coffee'n'code

Введение в performance management

Денис Тучин - Почему всегда не успеваем QA? Как могут помочь гибкие методы в ...

Добиваемся эффективности каждого из 9000+ UI-тестов

Agile Testing Process

Лилия Зданевич "Automation testing save time and money"

Автоматизация функционального тестирования с использованием платформы MS Visu...

Доклад Ильи Кудинова на DevConf 2013. "Организация автоматизированного тестир...

Автоматизация тестирования встроенного ПО

Инструменты автоматизации тестирования - дефективные

Антон Золотарев, Екатерина Невельская "По следам SQA days"

Шаги мануальщика к автоматизации на крупном проекте

Plus de QAFest

QA Fest 2019. Сергій Короленко. Топ веб вразливостей за 40 хвилин

QAFest

Мы уже разговаривали о self-healing автоматизации, как она работает, какие есть подходы, чем они хороши, плохи и о новом инструменте, который мы разрабатываем в EPAM. Наш продукт завершает стадию POC и настало время поделиться результатами и понять, насколько self-healing автоматизация поможет вашим тестам стать стабильнее? Или наоборот, навредит?... Приходи и узнаешь!

QA Fest 2019. Анна Чернышова. Self-healing test automation 2.0. The Future

QAFest

Mobile apps and websites are now the predominant ways that users interact with brands. Research has shown that slow sites and apps lose customer engagement. Despite this, most mobile sites and apps have performance issues that can be easily resolved once diagnosed. In this talk, we will walk through steps to diagnose network performance bottlenecks in mobile services. We'll discuss real-world examples and how they were resolved. Attendees will leave this talk armed with the tools to test, diagnose and resolve the top network performance issues that affect mobile today.

QA Fest 2019. Doug Sillars. It's just too Slow: Testing Mobile application pe...

QAFest

Раньше мы в Badoo фокусировались в основным на ручном тестировании. Получался этакий дедлок мануальной регрессии: не было времени, чтоб писать тесты, потому что много тестировали руками, а много тестировали руками, потому что не было автотестов. Но мы смогли наладить свою систему автоматизации и процессы, разорвали этот порочный круг и начали писать годные тесты. В своем докладе я расскажу, как нам удалось сократить ручную регрессию с 90% до 30% рабочего времени, при этом сохранить достойный уровень качества и профессионально вырасти!

QA Fest 2019. Катерина Спринсян. Параллельное покрытие автотестами и другие и...

QAFest

Вам знаком термин mindshift? Именно его вы испытаете от этого доклада. Он будет не о QA процессах или инструментах, он будет о деньгах и бизнесе, о рисках и коммуникациях. Все это с примерами из Украинского и мировом IT в формате живого общения с аудиторией.

QA Fest 2019. Никита Галкин. Как зарабатывать больше

QAFest

QA Fest 2019. Сергей Пирогов. Why everything is spoiled

QAFest

QA Fest 2019. Сергей Новик. Между мотивацией и выгоранием

QAFest

Для разработки современных программных решений необходимо обеспечить эффективную систему тестирования, которая состоит из большого количества компонентов и задает требования ко всем этапам разработки. Владимир Никонов, руководитель департамента разработки платформы в Terrasoft, эксперт в области проектирования приложений с опытом работы более 10 лет, поделится экспертным мнением с участниками QA Fest и расскажет: - об инструментах и процессах на каждом этапе создания и поставки функциональности: от unit-тестов до нефункционального тестирования; - о требования к инструментам тестирования и компетенциям команды QA-инженеров, которые необходимо выдвигать на каждом этапе тестирования; - как внедрять современные подходы в существующий проект с минимальными затратами; - как развивать команду и процессы тестирования в целом.

QA Fest 2019. Владимир Никонов. Код Шредингера или зачем и как мы тестируем н...

QAFest

Доклад посвящен автоматизации тестирования WEB-приложений с SVG-графикой. В 1-ой части доклада даны короткое описание процессов разрабатываемого приложения и обоснование необходимости применения SVG-графики. Во 2-ой части сделан короткий обзор SVG-графики, показаны основные преимущества/недостатки такого типа графики, сделан обзор основных SVG-поверхностей и рассмотрен процесс их трансформации с помощью матрицы преобразования с разбором ее основных типов. В 3-ей части обозначены основные проблемы автоматизации действий с SVG-графикой, такие как drag’n’drop графических объектов (SVG на SVG), их масштабирование при помощи колесика мышки и выделение ломаный линий. В 4-ой части показаны решения обозначенных проблем с использованием JavaScript.

QA Fest 2019. Владимир Трандафилов. GUI automation of WEB application with SV...

QAFest

Browser tests are known to be the flakiest ones. This is partly because browser infrastructure is complicated to maintain. But the second reason is – mainstream browser automation tools such as Selenium server are far from being efficient. A year ago I have shown Selenoid - a truly efficient replacement of the standard Selenium server. This year I would like to demonstrate how to organize a fault-tolerant and easily scalable Selenium cluster using virtual machines in the cloud. I will start by setting up several Selenoid nodes and configure them to send logs and recorded videos to S3-compatible storage. Then I will run multiple Ggr load balancer instances allowing to use all running Selenoid nodes and organize a single entry point to the cluster. Finally, we'll discuss how to work with VNC and video recording in such a cluster.

QA Fest 2019. Иван Крутов. Bulletproof Selenium Cluster

QAFest

Случалось ли вам запускать автоматизацию на проекте? Испытывать непревзойденное удовольствие от необходимости собеседовать технического специалиста, когда сам не имеешь технического опыта? Если да, то этот доклад для вас. Мы научимся анализировать сеньорность кандитата, его технический уровень и способность к организации команд. Но самое главное - все это мы сможем достичь без серьезного технического опыта. Будет интересно, заходи на огонек!

QA Fest 2019. Николай Мижигурский. Миссия /*не*/выполнима: гуманитарий собесе...

QAFest

Це буде огляд підходів до побудови програми безпеки програмного забезпечення в команді розробки або кампанії загалом, доповнений висновками з мого власного досвіду виконання практичних та консультаційних проектів в сфері Application Security.

QA Fest 2019. Володимир Стиран. Чим раніше – тим вигідніше, але ніколи не піз...

QAFest

Веб-приложения и технологии стремительно развиваются. Мы уже вступили в эру Single Page Application и идем к Progressive Web Application. В большинстве современных проектов идет разделение команд на front-end и back-end, и не только команд, но идет раздельная релизная политика. Это требует более детальных подходов к тестированию front-end. В этом докладе мы рассмотрим кейсы, который есть на практике при тестировании задач front-end и инструменты автоматизации, которые могут решать задачи описанные в этих кейсах: чтение request/response browser network и соответственно мокирование response.

QA Fest 2019. Дмитрий Прокопук. Mocks and network tricks in UI automation

QAFest

Проектирование и производство медицинских устройств — это регулируемый бизнес. Государственные органы во всем мире призваны гарантировать безопасность и эффективность медицинских устройств. Несоответствие нормативным требованиям ставит под угрозу жизнь и здоровье человека. Как медицинское регулирование влияет на рабочий процесс компании производителя? Мы поговорим о том, какие вызовы стоят перед тестировщиком медицинского софта, а также какие возможности при этом открываются.

QA Fest 2019. Екатерина Дядечко. Тестирование медицинского софта — вызовы и в...

QAFest

Про «тестабилити» в последнее время говорят часто, зачастую говорят в рамках способности тестировать тот или иной функционал. А иногда и ограничиваются только возможностью автоматизировать. Существует техника “10P тестируемости”, которая используется для оптимизации процесса разработки, как инструмент анализа и настройки процессов для достижения успеха на проекте в целом. Вот об этом и поговорим.

QA Fest 2019. Катерина Черникова. Tune your P’s: the pop-art of keeping testa...

QAFest

Твою гениальность не замечает никто кроме мамы? Идеи и проекты нравятся только твоему коту? Одногруппники уже руководители подразделений, а ты завис между middle и senior? Пришло время найти баги не только на проекте, но и в своей голове! Прокачаем коммуникативные навыки:)

QA Fest 2019. Алиса Бойко. Какнезапутаться в коммуникативных сетях IT

QAFest

С каждым годом мобильных приложений становится все больше, но мало кто обращает внимание на безопасность этого приложения, когда оно находится в процессе разработки. Так как бизнес нацелен только на то, чтобы оторвать большую часть пользователей, которые будут использовать это приложение, они обращают внимание на конфиденциальность своих клиентов в последнюю очередь. В своем докладе я расскажу как мануал QA может проверить мобильное приложение на уязвимости и найти топовые дыры по рейтингу OWASP. В презентации будут использованы такие тулзы Santoku Linux + Genymotion.

QA Fest 2019. Святослав Логин. Как найти уязвимости в мобильном приложении

QAFest

Маючи досвід роботи з іноземними замовниками і колегами, а також вивчаючи культурні особливості жителів інших країн, ми якось поставили собі за мету з'ясувати, якими українців бачать іноземці, чи потрібно їм підлаштовуватись під нашу манеру спілкування, чи є щось, що вони зовсім не можуть прийняти. Поділимося з вами результатами цієї затії, а також поговоримо про: - те, що потрібно знати українцям про свої софт скіли, - то, як відрізняються софт скіли українців і жителів кількох інших країн, - важливість софт скілів для успішних комунікацій з іноземними колегами, - важливість софт скілів для просування по кар'єрі.

QA Fest 2019. Катерина Шепелєва та Інна Оснач. Що українцям потрібно знати пр...

QAFest

Обычно в процессе нагрузочного тестирование необходимые app-side метрики(response time, throughput, ..) можно получить прямо в генераторе нагрузки. Мы шлем запрос, получаем респонс и зачастую время выполнения запроса это и есть то что нам нужно. Но что если после того как сервер отдал вам ответ происходит еще ряд асинхронных операций, время выполнения которых нам необходимо проверить? Как замерить время выполнения этих запросов? Какая часть системы является узким местом в производительности? В докладе рассмотрим какие челенжи появляются в такой ситуации и как их можно решить.

QA Fest 2019. Антон Серпутько. Нагрузочное тестирование распределенных асинхр...

QAFest

Хотели бы вы, чтобы в Украине происходило больше QA ивентов? Чувствуете, что их не хватает? Знаете, кто может это изменить? - Вы! Я поделюсь подходами, которые мы использовали при организации QA хакатонов в Wix, которыми завтра вы сможете воспользоваться для создания вашего крутого ивента!

QA Fest 2019. Петр Тарасенко. QA Hackathon - The Cookbook 22

QAFest

Plus de QAFest (20)