SlideShare a Scribd company logo
1 of 22
Postmortem:
учимся на собственных ошибках




                                                        TM

                                Profit from the Cloud



Анна Северинко
О себе
  7 лет в тестировании
       7 крупных и
200+ небольших релизов

              Руководитель отдела тестирования
              Server Virtualization & Cloud Platform
Понятие Postmortem
     Проект 1                       Проект 2




                     Postmortem




Postmortem в
– это анализ процесса разработки в рамках
конкретного проекта по горячим следам.
                                                                    TM

                          3                 Profit from the Cloud
Подготовка




                   Выделите
                    время

                   Выберите
                 ответственного

                  Согласуйте
                   формат



                                            TM

             4      Profit from the Cloud
Обратная связь от инженеров


              Тестировщики
                                Разработчики

                                                   Выберите
                                               человека, которому
Переводчики                                        доверяют

                                Технические
                                 писатели      Уточняйте детали
 Аналитики
                  Архитекторы




                                                                            TM

                                5                   Profit from the Cloud
Вопросы инженерам




 3 плохие вещи




3 хорошие вещи   3 вещи, снижавшие эффективность
                                                              TM

                       6              Profit from the Cloud
Что может снижать эффективность инженеров?




                                                         TM

                    7            Profit from the Cloud
Выбираем самые популярные




                             Сгруппируйте
                               похожие

                              Разбейте по
                               командам

                            Отсортируйте по
                             популярности




                                                       TM

                   8           Profit from the Cloud
Вопросы лидерам




3 плохие вещи    3 хорошие вещи
                                  3 плохих решения




                                  3 хороших решения
3 вещи, снижавшие эффективность
                                                                    TM

                             9              Profit from the Cloud
Цель – задуматься!




                          Проанализируйте
                            и запишите



                                                     TM

                     10      Profit from the Cloud
Открытые баги




                     Отметьте этапы
                        проекта

                     Проанализируйте
                         скачки




                                                    TM

                11          Profit from the Cloud
Открытые баги




                                             TM

                12   Profit from the Cloud
Критичность багов



                            Снижайте
                           количество
                            блокеров!

                            Обращайте
                           внимание на
                             всплески
                         критичных багов



                                                      TM

                    13        Profit from the Cloud
Resolutions




                   Анализируйте
                    количество
                     Invalid &
                      Cannot
                    Reproduce
                       багов



                                                TM

              14        Profit from the Cloud
«Переоткрытые» баги




                           Чем меньше, тем
                              лучше! 

                           Проанализируйте
                              всплески




                                                      TM

                      15      Profit from the Cloud
Баги от бета-пользователей




                                                     TM

                     16      Profit from the Cloud
Качество новой функциональности




                             Фичи, переданные
                             в тестирование, не
                              работают? Повод
                                разобраться!




                                                           TM

                    17             Profit from the Cloud
Мозговой штурм




 Руководитель                              Найдите отклонения
 проекта                       Аналитик       «от идеала»

                                           Обсудите причины

                                             Составьте план
                                               действий
                Руководитель отдела
                тестирования



                                                                           TM

                                      18           Profit from the Cloud
Обсуждаем с командой



                            Подготовьте
                            презентацию

                            Раскажите про
                              хорошее и
                                плохое

                            Выслушайте и
                              запишите
                            предложения



                                                        TM

                       19       Profit from the Cloud
Отслеживаем прогресс


                             Контролируйте
                              статус и сроки
                            запланированных
                                действий

                               Регулярно
                              смотрите на
                            текущие метрики



                                                            TM

                       20           Profit from the Cloud
Чего мы добились за 4 года?

   15% «переоткрытых»           4% «переоткрытых»
          багов                       багов
  >18% фич, переданных          Все фичи приходят в
    в тестирование, не           тестирование без
         работают               блокирующих багов
                                Множество полезных
  Отсутствие репортов от
                                  репортов от бета-
   бета-пользователей
                                   пользователей
       Суббота –
     «официальный»              В выходные отдыхаем!
      рабочий день
    Задержки релизов             Задержки релизов
    более, чем на год           менее, чем на месяц

                                                                     TM

                           21                Profit from the Cloud
E-mail: aseverinko@parallels.com
    Skype: anna_severinko Profit from the Cloud
                    22
                                                  TM

More Related Content

Similar to Postmortem: учимся на собственных ошибках

Легко ли продавать контейнеры на базаре (Павел Емельянов)
Легко ли продавать контейнеры на базаре (Павел Емельянов)Легко ли продавать контейнеры на базаре (Павел Емельянов)
Легко ли продавать контейнеры на базаре (Павел Емельянов)Ontico
 
Внутренние «облака» для тестирования ПО: как их создавать и как использовать ...
Внутренние «облака» для тестирования ПО: как их создавать и как использовать ...Внутренние «облака» для тестирования ПО: как их создавать и как использовать ...
Внутренние «облака» для тестирования ПО: как их создавать и как использовать ...SQALab
 
Станислав Протасов, Parallels: карьера менеджера
Станислав Протасов, Parallels: карьера менеджераСтанислав Протасов, Parallels: карьера менеджера
Станислав Протасов, Parallels: карьера менеджераAlexander Orlov
 
Anisimov parallels
Anisimov parallelsAnisimov parallels
Anisimov parallelssouthmos
 
Путь в облака. А.Зобов.
Путь в облака. А.Зобов.Путь в облака. А.Зобов.
Путь в облака. А.Зобов.Clouds NN
 
Планируем релиз играючи
Планируем релиз играючиПланируем релиз играючи
Планируем релиз играючиSQALab
 
Планируем релиз играючи
Планируем релиз играючиПланируем релиз играючи
Планируем релиз играючиIrina Vinogradova
 
Практика внедрения Scrum
Практика внедрения ScrumПрактика внедрения Scrum
Практика внедрения ScrumAndrey Bibichev
 
Сделать в срок: сайт за две недели
Сделать в срок: сайт за две неделиСделать в срок: сайт за две недели
Сделать в срок: сайт за две неделиsportgid
 

Similar to Postmortem: учимся на собственных ошибках (9)

Легко ли продавать контейнеры на базаре (Павел Емельянов)
Легко ли продавать контейнеры на базаре (Павел Емельянов)Легко ли продавать контейнеры на базаре (Павел Емельянов)
Легко ли продавать контейнеры на базаре (Павел Емельянов)
 
Внутренние «облака» для тестирования ПО: как их создавать и как использовать ...
Внутренние «облака» для тестирования ПО: как их создавать и как использовать ...Внутренние «облака» для тестирования ПО: как их создавать и как использовать ...
Внутренние «облака» для тестирования ПО: как их создавать и как использовать ...
 
Станислав Протасов, Parallels: карьера менеджера
Станислав Протасов, Parallels: карьера менеджераСтанислав Протасов, Parallels: карьера менеджера
Станислав Протасов, Parallels: карьера менеджера
 
Anisimov parallels
Anisimov parallelsAnisimov parallels
Anisimov parallels
 
Путь в облака. А.Зобов.
Путь в облака. А.Зобов.Путь в облака. А.Зобов.
Путь в облака. А.Зобов.
 
Планируем релиз играючи
Планируем релиз играючиПланируем релиз играючи
Планируем релиз играючи
 
Планируем релиз играючи
Планируем релиз играючиПланируем релиз играючи
Планируем релиз играючи
 
Практика внедрения Scrum
Практика внедрения ScrumПрактика внедрения Scrum
Практика внедрения Scrum
 
Сделать в срок: сайт за две недели
Сделать в срок: сайт за две неделиСделать в срок: сайт за две недели
Сделать в срок: сайт за две недели
 

More from SQALab

Готовим стажировку
Готовим стажировкуГотовим стажировку
Готовим стажировкуSQALab
 
Куда приводят мечты? или Искусство развития тестировщика
Куда приводят мечты? или Искусство развития тестировщикаКуда приводят мечты? или Искусство развития тестировщика
Куда приводят мечты? или Искусство развития тестировщикаSQALab
 
Оптимизация Selenium тестов и ускорение их поддержки
Оптимизация Selenium тестов и ускорение их поддержкиОптимизация Selenium тестов и ускорение их поддержки
Оптимизация Selenium тестов и ускорение их поддержкиSQALab
 
Автоматизация 0.0: 0 - бюджет, 0 - опыт программирования
Автоматизация 0.0: 0 - бюджет, 0 - опыт программированияАвтоматизация 0.0: 0 - бюджет, 0 - опыт программирования
Автоматизация 0.0: 0 - бюджет, 0 - опыт программированияSQALab
 
Нагрузочное тестирование нестандартных протоколов с использованием Citrix и J...
Нагрузочное тестирование нестандартных протоколов с использованием Citrix и J...Нагрузочное тестирование нестандартных протоколов с использованием Citrix и J...
Нагрузочное тестирование нестандартных протоколов с использованием Citrix и J...SQALab
 
Continuous performance testing
Continuous performance testingContinuous performance testing
Continuous performance testingSQALab
 
Конфиги вместо костылей. Pytestconfig и зачем он нужен
Конфиги вместо костылей. Pytestconfig и зачем он нуженКонфиги вместо костылей. Pytestconfig и зачем он нужен
Конфиги вместо костылей. Pytestconfig и зачем он нуженSQALab
 
Команда чемпионов в ИТ стихии
Команда чемпионов в ИТ стихииКоманда чемпионов в ИТ стихии
Команда чемпионов в ИТ стихииSQALab
 
API. Серебряная пуля в магазине советов
API. Серебряная пуля в магазине советовAPI. Серебряная пуля в магазине советов
API. Серебряная пуля в магазине советовSQALab
 
Добиваемся эффективности каждого из 9000+ UI-тестов
Добиваемся эффективности каждого из 9000+ UI-тестовДобиваемся эффективности каждого из 9000+ UI-тестов
Добиваемся эффективности каждого из 9000+ UI-тестовSQALab
 
Делаем автоматизацию проектных KPIs
Делаем автоматизацию проектных KPIsДелаем автоматизацию проектных KPIs
Делаем автоматизацию проектных KPIsSQALab
 
Вредные привычки в тест-менеджменте
Вредные привычки в тест-менеджментеВредные привычки в тест-менеджменте
Вредные привычки в тест-менеджментеSQALab
 
Мощь переполняет с JDI 2.0 - новая эра UI автоматизации
Мощь переполняет с JDI 2.0 - новая эра UI автоматизацииМощь переполняет с JDI 2.0 - новая эра UI автоматизации
Мощь переполняет с JDI 2.0 - новая эра UI автоматизацииSQALab
 
Как hh.ru дошли до 500 релизов в квартал без потери в качестве
Как hh.ru дошли до 500 релизов в квартал без потери в качествеКак hh.ru дошли до 500 релизов в квартал без потери в качестве
Как hh.ru дошли до 500 релизов в квартал без потери в качествеSQALab
 
Стили лидерства и тестирование
Стили лидерства и тестированиеСтили лидерства и тестирование
Стили лидерства и тестированиеSQALab
 
"Давайте не будем про качество"
"Давайте не будем про качество""Давайте не будем про качество"
"Давайте не будем про качество"SQALab
 
Apache.JMeter для .NET-проектов
Apache.JMeter для .NET-проектовApache.JMeter для .NET-проектов
Apache.JMeter для .NET-проектовSQALab
 
Тестирование геолокационных систем
Тестирование геолокационных системТестирование геолокационных систем
Тестирование геолокационных системSQALab
 
Лидер или босс? Вот в чем вопрос
Лидер или босс? Вот в чем вопросЛидер или босс? Вот в чем вопрос
Лидер или босс? Вот в чем вопросSQALab
 
От Зефира в коробке к Structure Zephyr или как тест-менеджеру перекроить внут...
От Зефира в коробке к Structure Zephyr или как тест-менеджеру перекроить внут...От Зефира в коробке к Structure Zephyr или как тест-менеджеру перекроить внут...
От Зефира в коробке к Structure Zephyr или как тест-менеджеру перекроить внут...SQALab
 

More from SQALab (20)

Готовим стажировку
Готовим стажировкуГотовим стажировку
Готовим стажировку
 
Куда приводят мечты? или Искусство развития тестировщика
Куда приводят мечты? или Искусство развития тестировщикаКуда приводят мечты? или Искусство развития тестировщика
Куда приводят мечты? или Искусство развития тестировщика
 
Оптимизация Selenium тестов и ускорение их поддержки
Оптимизация Selenium тестов и ускорение их поддержкиОптимизация Selenium тестов и ускорение их поддержки
Оптимизация Selenium тестов и ускорение их поддержки
 
Автоматизация 0.0: 0 - бюджет, 0 - опыт программирования
Автоматизация 0.0: 0 - бюджет, 0 - опыт программированияАвтоматизация 0.0: 0 - бюджет, 0 - опыт программирования
Автоматизация 0.0: 0 - бюджет, 0 - опыт программирования
 
Нагрузочное тестирование нестандартных протоколов с использованием Citrix и J...
Нагрузочное тестирование нестандартных протоколов с использованием Citrix и J...Нагрузочное тестирование нестандартных протоколов с использованием Citrix и J...
Нагрузочное тестирование нестандартных протоколов с использованием Citrix и J...
 
Continuous performance testing
Continuous performance testingContinuous performance testing
Continuous performance testing
 
Конфиги вместо костылей. Pytestconfig и зачем он нужен
Конфиги вместо костылей. Pytestconfig и зачем он нуженКонфиги вместо костылей. Pytestconfig и зачем он нужен
Конфиги вместо костылей. Pytestconfig и зачем он нужен
 
Команда чемпионов в ИТ стихии
Команда чемпионов в ИТ стихииКоманда чемпионов в ИТ стихии
Команда чемпионов в ИТ стихии
 
API. Серебряная пуля в магазине советов
API. Серебряная пуля в магазине советовAPI. Серебряная пуля в магазине советов
API. Серебряная пуля в магазине советов
 
Добиваемся эффективности каждого из 9000+ UI-тестов
Добиваемся эффективности каждого из 9000+ UI-тестовДобиваемся эффективности каждого из 9000+ UI-тестов
Добиваемся эффективности каждого из 9000+ UI-тестов
 
Делаем автоматизацию проектных KPIs
Делаем автоматизацию проектных KPIsДелаем автоматизацию проектных KPIs
Делаем автоматизацию проектных KPIs
 
Вредные привычки в тест-менеджменте
Вредные привычки в тест-менеджментеВредные привычки в тест-менеджменте
Вредные привычки в тест-менеджменте
 
Мощь переполняет с JDI 2.0 - новая эра UI автоматизации
Мощь переполняет с JDI 2.0 - новая эра UI автоматизацииМощь переполняет с JDI 2.0 - новая эра UI автоматизации
Мощь переполняет с JDI 2.0 - новая эра UI автоматизации
 
Как hh.ru дошли до 500 релизов в квартал без потери в качестве
Как hh.ru дошли до 500 релизов в квартал без потери в качествеКак hh.ru дошли до 500 релизов в квартал без потери в качестве
Как hh.ru дошли до 500 релизов в квартал без потери в качестве
 
Стили лидерства и тестирование
Стили лидерства и тестированиеСтили лидерства и тестирование
Стили лидерства и тестирование
 
"Давайте не будем про качество"
"Давайте не будем про качество""Давайте не будем про качество"
"Давайте не будем про качество"
 
Apache.JMeter для .NET-проектов
Apache.JMeter для .NET-проектовApache.JMeter для .NET-проектов
Apache.JMeter для .NET-проектов
 
Тестирование геолокационных систем
Тестирование геолокационных системТестирование геолокационных систем
Тестирование геолокационных систем
 
Лидер или босс? Вот в чем вопрос
Лидер или босс? Вот в чем вопросЛидер или босс? Вот в чем вопрос
Лидер или босс? Вот в чем вопрос
 
От Зефира в коробке к Structure Zephyr или как тест-менеджеру перекроить внут...
От Зефира в коробке к Structure Zephyr или как тест-менеджеру перекроить внут...От Зефира в коробке к Structure Zephyr или как тест-менеджеру перекроить внут...
От Зефира в коробке к Structure Zephyr или как тест-менеджеру перекроить внут...
 

Postmortem: учимся на собственных ошибках

  • 1. Postmortem: учимся на собственных ошибках TM Profit from the Cloud Анна Северинко
  • 2. О себе 7 лет в тестировании 7 крупных и 200+ небольших релизов Руководитель отдела тестирования Server Virtualization & Cloud Platform
  • 3. Понятие Postmortem Проект 1 Проект 2 Postmortem Postmortem в – это анализ процесса разработки в рамках конкретного проекта по горячим следам. TM 3 Profit from the Cloud
  • 4. Подготовка Выделите время Выберите ответственного Согласуйте формат TM 4 Profit from the Cloud
  • 5. Обратная связь от инженеров Тестировщики Разработчики Выберите человека, которому Переводчики доверяют Технические писатели Уточняйте детали Аналитики Архитекторы TM 5 Profit from the Cloud
  • 6. Вопросы инженерам 3 плохие вещи 3 хорошие вещи 3 вещи, снижавшие эффективность TM 6 Profit from the Cloud
  • 7. Что может снижать эффективность инженеров? TM 7 Profit from the Cloud
  • 8. Выбираем самые популярные Сгруппируйте похожие Разбейте по командам Отсортируйте по популярности TM 8 Profit from the Cloud
  • 9. Вопросы лидерам 3 плохие вещи 3 хорошие вещи 3 плохих решения 3 хороших решения 3 вещи, снижавшие эффективность TM 9 Profit from the Cloud
  • 10. Цель – задуматься! Проанализируйте и запишите TM 10 Profit from the Cloud
  • 11. Открытые баги Отметьте этапы проекта Проанализируйте скачки TM 11 Profit from the Cloud
  • 12. Открытые баги TM 12 Profit from the Cloud
  • 13. Критичность багов Снижайте количество блокеров! Обращайте внимание на всплески критичных багов TM 13 Profit from the Cloud
  • 14. Resolutions Анализируйте количество Invalid & Cannot Reproduce багов TM 14 Profit from the Cloud
  • 15. «Переоткрытые» баги Чем меньше, тем лучше!  Проанализируйте всплески TM 15 Profit from the Cloud
  • 17. Качество новой функциональности Фичи, переданные в тестирование, не работают? Повод разобраться! TM 17 Profit from the Cloud
  • 18. Мозговой штурм Руководитель Найдите отклонения проекта Аналитик «от идеала» Обсудите причины Составьте план действий Руководитель отдела тестирования TM 18 Profit from the Cloud
  • 19. Обсуждаем с командой Подготовьте презентацию Раскажите про хорошее и плохое Выслушайте и запишите предложения TM 19 Profit from the Cloud
  • 20. Отслеживаем прогресс Контролируйте статус и сроки запланированных действий Регулярно смотрите на текущие метрики TM 20 Profit from the Cloud
  • 21. Чего мы добились за 4 года? 15% «переоткрытых» 4% «переоткрытых» багов багов >18% фич, переданных Все фичи приходят в в тестирование, не тестирование без работают блокирующих багов Множество полезных Отсутствие репортов от репортов от бета- бета-пользователей пользователей Суббота – «официальный» В выходные отдыхаем! рабочий день Задержки релизов Задержки релизов более, чем на год менее, чем на месяц TM 21 Profit from the Cloud
  • 22. E-mail: aseverinko@parallels.com Skype: anna_severinko Profit from the Cloud 22 TM

Editor's Notes

  1. 4 года назад были темные времена, на год задержали взвин, неконтролируемый процесс разработки, непонятно когда сходимся.Я надеюсь, что мой доклад поможет вам ... (понять, внедрить,получить след результат)
  2. Если мы говорим о вещах, которые снижают эффективность, доходит до смешного. Например, однажды выяснилось, что люди уходят с работы пораньше, потому что у нас рано заканчиваются печенюшки..Вы даже бы даже не догадались, что инженеры так страдают без печенек, если бы не этот опросник ;)
  3. Да и команде приятно, когда лидер честно признается, что понимает, что то или иное решение было плохое
  4. Пример: раньше имели тенденцию «копить» баги.Теперь стали раз в неделю анализировать и закрывать/переносить на следующие этапы баги, которые не собираемся исправлять в текущей версии.Второй график обычно строим, чтобы лучше понять что происходило на первомHint: Если команда постоянная, эти значения можно использовать для оценок сроков будущих релизов
  5. Пример: раньше имели тенденцию «копить» баги.Теперь стали раз в неделю анализировать и закрывать/переносить на следующие этапы баги, которые не собираемся исправлять в текущей версии.Второй график обычно строим, чтобы лучше понять что происходило на первомHint: Если команда постоянная, эти значения можно использовать для оценок сроков будущих релизов
  6. Пример с взвиномпро три критичные фичиПриняли решение избегать добавления большой и сложной функциональности на конечной стадии проекта.Показывайте график decision-maker-ам!
  7. Примеры:Ввели шаблоны багов (согласованный с разработчиками)Сделали автоматический сбор необходимой информации и логовВвели дополнительный этап согласования новой функциональности между аналитиками, разработчикам и тестировщиками
  8. Для разработчиков подготовили тестовую среду, идентичную той, которая используется в тестированииМного переоткрытых багов на финальной стадии – потому что именно там начинают их верифицировать!  стали верифаить в теч всего жизненного циклаКстати, такое еще возможно, если баги просто нельзя заверифицировать – они заблокированы другими багами
  9. Мы долго были убеждены, что серверные бета-пользователи для мебелиУстановили минимальную продолжительность бета программы - 2 месяца
  10. Ввели ответственного за каждую новую функциональность