Рассказ про автотесты на Agile.by Gathering

1. Как сделать тесты
быстрыми и повысить
эффективность разработки?
Игорь Хрол, Toptal

2. Обо мне
• Игорь Хрол
• Инженер по тестированию в
Toptal (www.toptal.com)
• ~10 лет в тестировании
• Инженер, менеджер,
архитектор, консультант,
тренер
• www.khroliz.com

3. – Герман Греф, президент и председатель правления Сбербанка России
“В прошлом году мы сделали 40 тыс.
изменений нашей системы. Если посмотреть
на другие банки, мы в шоколаде. Но, если
смотреть на Amazon, Google, мы ужасно
отстаем. Amazon делает 10 тыс. изменений
своей системы в день.”
“Если мы сейчас меняем какую-то часть своей
платформы, нам нужно два-три месяца
тестировать. Непонятно, где и что вылезет
при этом. Это катастрофа.”

4. Регрессионная спираль смерти
(с) Максим Дорофеев

5. Что делать?

6. Автоматизация!

7. Давайте считать
• “2-3 месяца тестировать”
• Допустим, 3 тестировщика
• 3 человека * 160 часов * 2,5 месяца = 1200 часов

8. Что у роботов?
• 1200 часов ручного труда
• Допустим, тесты в 10 раз быстрее
• 120 часов…
• Возьмём 10 серверов
• 12 часов!

9. 2-3 месяца vs 12 часов
Хороший результат?

10. Типы проектов по длине
цикла
• Недели-месяцы
• Дни-недели
• Часы-дни

11. 12 часов
Тесты не используются
разработчиками

12. Что делать?
Какие должны быть автотесты?
• Время выполнения - максимум 10 минут
• Запуск локально на машине разработчика

13. Что это за тесты-то такие?
?!

14. Модульные тесты
Unit-тесты
• Время выполнения одного - доли секунд
• Короткие: быстро писать
• Редко падают без причины
• В случае падения - быстрый анализ результата

15. Недостатки
• Не повторяет действий пользователя на 100%
• Требуется знание технологий
• Зачастую невозможно использовать с уже
написанным кодом

16. Пирамида автоматизации
тестирования
UI
API
Unit
http://martinfowler.com/bliki/TestPyramid.html

17. Почему мало/не
используется?

18. Разработчики становятся
ответственными за
тестирование
Нужно менять
культуру разработки

19. Тестировщики не
обладают нужными
навыками
Нужны другие
тестировщики

20. Как это выглядит?
• Unit-тесты
• Ruby - 5 минут
• Scala - 70 секунд
• JavaScript - 30 секунд
• Интеграционные тесты - 10-15 минут
• Результат всех тестов - через 30 минут

21. Вопросы?
khroliz@gmail.com
igor.khrol@toptal.com
igor.khrol