Семинар IT-People для тестировщиков 15.02.2012 Михаил Сидоров. Функциональное тестирование

1. Михаил Сидоров, «АБАК-ПРЕСС»
Функциональное
тестирование

2. Что мы делаем в «АБАК-ПРЕСС»
в сутки: 230 000 посетителей, 800 000 просмотров
в сутки: 33 000 посетителей, 92 000 просмотров
в сутки: 6 000 посетителей, 22 000 просмотров
в сутки: 3 000 посетителей, 7 400 просмотров

3. 2010 год
• 8 человек в отделе, тестировщиков нет
• тестирования нет, задачи проверяют проектные менеджеры
• что надо было сделать:
• выпускать вовне меньше ошибок
• проверки на уязвимости
• usability-проверки
2012 год
• ≈30 человек в отделе; 4,5 тестировщика + 1 в плане
• отдельный сервер функционального тестирования
• покрытие тестами 60-80%%

4. Что было в плане
• модульное тестирование кода разработчиками
• контроллеры
• модели
• хелперы
• вёрстка + JavaScript
• функциональное тестирование тестировщиками
• корректности
• единообразия
• безопасности
• и все-все-все: нагрузочное, юзабилити, ещё какое-
нибудь

5. Как начиналось
Программисты не любят тестирование,
а проектные менеджеры его не понимают.
•тестирование — обязанность отдельного человека
•закладывать время на тестирование
•ликвидация безграмотности
Перегрузка информацией.
Загрубляем свои хотелки, идём от меньшего к большему.

6. Серверная часть тестов
CI Joe (https://github.com/defunkt/cijoe):
• быстро
• качественно
• дорого!
В траурную рамочку его
Локальный мем преподавателей мат-меха

7. Клиентская часть тестов
Sahi (http://sahi.co.in/w/)

8. Что такое Sahi и с чем его едят
Selenium Sahi
•запись в Firefox (IDE) •запись в популярных браузерах
•воспроизведение через •обширный функционал DOM
эмуляцию драйверами •можно запускать на сервере
•работа с DOM «руками» •поддержка Java и Ruby
•можно запускать на сервере •скриншоты в платной версии
•поддержка нескольких ЯП •запуск только с браузером
•есть возможность скриншотить •низкий порог вхождения
•можно запускать без браузера •весело, но рискованно
•высокий порог вхождения
•стабильный надёжный проект

9. На что ещё наткнулись
• не всё можно автоматизировать
• проверенное считается работающим
• инструменты подводят
• переписывание тестов при изменении
вёрстки
• время на написание новых тестов, конечно
• а надо ли проверять техническую часть?
• производительность не то, чем она кажется

10. И зачем нам автоматизация?
• проверка уже проверенного
• логирование
• расширяемость
• портируемость

11. Что получили
• интегрировали тестирование в процесс разработки
• ошибок на внешних серверах стало меньше
• убрали несколько серьёзных уязвимостей
• для новых задач ввели проверки на уязвимости
• ищем инструмент для проверки вёрстки