Презентация Александра Шинкарева на SQA Days-16 14-15 ноября 2014, Санкт-Петербург, Россия www.sqadays.com

1. Построение процесса тестирования
производительности игрового клиента
С чего начать и куда двигаться
Чура Олег | Шинкарев Александр
Руководитель отдела Нагрузочного Тестирования | Старший специалист отдела Нагрузочного тестирования

2. Тестирование производительности игрового клиента 2
Для кого мы рассказываем?
• Тестировщики производительности
• Менеджеры проектов, тимлиды QA
• Функциональные тестировщики
Что в докладе?
• Процесс тестирования производительности
• Требования к продукту
• Hardware, Software
• Данные, хранение и предоставление
• Автоматизация

3. Организация процесса
Тестирование производительности игрового клиента 3
Зачем, когда, как и что тестировать?

4. Тестирование производительности игрового клиента 4
Зачем тестировать производительность?
• Играют только в быстрый и стабильный продукт
• Системные требования четкие и адекватные
• Конкурентное преимущество на рынке
• Результат–конечнаяприбыльибольшеепокрытиеЦА!

5. Тестирование производительности игрового клиента 5
Когда приступать?
Regular Regular

6. Тестирование производительности игрового клиента 6
Как тестировать?
Руками
Бенчмарками
Реплеями
Просто, можно
приступать сразу,
низкая точность
Эффективно, хорошо для
фиксированных технологий
Высокая точность
Эффективно, легко
реализовать, реальный
пользовательский опыт

7. Тестирование производительности игрового клиента 7
Что тестировать? Всё!
Компоненты
игры и геймплей
Стабильность и
Выживаемость
Совместимость
В тормоза никто не
играет
Падения, утечки, деградация
производительности
Игроку важно знать,
пойдет ли игра на его
стандартном или не
очень железе

8. Требования к игре
Где взять?
Тестирование производительности игрового клиента 8

9. Тестирование производительности игрового клиента 9
Требования к игре
Требования к жанру
• FPS
• Время отклика
• Ресурсы системы
Требования Издателя
• Системные требования (минимальные и рекомендуемые)
• Настройки игры
• Время запуска
• Размер дистрибутива
Требования рынка
• Аналогичные продукты
• Совместимость
• Целевая аудитория

10. Hardware & Software
Тестовый стенд и окружение
Тестирование производительности игрового клиента 10

11. Тестирование производительности игрового клиента 11
Тестовые стенды – что это и зачем
Тестовые ПК нужны для:
• Покрытия пользовательских конфигураций и настроек игры
• Поддержки совместимого железа и ОС
• Независимости от загрузки рабочей станции и мусора в системе
• Повышения престижа отдела 
Тестовый ПК – предполагаемый ПК целевой аудитории

12. Тестирование производительности игрового клиента 12
Тестовый стенд - важное
• Отсутствие корпоративных политик и сервисных задач
• Минимум стороннего софта
• Хорошее охлаждение и расположение на стойке
• Подключение к монитору через KVM-свитч

13. Тестирование производительности клиента World of Warships 13
Тестовые стенды - Hardware

14. Тестирование производительности клиента World of Warships 14
Тестовые стенды - Hardware

15. Данные
Сбор и предоставление
Тестирование производительности игрового клиента 15

16. Источники данных – Инструменты сбора
Engine
Profiler
GUI
Profiler
Sound
Profiler
HW
Monitoring

17. Источники данных – ключевые метрики для сбора
Engine
Scripts
GUI
Sound

18. Источники данных – Мониторинг тестовых стендов

19. Тестирование производительности игрового клиента 19
Что делать с данными?
• Регулярно предоставлять данные в виде отчетов по
• Тестам
• Версиям
• Направлениям разработки
• Хранить данные за весь период разработки
• Для сравнения версий
• Понимания прогресса
• Прогнозирования проблем

20. Тренд производительности
20Presentation Name

21. Тестирование производительности игрового клиента 21
Как стоит делать отчет?
Версия игры
Информация о тесте
Резолюция
(Pass | Fail | Complete)
Результаты теста
(Графики, таблицы)
Тестовое окружение
(Описание стендов)

22. Автоматизация тестирования
производительности
Тестирование производительности игрового клиента 22
Разворачивание билдов, запуск тестов, предоставление результатов

23. Когда автоматизировать?

24. Тестирование производительности игрового клиента 24
Почему автоматизировать?

25. Как автоматизировать игры?

26. Выводы
Тестирование производительности игрового клиента 26

27. Правильный
процесс
Четкие
Требования
Тестовые
Стенды
Предоставление
Данных
Автоматизация
Хорошее
Performance
ТестированиеПустой слайд

28. Не тестируйте производительность
Обеспечивайте её!

29. Спасибо за внимание!
Чура Олег
Руководитель отдела нагрузочного тестировния
29Тестирование производительности игрового клиента
Шинкарев Александр
Старший специалист отдела нагрузочного тестировния