1. Модульное и нагрузочное
тестирование
Влад Алюков

2. О чём
 Модульное тестирование
 Нагрузочное тестирование
2

3. Модульное
тестирование
3

4. Зачем?
 Документация
 Более лёгкое внесение изменений
 Качество кода
 Уменьшение количества итераций Разработка >
Тестирование > Разработка
4

5. Документация
5

6. Простое внесение изменений
6

7. Сложность
7

8. Преимущества
 Скорость
 Надёжность
 Стабильность
8

9. Скорость
9

10. Надёжность
10

11. Недостатки
 Гарантируют работоспособность на уровне модуля
11

12. UNIT test
12

13. Testing Pyramid
13

14. Как?
 Тестовый фрэймворк
 Mock/Stub
 DocTests
 CodeCoverage
14

15. xUnit
unit test framework {lang}
15

16. Анатомия теста
16

17. Репорты
 Html Report
 xUnit Report
 text report
17

18. Mock/Stub
 Hardware
 Внешние зависимости
 Базы данных
18

19. Различия
 Mock ― эмуляция объекта
 Stub ― заглушка для объекта
19

20. Mock (example)
20

21. DocTest
21

22. DocTest недостатки
 Развесистая документация
 Нецелевое использование docstring
 Неудобно работать с фикстурами
22

23. Анализ существующих
тестов
23

24. Анализ покрытия
24

25. Анализ покрытия
25

26. Mutation Testing
26

27. Принцип
27

28. Недостатки
28

29. Статический анализ кода
 Связанность кода
 Опасные конструкции
 Опечатки
 Копипаст
 Утечки памяти
 Code Convention
29

30. Практики написания тестов
30

31. TDD
 Отслеживание прогресса
 Документирование
 Архитектура “в нагрузку”
 Очевидные ориентиры и стимулы
31

32. TDD
32

33. BDD
33

34. BDD
 В первую очередь ― валидация
34

35. BDD
 Когда документация важна
 Регрессионное тестирование
 Приёмочные тесты
35

36. Достоинства
 Виден прогресс
 Понижает порог вхождения
36

37. Недостатки
 Много текста
 Условно человекочитаемый формат
37

38. Антипаттерны
38

39. False Positive
 assertTrue(True)
39

40. Зависимый
 Зависит от окружения
 Зависит от других тестов
40

41. Inspector
 Использует знание о структуре объектов
(reflection api)
41

42. GodTest
 Задействует много посторонних объектов
и подсистем
42

43. Счётчик
43

44. Медленные тесты
44

45. Вопросы?
45

46. Нагрузочное тестирование
46

47. Нагрузочное тестирование
47

48. SLA
48

49. Нервные пользователи
49

50. Цели
 Поиск узких мест
 Оценка допустмых пределов
 Определение границ QoS
50

51. Стратегия
 Проработка модели нагрузки
 Создание профилей нагрузки
 Генерация нагрузки
 Мониторинг тестируемых систем
 Анализ результатов
51

52. Профили нагрузки
52

53. Модель нагрузки
 Список профилей нагрузки
 Интенсивность выполнения операции
 Зависимость интенсивности операций
от времени выполнения
53

54. Профиль нагрузки
 Определение сценариев нагрузки
 Определение точек нагрузки
 Определение количества пользователей
54

55. Точки нагрузки
 Определение точек нагрузки
 Технические точки нагрузки
 Функциональные точки нагрузки
 Определение интенсивности выполнения операций
55

56. Технические точки нагрузки
 Работа с базой (модификация сущностей)
 Задействуют несколько подсистем приложения
56

57. Функциональные точки нагрузки
 Критический важные функции вашего приложения
 Регистрация
 Логин
 Основные бизнес-кейсы
57

58. Анализ результатов
58

59. Метрики
 Время отклика
 Количество ошибок
 Disk IO (tps, kb/t)
 RAM (memory use)
 CPU
 LA
59

60. LoadAverage
 Количество процессов в очереди
 Временной интервал 1/5/15 минут
60

61. Время ответа
 Стремится к нормальному распределению
 С наименьшим среднеквадратичным отклонением
61

62. Нормальное распределение
62

63. Квадратичное отклонение
63

64. Квантиль
64

65. Типичные проблемы
 Input/Output
 Недостаточно производительный генератор
нагрузки
65

66. Типичные ошибки
66

67. Прогрев
67

68. Среднее арифметическое
68

69. Только протоколы
69

70. Достойные инструменты
 multi-mechanize
 locustio
 jmeter
 grinder
 tsung
70

71. Вопросы?
71

72. Спасибо за внимание
Влад Алюков
v.alyukov@corp.mail.ru