Артём Ерошенко, Станислав Селиверстов "Поиск багов в поиске" Первый Я.Субботник в Санкт-Петербурге

1. Поиск багов в поиске
Ерошенко Артем
инженер по тестированию
Селиверстов Станислав
инженер по тестированию
Я.Субботник, Санкт-Петербург, 26.02.2011

2. Поиск Яндекса
• 150 000 000 запросов в день
• 5 400 000 сайтов в индексе
• 800 000 пользователей в день
• 62 терабайта информации
• сотни разработчиков
1

3. Как рождается поиск
2

4. Вы наверное имели ввиду
Друзья, это же
Тут ресторанов
!!! Любезные, а Вы случаем не знаете
Уточните где... поблизости
Нусс, посмотрим на карте:
Может быть он свой
Знаете, Я хожу в ресторан открыть хочет!
не желаете?
Очень рекомендую!
А если на вечер, я бы
советовал
у меня даже адресочек есть
3

5. Как рождается поиск
Результат работы программ
Исправление опечатки
Здесь может
Колдунщик быть ваша
реклама
Поисковые результаты Параллельный
поиск по
картинкам
4

6. Как рождается поиск
Результат взаимодействия
5

7. Как тестировать?
• через конечную функциональность
• по-компонентно
6

8. Тестирование через конечную
функциональность
7

9. Инструмент тестирования
Требования
Test
type
click
get
something
verify
8

10. Инструмент тестирования
Selenium
• работает с реальным
браузером
• клиентская часть
реализована на
нескольких языках
• работает с
несколькими
браузерами
• открытый код
9

11. Главное правильно задать
запрос
10

12. Как задаем запросы?
• проектируем свои
• берем пользовательские
11

13. Как задаем запросы?
Пользовательские запросы
TestData
TestCase
*.log Generator TestData
TestData
12

14. Пользовательские запросы
Ожидаемый результат
• оцениваем масштаб проблемы
• проверяем показ элемента в выдаче
13

15. Сложности
• скорость выполнения тестов
• экспортные данные
• множество ссылок
• тестирование верстки
14

16. Сложности
• скорость выполнения тестов
• экспортные данные
• множество ссылок
• тестирование верстки
15

17. Скорость выполнения тестов
Как уменьшить время
• запускать меньше тестов
• выполнять тесты быстрее
16

18. Скорость выполнения тестов
Как уменьшить время
• запускать меньше тестов
• выполнять тесты быстрее
17

19. Запускать меньше тестов
Самая длинная цепь
Выдача поиска
Компонент А Компонент Б Компонент В
18

20. Запускать меньше тестов
Группировка тестов
Chain 1 Chain 2 Chain N
Test 1
Test 2
Test 3
19

21. Скорость выполнения тестов
Как уменьшить время
• запускать меньше тестов
• выполнять тесты быстрее
20

22. Выполнять тесты быстрее
Рост количества данных
TestData TestData
TestData Test TestData
TestData TestData
ru uа
21

23. Выполнять тесты быстрее
Каким инструментом
Selenium?
22

24. Выполнять тесты быстрее
Инструмент HtmlUnit
• эмулирует работу браузера
• поддерживает jScript
• быстрее в разы
23

25. Выполнять тесты быстрее
Разные интерфейсы
24

26. Выполнять тесты быстрее
HtmlUnit to Selenium
Selenium
Test
Browser
HtmlUnit
25

27. Выполнять тесты быстрее
HtmlUnit to? Selenium
Selenium
Test
Browser
HtmlUnit
26

28. Выполнять тесты быстрее
Перевести все тесты на HtmlUnit
• уникальные тесты на Selenium
• тесты на большом количестве запросов на
HtmlUnit
27

29. Сложности
• скорость выполнения тестов
• экспортные данные
• множество ссылок
• тестирование верстки
28

30. Экспортные данные
• приходят со сторонних сервисов
• имеют разные форматы
29

31. Экспортные данные
Форматы
30

32. Экспортные данные
Преобразования
json
to json
xml
jsonp
HtmlUnit <xml> to jsonp
xml
anything
to anything
xml
31

33. Сложности
• скорость выполнения тестов
• экспортные данные
• множество ссылок
• тестирование верстки
32

34. Множество ссылок
Прокликать все
• ссылки генерируются
• данные приходят со
сторонних сервисов
• сторонние сервисы
живут своей жизню
33

35. Множество ссылок
Переход на погоду
pogoda.yandex.ru/26063 pogoda.yandex.ru/saint-petersburg

36. Множество ссылок
Инструмент noname
• умеет обходить
страницы “вширь”
• умеет “пинговать”
ресурс (link, image)
• умеет проверять
корректность страницы
(css, js, favicon)
• proxy, cookie
35

37. Множество ссылок
Noname улучшизмы
• проверка работы
JavaScript
• “склеивание” ссылок
36

38. Сложности
• скорость выполнения тестов
• экспортные данные
• множество ссылок
• тестирование верстки
37

39. Тестирование верстки
Проблема поколений
38

40. Тестирование верстки
Руками и глазами
39

41. Тестирование верстки
Нагрузка растет
• сотни сценариев
• разные браузеры
40

42. Тестирование верстки
А/Б тестирование
41

43. Тестирование верстки
Нерешенная проблема
Как автоматизировать?
42

44. Компонентное тестирование
43

45. Компонентное тестирование
Надежность и производительность
• Раннее тестирование производительности
• Стресс-тесты и тестирование стабильности
компонент
• Функциональные тесты под нагрузкой
44

46. Компонентное тестирование
Этапы тестирования
• Подготовка тестовой среды
• Выбор входных данных
• Проведение теста
• Анализ выходных данных
45

47. Компонентное тестирование
Тестовая среда
• Отдельно выделенный сервер, с аналогичной
продакшен конфигурацией
• Окружение создается каждый раз перед
тестированием
• Эмуляция принимающих выходной поток
компонент + возможность использовать тестовые
кластеры
46

48. Компонентное тестирование
План обстрела
• Живой поток с продакшен
• Фиксированный поток
• Сгенерированный поток
47

49. Пример Балансер
Функции
• Обеспечивает доставку запроса пользователя к
поисковому кластеру и ответа к пользователю
• Распределяет запросы между поисковыми
кластерами кратно их производительности
48

50. Пример Балансер
IP-Балансер
HTTP-Балансер HTTP-Балансер
HTTP-Балансер
HTTP-Балансер
Верхний поиск
Поисковый кластер
49

51. Пример Балансер
Ошибки
• Скорость отдачи страницы с результатом выдачи
снизилась
• Балансер перестал отдавать результат выдачи
(белая страница)
• Данные портятся при прохождении через балансер
50

52. Пример Балансер
Тесты под нагрузкой
Пусть будут 10 заглушек
эмулирующих бэкэнды с
различной
производительностью
51

53. Пример Балансер
Среднее количество запросов по
группе одинаковых бэкэндов
52

54. Пример Балансер
Распределение времени ответов с
бэкэндов
53

55. Пример Балансер
Количество обработанных запросов
на бэкэндах
54

56. Пример Балансер
Распределение времени ответов за
балансером
55

57. Пример Балансер
Ошибки
• Скорость отдачи страницы с результатом выдачи
снизилась
• Балансер перестал отдавать результат выдачи
(белая страница)
• Данные портятся при прохождении через балансер
56

58. Пример Балансер
Функциональные тесты под
нагрузкой
• Сверяем трафик до балансера и после
• Пропускаем через балансер преднамеренно
испорченные запросы (fuzzing)
• Искусственно создаем таймауты и потерю
соединения
57

59. Компонентное тестирование
SandBox
• Учитывает все особенности сборки компонент
• Интегрирован инструментарий для обстрела и
профилирования поисковых компонент
• Есть надежная доставка компонент на
многочисленные машины поискового кластера
• Автоматическая сборка и тестирование по
расписанию или по коммиту
58

60. Компонентное тестирование
Горизонты
• Тестирование всех компонент на
производительность
• Расширение покрытия функциональными тестами
59

61. Путь тестирования
• Покоммитное тестирование компонент
• Тестирование версии под нагрузкой
• Версия попадает в приемку качества
• После приемки качества попадает в тестирование
через конечную функциональность
• В продакшен следим через мониторинги
60

62. Вопросы?
Ерошенко Артем
Инженер по тестированию
+7 (812) 633-36-00
(8625)eroshenkoam@yandex-team.ru
Селиверстов Станислав
Инженер по тестированию
+7 (812) 633-36-00 (8575) thistle@yandex-
team.ru