Доклад Павла Асанова на конференции SQA Days-17, 29-30 мая 2015 г., Минск www.sqadays.com

2. Автоматизация функционального
тестирования REST API
секреты,
тонкости и подводные камни

3. Павел Асанов
QA Lead

4. 90 городов
700 тыс.
пользователей
12 млн
просмотров
1 млн
отзывов
3 млн
посетителей

9. API как продукт

10. API как продукт
80%
20%

11. Регрессия
3 месяца 5 минут

12. ● Ресурсы, однозначно определяемые по URL
● Представления ресурсов (JSON)
● Методы работы с ресурсами
REST - это...
POST /reviews GET /reviews/666
PUT /reviews/666
PATCH /reviews/666
DELETE /reviews/666

13. Что тестируем?

14. 1. Логика

16. отсутствие
обязательных
параметров
невалидный
протокол
параметры
запроса
скрытыйобычный
скрытый с
особым типом
авторизованный гость
БАК
удалённыйзаблокированный
забаненный
филиал БАК
автор неактивированный удалённый
обычный
корректные
с фото
невалидные
значения
параметров
невалидные
типы
параметров
БАК
expired
другой юзер
приватныйконтент
пользователь
аксесс токен

17. отсутствие
обязательных
параметров
невалидный
протокол
параметры
запроса
скрытыйобычный
скрытый с
особым типом
авторизованный гость
БАК
удалённыйзаблокированный
забаненный
филиал БАК
автор неактивированный удалённый
обычный
корректные
с фото
невалидные
значения
параметров
невалидные
типы
параметров
БАК
expired
другой юзер
201
Авторизованный пользователь добавляет отзыв с фото
приватныйконтент
пользователь
аксесс токен
POST

18. отсутствие
обязательных
параметров
невалидный
протокол
параметры
запроса
скрытыйобычный
скрытый с
особым типом
авторизованный гость
БАК
удалённыйзаблокированный
забаненный
филиал БАК
автор неактивированный удалённый
обычный
корректные
с фото
невалидные
значения
параметров
невалидные
типы
параметров
БАК
expired
другой юзер
200
Авторизованный владелец Бизнес-аккаунта запрашивает приватное обращение
приватныйконтент
пользователь
аксесс токен
GET

19. отсутствие
обязательных
параметров
невалидный
протокол
параметры
запроса
скрытыйобычный
скрытый с
особым типом
авторизованный гость
БАК
удалённыйзаблокированный
забаненный
филиал БАК
автор неактивированный удалённый
обычный
корректные
с фото
невалидные
значения
параметров
невалидные
типы
параметров
БАК
expired
другой юзер
401
Гость добавляет отзыв
приватныйконтент
пользователь
аксесс токен
POST

20. отсутствие
обязательных
параметров
невалидный
протокол
параметры
запроса
скрытыйобычный
скрытый с
особым типом
авторизованный гость
БАК
удалённыйзаблокированный
забаненный
филиал БАК
автор неактивированный удалённый
обычный
корректные
с фото
невалидные
значения
параметров
невалидные
типы
параметров
БАК
expired
другой юзер
403
Авторизованный пользователь запрашивает чужое приватное обращение
приватныйконтент
пользователь
аксесс токен
GET

21. отсутствие
обязательных
параметров
невалидный
протокол
параметры
запроса
скрытыйобычный
скрытый с
особым типом
авторизованный гостьаксесс токен
БАК
удалённыйзаблокированный
забаненный
филиал БАК
автор неактивированный удалённый
обычный
корректные
с фото
невалидные
значения
параметров
невалидные
типы
параметров
БАК
expired
другой юзер
500 400 400 404
Невалидный запрос
приватныйконтент
пользователь

22. 2. Данные
и их формат

23. {
code: 200
status: "success"
review:
{
filial_id: "985690699651034"
text: "Для меня Code Fest - это глоток свежего воздуха. Только
надо баги пофиксить."
is_recommended: false
project_id: 1
source: "flamp"
rating: 4
date_created: "2011-03-28T05:30:50+04:00"
user_id: 171
photo: null
}
}

24. {
code: 200
status: "success"
review:
{
filial_id: "985690699651034"
text: "Для меня Code Fest - это глоток свежего воздуха. Только
надо баги пофиксить."
is_recommended: false
project_id: 1
source: "flamp"
rating: 4
date_created: "2011-03-28T05:30:50+04:00"
user_id: 171
photo: null
}
}
точное значение

25. {
code: 200
status: "success"
review:
{
filial_id: "985690699651034"
text: "Для меня Code Fest - это глоток свежего воздуха. Только
надо баги пофиксить."
is_recommended: false
project_id: 1
source: "flamp"
rating: 4
date_created: "2011-03-28T05:30:50+04:00"
user_id: 171
photo: null
}
}
точное значение
тип значения и его диапазон

26. {
code: 200
status: "success"
review:
{
filial_id: "985690699651034"
text: "Для меня Code Fest - это глоток свежего воздуха. Только
надо баги пофиксить."
is_recommended: false
project_id: 1
source: "flamp"
rating: 4
date_created: "2011-03-28T05:30:50+04:00"
user_id: 171
photo: null
}
}
точное значение
enum
тип значения и его диапазон

27. {
code: 200
status: "success"
review:
{
filial_id: "985690699651034"
text: "Для меня Code Fest - это глоток свежего воздуха. Только
надо баги пофиксить."
is_recommended: false
project_id: 1
source: "flamp"
rating: 4
date_created: "2011-03-28T05:30:50+04:00"
user_id: 171
photo: null
}
}
точное значение
enum
тип значения и его диапазон
формат значения

28. {
code: 200
status: "success"
review:
{
filial_id: "985690699651034"
text: "Для меня Code Fest - это глоток свежего воздуха. Только
надо баги пофиксить."
is_recommended: false
project_id: 1
source: "flamp"
rating: 4
date_created: "2011-03-28T05:30:50+04:00"
user_id: 171
photo: null
}
}
точное значение
наличие атрибута
enum
тип значения и его диапазон
формат значения

29. 3. Изменение состояния
системы

30. ● После DELETE сущность стала недоступна
● После логаута access token удаляется

31. ● После DELETE сущность стала недоступна
● После логаута access token удаляется
запрос сущности возвращает 404

32. ● После DELETE сущность стала недоступна
● После логаута access token удаляется
запрос с данным токеном возвращает 401
запрос сущности возвращает 404

33. ● После DELETE сущность стала недоступна
● После логаута access token удаляется
запрос с данным токеном возвращает 401
или
запрос сущности возвращает 404
access token отсутствует в БД

34. Глава первая, в которой мы
знакомимся с JSON-schema

35. JSON-схема — это…
1) готовая документация + примеры

36. header: "Информация об отзыве",
description: "Информация об отзыве",
request: {
type: "GET",
url: "https://flamp.ru/api/2.0/reviews/{id}",
properties: {
id: {
type: "integer",
required: true,
examples: ["1"],
description: "Идентификатор отзыва"
}
}
},

37. response: {
type: "object",
required: true,
properties: {
code: "{{ common/code }}",
status: "{{ common/status }}",
review: "{{ objects/review }}"
}
},
...

38. 2) валидация запроса на сервере

39. 3) валидация ответа на сервере в dev-режиме

40. + простейший smoke-тест
+ полная проверка формата

41. + простейший smoke-тест
+ полная проверка формата
- white-box
- схема может содержать ошибки
- нельзя использовать на продакшне

42. Глава вторая, в которой мы
добавляем assertions в JSON-
schema

43. assertions: [
{
name: "View Review #1",
request: {
id: 1
},
response: {
status: "success",
review: {
id: 1,
date_created: "_is_datetime",
date_edited: "_is_datetime|null"
}
}
},
]

44. assertions: [
{
name: "View Review #99999999",
request: {
id: 99999999
},
response: {
status: "error"
}
}
]

45. Flamposcope

46. + smoke testing
+ выполняется ~20 сек
+ тесты пишет разработчик

47. + smoke testing
+ выполняется ~20 сек
+ тесты пишет разработчик
- только GET
- захардкоженные данные
- тесты пишет разработчик

48. Глава третья, в которой
мы хотели прикрутить
к JSON-схеме UI

51. + удобный UI
+ нет кода
+ автоподстановка из схемы

52. + удобный UI
+ нет кода
+ автоподстановка из схемы
- серый ящик
- фикстуры
- поддержка UI

53. Глава четвёртая, в которой мы
начали писать на PHP

54. Параметризованные тесты
https://flamp.ru/api/2.0/filials/?what=кафе&project=1&lon=71&lat=65&radius=1000&
sort=relevance&limit=12&page=5&with_markers=false&building_id=1&metarubric=323&
depth=1&scopes=reviews&access_token=fa07c31442508e2248fcd634a786d409428ca50d

55. Параметризованные тесты
https://flamp.ru/api/2.0/filials/?what=кафе&project=1&lon=71&lat=65&radius=1000&
sort=relevance&limit=12&page=5&with_markers=false&building_id=1&metarubric=323&
depth=1&scopes=reviews&access_token=fa07c31442508e2248fcd634a786d409428ca50d
[params_set_1] => 200,
[params_set_2] => 404,
[params_set_3] => 401,
[params_set_4] => 403,
[params_set_5] => 400,
[params_set_6] => 500,
...

56. Параметризованные тесты
https://flamp.ru/api/2.0/filials/?what=кафе&project=1&lon=71&lat=65&radius=1000&
sort=relevance&limit=12&page=5&with_markers=false&building_id=1&metarubric=323&
depth=1&scopes=reviews&access_token=fa07c31442508e2248fcd634a786d409428ca50d
[params_set_1] => 200,
[params_set_2] => 404,
[params_set_3] => 401,
[params_set_4] => 403,
[params_set_5] => 400,
[params_set_6] => 500,
...
набор N
...
набор 1 тест

57. 2fingers =
PHPUnit + сomposer + http-клиент
(Guzzle поверх cURL) + данные

58. данные
dataProvider
параметры
проверки
Структура теста
test

59. Тестовые
наборы
Тестовые
наборы
Тестовые
наборы
Данные
Установка параметров запроса
источник
данных
Проверки
если
success
ожидаемый
код
ожидаемый
результат
фактический
результат
ожидаемый
код
роль
параметры
запроса
объект
запрос
код
ответа
ожидаемый
ответ
тело
ответа

60. Данные
фикстуры дамп

61. ● реальные
● случайные, но однородные
● уникальные
Требования к данным

62. Работа с БД
$entity = Db()->entity('review')->forFilial('141265770608749')
->isHidden(false)->withPhoto(true)->getRandomEntity();
$user_id = Db()->user()->withStatus(1)->getRandomUser()->id;
$article = Db()->table('articles')->isPublished(true)->getRow();

63. Всегда ли?
'bacs' => [
'flamp_nsk' => 1,
'flamp_krsk' => 4,
'flamp_msk' => 13,
],
'filials' => [
'pac' => '141265770608749',
'pac2' => '141265771836316',
'bac' => '141265771910841',
'simple' => '141265771459351',
],
config.php

64. assertions
$this->assertEquals($user_id, $actual->user_id, “incorrect user_id”);
$this->assertEquals($project_id, $actual->project_id, “incorrect project_id”);
$this->assertEquals($id, $actual->id, “incorrect id”);
...
$this->assert($expected, $actual);

65. // Фактический результат
$actual = $this->getResponseBody();
// Ожидаемый результат
$expected = [
'user' => CHECK_STRING_NOT_EMPTY,
'access_token' => CHECK_STRING_NOT_EMPTY
];
// Сравниваем ФР и ОР
$this->assert($expected, $actual);
assertions

66. // Ожидаемый результат
$expected = [
'filial_id' => $filial_id,
'user_id' => $user_id,
'text' => $text,
'date_created' => CHECK_DATETIME_FORMAT,
'date_edited' => null,
'comments_count' => 0,
'likes_score' => 0,
'source' => CHECK_SOURCE,
'filial' => CHECK_NOT_NULL,
'user' => CHECK_EXIST,
'comments' => CHECK_NOT_NULL,
'official_answer' => null,
'additional_data' => [
'is_liked' => false,
'is_subscribed_to_comments' => false
],
'url' => CHECK_STRING_NOT_EMPTY,
'id' => CHECK_POSITIVE
];

67. // Ожидаемый результат
$expected = [
'filial_id' => $filial_id,
'user_id' => $user_id,
'text' => $text,
'date_created' => CHECK_DATETIME_FORMAT,
'date_edited' => null,
'comments_count' => 0,
'likes_score' => 0,
'source' => CHECK_SOURCE,
'filial' => CHECK_NOT_NULL,
'user' => CHECK_EXIST,
'comments' => CHECK_NOT_NULL,
'official_answer' => null,
'additional_data' => [
'is_liked' => false,
'is_subscribed_to_comments' => false
],
'url' => CHECK_STRING_NOT_EMPTY,
'id' => CHECK_POSITIVE
];
точное значение
точное значение

68. // Ожидаемый результат
$expected = [
'filial_id' => $filial_id,
'user_id' => $user_id,
'text' => $text,
'date_created' => CHECK_DATETIME_FORMAT,
'date_edited' => null,
'comments_count' => 0,
'likes_score' => 0,
'source' => CHECK_SOURCE,
'filial' => CHECK_NOT_NULL,
'user' => CHECK_EXIST,
'comments' => CHECK_NOT_NULL,
'official_answer' => null,
'additional_data' => [
'is_liked' => false,
'is_subscribed_to_comments' => false
],
'url' => CHECK_STRING_NOT_EMPTY,
'id' => CHECK_POSITIVE
];
точное значение
тип значения и его диапазон
точное значение

69. // Ожидаемый результат
$expected = [
'filial_id' => $filial_id,
'user_id' => $user_id,
'text' => $text,
'date_created' => CHECK_DATETIME_FORMAT,
'date_edited' => null,
'comments_count' => 0,
'likes_score' => 0,
'source' => CHECK_SOURCE,
'filial' => CHECK_NOT_NULL,
'user' => CHECK_EXIST,
'comments' => CHECK_NOT_NULL,
'official_answer' => null,
'additional_data' => [
'is_liked' => false,
'is_subscribed_to_comments' => false
],
'url' => CHECK_STRING_NOT_EMPTY,
'id' => CHECK_POSITIVE
];
точное значение
enum
тип значения и его диапазон
точное значение

70. // Ожидаемый результат
$expected = [
'filial_id' => $filial_id,
'user_id' => $user_id,
'text' => $text,
'date_created' => CHECK_DATETIME_FORMAT,
'date_edited' => null,
'comments_count' => 0,
'likes_score' => 0,
'source' => CHECK_SOURCE,
'filial' => CHECK_NOT_NULL,
'user' => CHECK_EXIST,
'comments' => CHECK_NOT_NULL,
'official_answer' => null,
'additional_data' => [
'is_liked' => false,
'is_subscribed_to_comments' => false
],
'url' => CHECK_STRING_NOT_EMPTY,
'id' => CHECK_POSITIVE
];
формат значения
точное значение
enum
тип значения и его диапазон
точное значение

71. // Ожидаемый результат
$expected = [
'filial_id' => $filial_id,
'user_id' => $user_id,
'text' => $text,
'date_created' => CHECK_DATETIME_FORMAT,
'date_edited' => null,
'comments_count' => 0,
'likes_score' => 0,
'source' => CHECK_SOURCE,
'filial' => CHECK_NOT_NULL,
'user' => CHECK_EXIST,
'comments' => CHECK_NOT_NULL,
'official_answer' => null,
'additional_data' => [
'is_liked' => false,
'is_subscribed_to_comments' => false
],
'url' => CHECK_STRING_NOT_EMPTY,
'id' => CHECK_POSITIVE
];
формат значения
точное значение
enum
тип значения и его диапазон
наличие атрибута
точное значение

72. Примеры

73. public function providerGetBlogAuthors()
{
// запись блога
$article = Db()->table('articles')->isPublished(true)->hasAuthor(true)->getRow();
// неопубликованная запись блога
$article_not_published = Db()->table('articles')->isPublished(false)->getRow();
return [
// опубликованная
[$article, Config()->roles->user, 200],
// неопубликованная под авторизованным юзером
[$article_not_published, Config()->roles->user, 404],
// неопубликованная под гостем
[$article_not_published, Config()->roles->guest, 404],
];
}
public function testGetBlogAuthors($article, $user_id, $expected_code)
Формируем тестовые наборы

74. /**
* @dataProvider providerGetBlogAuthors
*/
public function testGetBlogAuthors($article, $user_id, $expected_code)
{
// Задаём http-метод, метод API, параметры запроса
$this->http_method = 'GET';
$this->method = "blogs/{$article->id}/authors";
// Выполняем запрос и проверяем коды ответа
$this->asUser($user_id)->send();
$this->waitFor($expected_code);
Получаем авторов записи блога

75. // проверяем поля в ответе
if ($expected_code === 200) {
$actual = $this->getResponseBody()->authors;
// авторов может быть много, проверяем первого
$expected[0] = [
'name' => CHECK_STRING_NOT_EMPTY,
'user' => CHECK_NOT_NULL,
];
$this->assert($expected, $actual);
}
Получаем авторов записи блога

76. public function testDeleteReview($entity_id, $cause, $user_id, $expected_code)
{
// Задаём http-метод, метод API, параметры запроса
$this->http_method = 'DELETE';
$this->method = "reviews/{$entity_id}";
$this->params = [
'cause' => $cause
];
// Выполняем запрос и проверяем коды ответа
$this->asUser($user_id)->send();
$this->waitFor($expected_code);
// Проверка на повторное удаление сущности
if ($expected_code === 202) {
$this->asUser($user_id)->send();
$this->waitFor(404);
}
}
Удаляем отзыв

77. Запуск и отладка

78. Запуск и отладка

79. Приёмочное тестирование фичи
10-20
сек

80. Регрессия
1400
тестов
35 000
проверок
5 минут
1400
тестов

81. Регрессия
1400
тестов
35 000
проверок
5 минут
1400
тестов
28 860
минут
вместо

82. Процессы
● отдельный репозиторий
● все пушат, мёржат, коммитят
● новая фича покрывается при тестировании,
или даже параллельно с разработкой :)

83. Flamp API
JSON-schema
Flamposcope
2fingers
Луковица качества API

84. Вопросы?