- Have you ever think how PDO work under the hood? - What if tomorrow you need to write own DB driver from scratch? - How to approach such tasks and get around the pitfalls? - Is it possible to achieve in pure PHP performance comparable to the C extension? In this talk I will try to answer these and other questions related to the development of clients for various binary protocols. We also analyze the nuances of the asynchronous driver implementation and dive into the world of low-level and not-so-optimizations.

1. Реализация клиентов
для бинарных
протоколов на PHP
Anton Shabouta
ONLINER

2. Зачем? Асинхронный PHP

3. $pdo = new PDO('mysql:host=...');
$rows = $pdo->query('SELECT ...');
foreach ($rows as $row) {
print_r($row);
}
PHP. Блокирующие операции

4. $pdo = new PDO('mysql:host=...');
$rows = $pdo->query('SELECT ...');
foreach ($rows as $row) {
print_r($row);
}
PHP. Блокирующие операции
Block
EventLoop

5. AMPHP. Неблокирующие драйверы
Beanstalkd

6. Зачем? Специализированное ПО

7. POST /index.php HTTP/1.1
Host: www.fwdays.com
Content-Type: application/json;
Content-Length: 34
{
"hello": "PHP FWDays 2019"
}
HTTP

8. POST /index.php HTTP/1.1
Host: www.fwdays.com
Content-Type: application/json;
Content-Length: 34
{
"hello": "PHP FWDays 2019"
}
HTTP

9. POST /index.php HTTP/1.1
Host: www.fwdays.com
Content-Type: application/json;
Content-Length: 34
{
"hello": "PHP FWDays 2019"
}
HTTP

10. POST /index.php HTTP/1.1
Host: www.fwdays.com
Content-Type: application/json;
Content-Length: 34
{
"hello": "PHP FWDays 2019"
}
HTTP

11. POST /index.php HTTP/1.1
Host: www.fwdays.com
Content-Type: application/json;
Content-Length: 34
{
"hello": "PHP FWDays 2019"
}
HTTP

12. Пакет данных. AMQP 0-9-1
01000100000014003c00280000000b62
617369635f717565756500ce02000100
00000e003c0000000000000000001600
00ce0300010000001648656c6c6f2050
504820465744617973203230313921ce

13. Пакет данных. AMQP 0-9-1
01000100000014003c00280000000b62
617369635f717565756500ce02000100
00000e003c0000000000000000001600
00ce0300010000001648656c6c6f2050
504820465744617973203230313921ce
Hello PHP
FWDays 2019!

14. Структура пакета
type channel
1 2 4
body size

15. Структура пакета
type channel
1 2 4
body size
body

16. Структура пакета
1
type channel
1 2 4
body size
CE
body

17. Порядок байт
3 2 1 0 От младшего к старшему
(Little Endian, LE)
123

18. Порядок байт
0 1 2 3От старшего к младшему
(Big Endian, BE)
123

19. Пакет данных. AMQP 0-9-1
01000100000014003c00280000000b62
617369635f717565756500ce
--------------------------------
0200010000000e003c00000000000000
0000160000ce
--------------------------------
0300010000001648656c6c6f20505048
20465744617973203230313921ce
Type
Channel
Size
Body
End Byte

20. Протокол передачи данных
Набор соглашений определяющий обмен данными
между различными программами.
Теория

21. Протокол передачи данных
Набор соглашений определяющий обмен данными
между различными программами.
Бинарный протокол
Протокол, который предназначен для чтения машиной, а
не человеком.
Теория

22. Протокол передачи данных
Набор соглашений определяющий обмен данными
между различными программами.
Бинарный протокол
Протокол, который предназначен для чтения машиной, а
не человеком.
Пакет данных
Блок информации определенной структуры.
Теория

23. function packFrame(string $body): string
{
return pack(
'CCnCN',
$this->version,
$this->flags,
$this->stream,
$this->opcode,
strlen($body)
) . $body;
}
Работа с бинарными данными в PHP

24. function packFrame(string $body): string
{
return pack(
'CCnCN',
$this->version,
$this->flags,
$this->stream,
$this->opcode,
strlen($body)
) . $body;
}
Работа с бинарными данными в PHP

25. function packFrame(string $body): string
{
return pack(
'CCnCN',
$this->version,
$this->flags,
$this->stream,
$this->opcode,
strlen($body)
) . $body;
}
Работа с бинарными данными в PHP

26. function packFrame(string $body): string
{
return pack(
'CCnCN',
$this->version,
$this->flags,
$this->stream,
$this->opcode,
strlen($body)
) . $body;
}
Работа с бинарными данными в PHP

27. c - знаковый char
C - беззнаковый char
Работа с бинарными данными в PHP

28. c - знаковый char
C - беззнаковый char
s - знаковый short (ME)
S - беззнаковый short (ME)
n - беззнаковый short (BE)
v - беззнаковый short (LE)
Работа с бинарными данными в PHP

29. c - знаковый char
C - беззнаковый char
s - знаковый short (ME)
S - беззнаковый short (ME)
n - беззнаковый short (BE)
v - беззнаковый short (LE)
i - знаковый int (ME)
I - беззнаковый int (ME)
N - беззнаковый int (BE)
V - беззнаковый int (LE)
Работа с бинарными данными в PHP

30. c - знаковый char
C - беззнаковый char
s - знаковый short (ME)
S - беззнаковый short (ME)
n - беззнаковый short (BE)
v - беззнаковый short (LE)
i - знаковый int (ME)
I - беззнаковый int (ME)
N - беззнаковый int (BE)
V - беззнаковый int (LE)
l - знаковый long (ME)
L - беззнаковый long (ME)
N - беззнаковый long (BE)
V - беззнаковый long (LE)
Работа с бинарными данными в PHP
f - float (ME)
G - float (BE)
g - float (LE)
d - double (ME)
E - double (BE)
e - double (LE)
...
30+
кодов

31. function packFrame(string $body): string
{
return (string) Binary::bigEndian()
->appendUint8($this->version)
->appendUint8($this->flags)
->appendUint16($this->stream)
->appendUint8($this->opcode)
->appendUint32(strlen($body))
->append($body)
;
}
Работа с бинарными данными в PHP
https://github.com/phpinnacle/buffer

32. class Binary
{
public function append(string $value): self
{
$this->data .= $value;
$this->size += strlen($value);
return $this;
}
public function appendInt8(int $value): self
{
return $this->append(pack("c", $value));
}
}
Работа с бинарными данными в PHP

33. class Binary
{
public function read(int $n, int $offset = 0): string
{
return substr($this->data, $offset, $n);
}
public function readInt8(int $offset = 0): int
{
return unpack("c", $this->read(1, $offset))[1];
}
}
Работа с бинарными данными в PHP

34. public function parse(Binary $data): ?Frame
{
if ($data->size() < HEADER_SIZE) {
return null;
}
$type = $data->readUint8(0);
$channel = $data->readUint16(1);
$size = $data->readUint32(3);
if ($data->size() < $size + HEADER_SIZE) {
return null;
}
$body = $data->read($size);
return new Frame($type, $channel, $body);
}
Клиент. Парсер

35. public function parse(Binary $data): ?Frame
{
if ($data->size() < HEADER_SIZE) {
return null;
}
$type = $data->readUint8(0);
$channel = $data->readUint16(1);
$size = $data->readUint32(3);
if ($data->size() < $size + HEADER_SIZE) {
return null;
}
$body = $data->read($size);
return new Frame($type, $channel, $body);
}
Клиент. Парсер

36. public function parse(Binary $data): ?Frame
{
if ($data->size() < HEADER_SIZE) {
return null;
}
$type = $data->readUint8(0);
$channel = $data->readUint16(1);
$size = $data->readUint32(3);
if ($data->size() < $size + HEADER_SIZE) {
return null;
}
$body = $data->read($size);
return new Frame($type, $channel, $body);
}
Клиент. Парсер

37. public function parse(Binary $data): ?Frame
{
if ($data->size() < HEADER_SIZE) {
return null;
}
$type = $data->readUint8(0);
$channel = $data->readUint16(1);
$size = $data->readUint32(3);
if ($data->size() < $size + HEADER_SIZE) {
return null;
}
$body = $data->read($size);
return new Frame($type, $channel, $body);
}
Клиент. Парсер

38. public function parse(Binary $data): ?Frame
{
if ($data->size() < HEADER_SIZE) {
return null;
}
$type = $data->readUint8(0);
$channel = $data->readUint16(1);
$size = $data->readUint32(3);
if ($data->size() < $size + HEADER_SIZE) {
return null;
}
$body = $data->read($size);
return new Frame($type, $channel, $body);
}
Клиент. Парсер

39. Клиент. Схема работы
stream_socket_client()
Client Server

40. Клиент. Схема работы
stream_socket_client()
pack()
Client Server

41. Клиент. Схема работы
stream_socket_client()
pack()
stream_write()
Client Server

42. Клиент. Схема работы
stream_socket_client()
pack()
stream_write()
stream_read()
Client Server

43. Клиент. Схема работы
stream_socket_client()
pack()
stream_write()
stream_read()
unpack()
Client Server

44. Клиент. Схема работы
Client Server
stream_socket_client()
pack()
stream_write()
pack()
stream_write()

45. Пакет данных. Cassandra DB
version stream
1 1 2
body sizeflags opcode
1
body
4

46. Пакет данных. Cassandra DB
version stream
1 1 2
body sizeflags opcode
1
body
4

47. function writeAsync(Frame $frame)
{
$deferred = new Deferred;
yield $this->socket->write($frame->pack());
$this->defers[$frame->stream] = $deferred;
return $deferred->promise();
}
Клиент. Асинхронная запись

48. function writeAsync(Frame $frame)
{
$deferred = new Deferred;
yield $this->socket->write($frame->pack());
$this->defers[$frame->stream] = $deferred;
return $deferred->promise();
}
Клиент. Асинхронная запись

49. function writeAsync(Frame $frame)
{
$deferred = new Deferred;
yield $this->socket->write($frame->pack());
$this->defers[$frame->stream] = $deferred;
return $deferred->promise();
}
Клиент. Асинхронная запись

50. function writeAsync(Frame $frame)
{
$deferred = new Deferred;
yield $this->socket->write($frame->pack());
$this->defers[$frame->stream] = $deferred;
return $deferred->promise();
}
Клиент. Асинхронная запись

51. function writeAsync(Frame $frame)
{
$deferred = new Deferred;
yield $this->socket->write($frame->pack());
$this->defers[$frame->stream] = $deferred;
return $deferred->promise();
}
Клиент. Асинхронная запись

52. function readAsync(): void
{
while ($data = yield $this->socket->read()) {
$buffer = new Binary($data);
$frame = $this->parse($buffer);
$deferred = $this->defers[$frame->stream];
$deferred->resolve($frame);
}
}
Клиент. Асинхронное чтение

53. function readAsync(): void
{
while ($data = yield $this->socket->read()) {
$buffer = new Binary($data);
$frame = $this->parse($buffer);
$deferred = $this->defers[$frame->stream];
$deferred->resolve($frame);
}
}
Клиент. Асинхронное чтение

54. function readAsync(): void
{
while ($data = yield $this->socket->read()) {
$buffer = new Binary($data);
$frame = $this->parse($buffer);
$deferred = $this->defers[$frame->stream];
$deferred->resolve($frame);
}
}
Клиент. Асинхронное чтение

55. function readAsync(): void
{
while ($data = yield $this->socket->read()) {
$buffer = new Binary($data);
$frame = $this->parse($buffer);
$deferred = $this->defers[$frame->stream];
$deferred->resolve($frame);
}
}
Клиент. Асинхронное чтение

56. function readAsync(): void
{
while ($data = yield $this->socket->read()) {
$buffer = new Binary($data);
$frame = $this->parse($buffer);
$deferred = $this->defers[$frame->stream];
$deferred->resolve($frame);
}
}
Клиент. Асинхронное чтение

57. PHPBench
https://github.com/phpbench/phpbench

58. PHPBench
● Тесты запускаются в отдельных процессах, что
нивелирует накладные расходы.

59. PHPBench
● Тесты запускаются в отдельных процессах, что
нивелирует накладные расходы.
● Поддержка ограничений (Asserters)

60. PHPBench
● Тесты запускаются в отдельных процессах, что
нивелирует накладные расходы.
● Поддержка ограничений (Asserters)
● Различные метрики: best, avg, mean, mode, worst

61. PHPBench
● Тесты запускаются в отдельных процессах, что
нивелирует накладные расходы.
● Поддержка ограничений (Asserters)
● Различные метрики: best, avg, mean, mode, worst
● Отложенные отчеты

62. PHPBench
● Тесты запускаются в отдельных процессах, что
нивелирует накладные расходы.
● Поддержка ограничений (Asserters)
● Различные метрики: best, avg, mean, mode, worst
● Отложенные отчеты
● Форматирование отчетов: html, xml, markdown

63. PHPBench
● Тесты запускаются в отдельных процессах, что
нивелирует накладные расходы.
● Поддержка ограничений (Asserters)
● Различные метрики: best, avg, mean, mode, worst
● Отложенные отчеты
● Форматирование отчетов: html, xml, markdown
● Расширения

64. PHPBench
/**
* @Warmup(2)
* @Iterations(10)
* @Revs(100)
*/
public function benchPublish($count = 1000)
{
$promises = [];
for ($i = 0; $i < $count; ++$i)
$promises[] = $this->channel->publish($i, 'bench');
wait($promises);
}

65. PHPBench
/**
* @Warmup(2)
* @Iterations(10)
* @Revs(100)
*/
public function benchPublish($count = 1000)
{
$promises = [];
for ($i = 0; $i < $count; ++$i)
$promises[] = $this->channel->publish($i, 'bench');
wait($promises);
}

66. PHPBench
/**
* @Warmup(2)
* @Iterations(10)
* @Revs(100)
*/
public function benchPublish($count = 1000)
{
$promises = [];
for ($i = 0; $i < $count; ++$i)
$promises[] = $this->channel->publish($i, 'bench');
wait($promises);
}

67. PHPBench
/**
* @Warmup(2)
* @Iterations(10)
* @Revs(100)
*/
public function benchPublish($count = 1000)
{
$promises = [];
for ($i = 0; $i < $count; ++$i)
$promises[] = $this->channel->publish($i, 'bench');
wait($promises);
}

68. PHPBench
/**
* @Warmup(2)
* @Iterations(10)
* @Revs(100)
*/
public function benchPublish($count = 1000)
{
$promises = [];
for ($i = 0; $i < $count; ++$i)
$promises[] = $this->channel->publish($i, 'bench');
wait($promises);
}
1000
итераций

69. Клиент на С vs PHP
* Меньше - лучше (μs)

70. Профилирование
Tideways
XHProf

71. Профилирование. Blackfire

72. Клиент. Оптимизация записи
Client Server
stream_socket_client()
pack()
stream_write()
pack()
stream_write()

73. Клиент. Оптимизация записи
Client Server
stream_socket_client()
pack()
pack()
stream_write()
pack()

74. function publish(string $body, array $headers = [])
{
$method = $this->methodFrame();
$headers = $this->headersFrame($headers);
$body = $this->bodyFrame($body);
$request = $method->append($headers)->append($body);
yield $this->socket->write((string) $request);
}
Клиент. Оптимизация записи

75. function publish(string $body, array $headers = [])
{
$method = $this->methodFrame();
$headers = $this->headersFrame($headers);
$body = $this->bodyFrame($body);
$request = $method->append($headers)->append($body);
yield $this->socket->write($request);
}
Клиент. Оптимизация записи

76. function publish(string $body, array $headers = [])
{
$method = $this->methodFrame();
$headers = $this->headersFrame($headers);
$body = $this->bodyFrame($body);
$request = $method->append($headers)->append($body);
yield $this->socket->write($request);
}
Клиент. Оптимизация записи

77. function publish(string $body, array $headers = [])
{
$method = $this->methodFrame();
$headers = $this->headersFrame($headers);
$body = $this->bodyFrame($body);
$request = $method->append($headers)->append($body);
yield $this->socket->write($request);
}
Клиент. Оптимизация записи

78. Клиент. Оптимизация чтения
Client Server
stream_socket_client()
stream_read()new Binary(...);parse()

79. Client Server
stream_socket_client()
stream_read()
stream_read()new Binary(...);
new Binary(...);parse()
parse()
Клиент. Оптимизация чтения

80. Client Server
stream_socket_client()
stream_read()
stream_read()
stream_read()
new Binary(...);
new Binary(...);
new Binary(...);parse()
parse()
parse()
Клиент. Оптимизация чтения

81. Бинарный буфер
App Socket
BinaryBuffer

82. Бинарный буфер
App Socket
BinaryBuffer

83. Бинарный буфер
App Socket
BinaryBuffer

84. Бинарный буфер
App Socket
Frame
BinaryBuffer

85. Бинарный буфер
App Socket
Frame
BinaryBuffer

86. Бинарный буфер
App Socket
BinaryBuffer

87. Бинарный буфер
App Socket
BinaryBuffer

88. Бинарный буфер
App Socket
Frame
BinaryBuffer

89. Client Server
stream_socket_client()
Клиент. Оптимизация чтения
new BinaryBuffer;

90. Client Server
stream_socket_client()
stream_read()BinaryBuffer::append();parse()
Клиент. Оптимизация чтения
new BinaryBuffer;

91. Client Server
stream_socket_client()
stream_read()
stream_read()
BinaryBuffer::append();
BinaryBuffer::append();parse()
parse()
Клиент. Оптимизация чтения
new BinaryBuffer;

92. Клиент на С vs PHP
* Меньше - лучше (μs)

93. Профилирование. Blackfire
Buffer::append
Buffer::discard
Buffer::appendUint8
Buffer::appendUint16
Buffer::read
Buffer::consume
Buffer::consumeUint8
34130
15094
12040
11027
9030
8042
7055

95. class Binary
{
public function append(string value) -> <Binary>
{
let this->data = this->data . value;
let this->size = this->size + strlen(value);
return this;
}
public function appendUint8(int value) -> <Binary>
{
return this->append(pack("C", value));
}
}
Zephir

96. Zephir vs PHP
* Меньше - лучше (μs)

97. PHP_METHOD(Binary, appendUint8)
{
zval *value_param = NULL, _0, _1, _2;
zephir_fetch_params(1, 1, 0, &value_param);
zend_long value = zephir_get_intval(value_param);
ZVAL_STRING(&_0, "C");
ZVAL_LONG(&_1, value);
ZEPHIR_CALL_FUNCTION(&_2, "pack", NULL, 2, &_0, &_1);
ZEPHIR_RETURN_CALL_METHOD(getThis(), "append", NULL, 0, &_2);
}
Zephir. Скомпилированный код

98. PHP_METHOD(Binary, appendUint8)
{
zval *value_param = NULL, _0, _1, _2;
zephir_fetch_params(1, 1, 0, &value_param);
zend_long value = zephir_get_intval(value_param);
ZVAL_STRING(&_0, "C");
ZVAL_LONG(&_1, value);
ZEPHIR_CALL_FUNCTION(&_2, "pack", NULL, 2, &_0, &_1);
ZEPHIR_RETURN_CALL_METHOD(getThis(), "append", NULL, 0, &_2);
}
Zephir. Скомпилированный код

100. std::vector<u_char>
Расширение C
std::deque<u_char>

101. std::vector<u_char>
vector::insert - O(1)*
vector::erase - O(n)
vector::begin - O(1)
vector::end - O(1)
vector::empty - O(1)
vector::size - O(1)
Расширение C
std::deque<u_char>
deque::insert - O(1)
deque::erase - O(1)
deque::begin - O(1)
deque::end - O(1)
deque::empty - O(1)
deque::size - O(1)

102. std::vector<u_char>
vector::insert - O(1)*
vector::erase - O(n)
vector::begin - O(1)
vector::end - O(1)
vector::empty - O(1)
vector::size - O(1)
Расширение C
std::deque<u_char>
deque::insert - O(1)
deque::erase - O(1)
deque::begin - O(1)
deque::end - O(1)
deque::empty - O(1)
deque::size - O(1)

103. PHP_METHOD(Binary, appendUInt8)
{
buffer *buf = buffer_from_zend(Z_OBJ_P(getThis()));
zend_long value;
if (!ZEND_PARSE_THROW(ZEND_NUM_ARGS(), "l", &value)) {
return;
}
buf->data->append<unsigned char>(value);
RETURN_ZVAL(getThis(), 1, 0);
}
Расширение C
https://github.com/phpinnacle/ext-buffer

104. PHP_METHOD(Binary, readUnsafe)
{
...
string res(buf.begin() + offset, buf.begin() + offset + size);
char * data = res.c_str();
RETURN_NEW_STR(zend_string_init(data, strlen(data), 0));
}
Расширение C

105. PHP_METHOD(Binary, readUnsafe)
{
...
string res(buf.begin() + offset, buf.begin() + offset + size);
// WRONG WAY! You lose your binary data
char * data = res.c_str();
RETURN_NEW_STR(zend_string_init(data, strlen(data), 0));
}
Расширение C

106. PHP_METHOD(Binary, readSafe)
{
...
string res(buf.begin() + offset, buf.begin() + offset + size);
RETURN_NEW_STR(zend_string_init(res.data(), res.size(), 0));
}
Расширение C
Binary
Safe

107. Zephir vs PHP vs C/C++
* Меньше - лучше (μs)

108. Итого
● https://github.com/Ostico/PhpOrient
● https://github.com/tarantool-php/client

109. Итого
● https://github.com/Ostico/PhpOrient
● https://github.com/tarantool-php/client
● https://github.com/markkimsal/amphp-mqtt
● https://github.com/prooph/event-store

110. Итого
● https://github.com/Ostico/PhpOrient
● https://github.com/tarantool-php/client
● https://github.com/markkimsal/amphp-mqtt
● https://github.com/prooph/event-store
● https://github.com/phpinnacle/cassis
● https://github.com/phpinnacle/ridge

111. Итого
● https://github.com/Ostico/PhpOrient
● https://github.com/tarantool-php/client
● https://github.com/markkimsal/amphp-mqtt
● https://github.com/prooph/event-store
● https://github.com/phpinnacle/cassis
● https://github.com/phpinnacle/ridge

112. СПАСИБО!
Вопросы?
zloyusr@gmail.com
https://github.com/phpinnacle