В процессе обновления высоконагруженных серверов раздачи видео (40Gbit/s с каждого сервера) со старого OpenSuSE 10.2 на новый CentOS 7 (время между релизами - 7 лет) мы столкнулись с рядом проблем - необъяснимый свопинг и запуски OOM killer, неравномерное распределение нагрузки по ядрам, обрывы соединений, скачки системной нагрузки на CPU. В докладе будет рассказано о том, как мы боролись с этими проблемами и какие технологии для этого использовали.

1. Тюним память
и сетевой стек в Linux:
история перевода
высоконагруженных
серверов на свежий
дистрибутив
Дмитрий Самсонов

2. OpenSuSE 10.2
Release:
07.12.2006
End of life:
30.11.2008
CentOS 7
Release:
07.07.2014
End of life:
30.06.2024

3. Видео раздача
● 4 x 10 Гбит к пользователям
● 2 x 10 Гбит к хранилищу
● 256 Гбайт RAM — кэш в памяти
● 22 х 480 Гбайт SSD — кэша на SSD
● 2 х E5-2690 v2

4. Содержание
● Память
○ OOM killer
○ Swap
● Сеть
○ Broken pipe
○ Распределение сетевой нагрузки по
ядрам
○ SoftIRQ

5. Память
OOM killer

6. NODE 0
(CPU N0)
1. Вся физическая память
NODE 1
(CPU N1)
ZONE_DMA (0-
16MB)
ZONE_DMA32 (0-
4GB)
ZONE_NORMAL
(4+GB)
2. NODE 0
3. Каждая зона
20
*PAGE_SIZE
21
*PAGE_SIZE
2
2
*PAGE_SIZE
2
3
*PAGE_SIZE
2
4
*PAGE_SIZE
25
*PAGE_SIZE
2
6
*PAGE_SIZE
2
7
*PAGE_SIZE ...
28
*PAGE_SIZE ...
2
9
*PAGE_SIZE ...
210
*PAGE_SIZE ...

7. Что происходит?
OOM killer, скачки system CPU!

8. Фрагментация памяти
Память после загрузки сервера
Через некоторое время
Ещё через какое-то время

9. Почему это
происходит?
● Мало свободной памяти
● Memory pressure

10. Что делать с
фрагментацией?
Увеличивать vm.min_free_kbytes!
High/low/min watermark.
/proc/zoneinfo
Node 0, zone Normal
pages free 2020543
min 1297238
low 1621547
high 1945857

11. Информация о текущей
фрагментации
● /proc/buddyinfo
Node 0, zone DMA 0 0 1 0 ...
Node 0, zone DMA32 1147 980 813 450 ...
Node 0, zone Normal 55014 15311 1173 120 ...
Node 1, zone Normal 70581 15309 2604 200 ...
... 2 1 1 0 1 1 3
... 386 115 32 14 2 3 5
... 5 0 0 0 0 0 0
... 32 0 0 0 0 0 0

12. Почему это плохо
повышать
min_free_kbytes?
Потому что часть памяти размером
с min_free_kbytes не может быть
использована

13. Память
Swap

14. Swap при 40GB свободной памяти
и vm.swappiness=0!
Что происходит?

15. NODE 0
(CPU N0)
1. Вся физическая память
NODE 1
(CPU N1)
ZONE_DMA (0-
16MB)
ZONE_DMA32 (0-
4GB)
ZONE_NORMAL
(4+GB)
2. NODE 0
3. Каждая зона
20
*PAGE_SIZE
21
*PAGE_SIZE
22
*PAGE_SIZE
23
*PAGE_SIZE
24
*PAGE_SIZE
25
*PAGE_SIZE
26
*PAGE_SIZE
27
*PAGE_SIZE ...
28
*PAGE_SIZE ...
29
*PAGE_SIZE ...
210
*PAGE_SIZE ...

16. Неравномерное
использование
памяти между нодами
NODE 0
(CPU N0)
NODE 1
(CPU N1)
Free
Used
Free
Used

17. ● numastat -m <PID>
● numastat -m
Node 0 Node 1 Total
--------------- --------------- ---------------
MemFree 51707.00 23323.77 75030.77
...
Текущее распределение
по нодам

18. Что делать с NUMA?
Выключить NUMA
● Целиком для ядра:
numa=off
● Для процесса:
numactl —
interleave=all <cmd>
Оптимизировать
приложение
● Многопоточность
во всём
● Node affinity

19. Сеть

20. Что уже должно быть
сделано
Ring buffer: ethtool -g/-G
Transmit queue length: ip link/ip link set <DEV>
txqueuelen <PACKETS>
Receive queue length: net.core.
netdev_max_backlog
Socket buffer: net.core.<rmem_default|rmem_max>
net.core.<wmem_default|wmem_max>
net.ipv4.<tcp_rmem|udp_rmem>
net.ipv4.<tcp_wmem|udp_wmem>
net.ipv4.udp_mem
Offload: ethtool -k/-K

21. Сеть
Broken pipe

22. Фон ошибок broken pipe.
В tcpdump - half-duplex close sequence.
Что происходит?

23. OOO
Out-of-order пакет, т.е. пакет неправильной
очерёдности (с неправильным номером SEQ).

24. Что делать с OOO?
Отсылать пакеты одного соединения по одному
маршруту:
● Одно процессорное ядро
● Одна сетевая карта
● Одна очередь
Для этого:
● Привязывать триды/процессы к ядрам
● Привязывать очереди сетевой карты к ядрам
● Использовать RFS

25. Было/стало
Количество broken pipe/s на сервер

26. Чем плохо строгое
определение
“маршрутов”?
Нагрузка на ядра процессора
может быть не равномерной

27. Сеть
Распределение сетевой нагрузки
по ядрам

29. CPU0 загружен на 100%

30. Почему это
происходит?
1. Одна очередь - включить больше:
ethtool -l/-L
2. Не распределены прерывания:
○ распределить динамически -
запустить irqbalance/irqd/birq
○ распределить статически -
настроить RSS

31. RSS
CPU
RSS
Network
eth0
Q0 Q1 Q2 Q3 Q4 Q5 Q6 Q7
0 1 2 3 4 5 6 7 8 9 10 11 12

32. CPU0 - CPU7 загружен
на 100%

33. Половина ядер
загружены на 100%

34. Нам нужно больше
очередей!

35. 16 ядер загружены на
100%

36. scaling.txt
RPS = Software RSS
XPS = RPS для исходящих
пакетов
RFS? Учитывает номер ядра
потребителя.
https://www.kernel.
org/doc/Documentation/networking/s

37. Почему RPS/RFS/XPS
это плохо?
1. Нагрузка на ядра процессора
может быть не равномерной.
2. Оверхед по CPU

38. Accelerated RFS
Есть у Mellanox, но после
включения скорость не
поднималась выше 5Gbit/s на 10G
интерфейсах.

39. Intel
Signature Filter (он же ATR -
Application Targeted Receive) -
аналог RPS+RFS.

40. Сеть
SoftIRQ

41. Откуда берутся
SoftIRQ
Network
eth0
Q0 Q...

42. Откуда берутся
SoftIRQ
Network
eth0
Q0 Q...
CPU
C0 C...
HW
IRQ
42
RSS

43. Откуда берутся
SoftIRQ
Network
eth0
Q0 Q...
CPU
C0 C...
HW
IRQ
42
SoftIRQ
NET_RX
CPU0
RSS
Обработка HW
interrupt завершена

44. Откуда берутся
SoftIRQ
Network
eth0
Q0 Q...
CPU
C0 C...
HW
IRQ
42
SoftIRQ
NET_RX
CPU0
RSS
NAPI
poll
Обработка HW
interrupt завершена

45. Что делать с
высоким SoftIRQ?

46. Модерация прерываний
ethtool -c/-C

47. Чем плоха модерация
прерываний?
Надо выбирать между пропускной
способностью и latency

48. Что происходит?
Нелинейный рост

49. Минздрав
предупреждает
ИЗМЕНЕНИЯ
ТЕСТЫ
ОТКАТ
ОСТАВИТЬ

50. Спасибо за внимание!
● Блог Одноклассников на Хабре http://habrahabr.
ru/company/odnoklassniki/
● Тестирование аварий / Андрей Губа
завтра, 3 зал, 17:30
http://www.highload.ru/2015/abstracts/1913.html
Дмитрий Самсонов
dmitry.samsonov@odnoklassniki.ru