С того момента, как было принято решение использовать язык Lua в качестве языка описания бизнес-логики в нашей платформе, прошло уже больше восьми лет. Проекты росли, данных становилось больше, возрастала нагрузка на сервера приложений. Со временем у нас накопился солидный багаж знаний о том, как устроен LuaJIT, с какими проблемами можно столкнуться при его использовании и как эти проблемы можно решать. Я расскажу про то... * Почему при миграции с x86 на x64 доступной памяти в LuaJIT становится меньше, и как мы с этим боролись. * Как загрузить в LuaJIT несколько миллионов объектов и не умереть в тормозах от сборщика мусора. * Насколько ужасна встроенная функция хеширования строк и почему иногда надо жертвовать производительностью в пользу качества.

1. LuaJIT как основа для
сервера приложений
Игорь Эрлих, IPONWEB
v0.3

2. Что такое LuaJIT
• Среда исполнения для Lua 5.1, включающая в себя трассирующий
JIT-компилятор

3. Что такое LuaJIT
• Среда исполнения для Lua 5.1, включающая в себя трассирующий
JIT-компилятор
• Работает существенно быстрее, чем официальный интерпретатор:
x2-x4 без JIT-компиляции
x2-x100 с JIT-компиляцией

4. Что такое LuaJIT
Развивается и поддерживается более десяти лет
• 08/09/2005: первый публичный релиз 1.0.3
• 14/05/2015: стабильный релиз 2.0.4
• Ветка 2.1 в активной разработке

5. Что такое LuaJIT
Большое количество пользователей и моделей применения

6. LuaJIT @ IPONWEB
• Многопоточный веб-сервер
• Бизнес-логика на Lua
• x86_64 GNU/Linux
• LuaJIT 2.0.4 (стабильный релиз)

7. Проблема #1
Ограничения по памяти

8. Ограничения по памяти
Сколько доступно управляемой памяти…
• В i686 GNU/Linux – 4GB

9. Ограничения по памяти
Сколько доступно управляемой памяти…
• В i686 GNU/Linux – 4GB
• В x86_64 GNU/Linux – 1GB???

10. Ограничения по памяти
typedef struct Mref {
uint32_t ptr32;
} Mref;
void *ptr = mmap((void *)MMAP_REGION_START,
size,
MMAP_PROT,
MAP_32BIT|MMAP_FLAGS,
-1,
0);

11. Ограничения по памяти
Как справиться?
• Снизить количество потоков

12. Ограничения по памяти
Как справиться?
• Снизить количество потоков
• Перейти от потоков к процессам

13. Ограничения по памяти
Как справиться?
• Снизить количество потоков
• Перейти от потоков к процессам
• Вывести данные в неуправляемую память

14. Ограничения по памяти
Как справиться?
• Снизить количество потоков
• Перейти от потоков к процессам
• Вывести данные в неуправляемую память
• Дождаться релиза v2.1

15. Проблема #2
Сборка мусора

16. Сборка мусора
• Mark’n’Sweep сборщик унаследован от Lua 5.1

17. Сборка мусора
• Mark’n’Sweep сборщик унаследован от Lua 5.1
• Инкрементальная, но не поддерживает поколения

18. Сборка мусора
• Mark’n’Sweep сборщик унаследован от Lua 5.1
• Инкрементальная, но не поддерживает поколения
• До 30% производительности на реальных нагрузках!

19. Проблема #3
Управление строками

20. Такая ситуация…

21. Управление строками
http://myadsite.org/myhandler/creative_id=15365532&bidder_id=1
http://myadsite.org/myhandler/creative_id=15365533&bidder_id=1
http://myadsite.org/myhandler/creative_id=15365534&bidder_id=1
http://myadsite.org/myhandler/creative_id=15365535&bidder_id=1
http://myadsite.org/myhandler/creative_id=15365536&bidder_id=1
http://myadsite.org/myhandler/creative_id=15365537&bidder_id=1
http://myadsite.org/myhandler/creative_id=15365538&bidder_id=1
......

22. Управление строками
http://myadsite.org/myhandler/creative_id=15365532&bidder_id=1

23. Выводы
• Основное преимущество LuaJIT – высокая скорость работы в
большинстве случаев (особенно в численных вычислениях)
• Большое количество управляемой памяти (в смысле количества
объектов или их совокупного размера) может быть реальной
проблемой
• Много лексикографически похожих слов (URL, пути файловой
системы) – потенциальная DoS уязвимость

24. Ссылки
• https://www.lua.org/
• https://luajit.org/
• https://github.com/LuaJIT/LuaJIT
• Or contact me:
https://ru.linkedin.com/in/iaehrlic

25. Q&A