Выступление на PYCON RUSSIA 2017

2. Память и Python
Что надо знать для
счастья?
Кузьмин Алексей

3. Коротко обо мне
• Технический руководитель группы SmartData в Центр
Недвижимости от Сбербанка
• Python
• Machine Learning & Data Science
• C++

4. О докладе
• Для кого:
• Junior, middle python developer - узнать новое
• Senior python - освежить знания

5. О докладе
• Вы узнаете:
• Почему память это важно
• Как узнать её потребление вашей программой
• Почему её потребляется так много
• Как снизить потребление памяти

6. Иерархия памяти
Жесткий диск
10 000 000 тактов / 1000 GB
Оперативная память
200 тактов / 8 GB
L1 - L3 кеши
4-50 тактов / 32 KB - 8 MB
Регистры
0 тактов / десятки штук

7. Проблемы с памятью
• SWAP
• Повышенное использование
• Утечки
• Out of memory

8. Python и память

9. Python
class Address:
def __init__(self, city=None, street=None,
house=None, flat=None):
self.city = city
self.street = street
self.house = house
self.flat = flat
a = Address(
city="Moscow",
street="3-ya ulitsa stroiteley",
house="25",
flat="12"
)

10. Objects

11. Objgraph
• Визуализация объектов (и ссылок)
• Учет объектов
• Помощь в поиске утечек

12. Память
• Как узнать сколько памяти потребляет отдельный
объект?
• Решение из стандартной библиотеки:
import sys
sys.getsizeof([1,2,3])
• Показывает shallow-size

13. PYMPLER
• asizeof - измерение размера (deep-size)
• tracker - информация об общем потреблении памяти
(ищем утечки)
• classtracker - информация об измении потреблеия
памяти в течении жизни объекта

14. PYMPLER
>>> asizeof.asizeof(None)
<<< 16
>>> asizeof.asizeof(3)
<<< 32
>>> asizeof.asizeof(3.14)
<<< 24
>>> asizeof.asizeof([])
<<< 64
>>> asizeof.asizeof({})
<<< 288
>>> asizeof.asizeof(tuple())
<<< 48

15. PyObject
Счетчик ссылок
Информация о типе
Данные GarbageCollector’а
(не всегда)
Ваши данные

16. Python
• Потребление памяти «снаружи» и «внутри» - два
разных потребления памяти :-)
• Python не возвращает память в операционную
систему
• Она хранится выделенной для использования под
новые объекты

17. PYMALLOC

18. Механизмы
освобождения памяти
• Счетчик ссылок

19. Механизмы
освобождения памяти
• Garbage Collector
a = []
b = []
a.append(b)
b.append(a)

20. А есть ли проблема?

21. Общее потребление
• «Диспетчер задач»
• htop
• docker stats
• …

22. Конкретные функции
• memory_profiler
$ python -m memory_profiler mem_test.py
Filename: mem_test.py
Line # Mem usage Increment Line Contents
================================================
3 45.930 MiB 0.000 MiB @profile
4 def function():
5 84.559 MiB 38.629 MiB x=list(range(1000000))
6 92.008 MiB 7.449 MiB y=copy.deepcopy(x)
7 92.008 MiB 0.000 MiB return y

23. mprof
• Потребление в течении времени
$ mprof run mem_test.py
$ mprof plot

24. Анализ объектов
from pympler import muppy
from pympler import summary
all_objects1 = muppy.get_objects()
data = list(range(1000))
all_objects2 = muppy.get_objects()
sum1 = summary.summarize(all_objects1)
sum2 = summary.summarize(all_objects2)
summary.print_(summary.get_diff(sum1, sum2))
$ python mem_test.py
types | # objects | total size
============ | =========== | ============
<class 'list | 2 | 287.59 KB
<class 'int | 823 | 22.50 KB

25. Немного практики

26. Rect
class Rect1:
def __init__(self, x1, y1, x2, y2):
self.x1 = x1
self.x2 = x2
self.y1 = y1
self.y2 = y2
>>> asizeof.asizeof(Rect1(0, 0, 0, 0))
<<< 496

27. SLOTS
• Ускорение доступа к атрибутам
• Сокращение используемой памяти
class Foo(object):
__slots__ = 'bar', 'baz'

28. Slots Rect
class Rect2:
__slots__ = ("x1", "x2", "y1", "y2")
def __init__(self, x1, y1, x2, y2):
self.x1 = x1
self.x2 = x2
self.y1 = y1
self.y2 = y2
>>> asizeof.asizeof(Rect2(0, 0, 0, 0))
<<< 184

29. Tuple vs List
• Tuple более экономичен (буфер фиксированного
размера)
• Immutable tuple может быть оптимизирован python
• tuple - отличный аналог структур в других языках

30. Tuple Rect
rect = (0,0,0,0)
>>> asizeof.asizeof(rect)
<<< 104

31. Named Tuple
import collections
Rect = collections.namedtuple('Rect', 'x1 x2 x3 x4')
>>> asizeof.asizeof(Rect(0,0,0,0))
<<< 160

32. Полезные хитрости

33. Работа с большим
байтовым массивом
• При традиционной работе (bytes) - много копирований
- большое потребление памяти
• Выход есть - memoryview:
• «Специальный объект, предназначенный для
работы с внутренними данными (байтами) без их
копирования»

34. Struct
• Основное назначение - извлечение python-объектов из байт
• struct.pack(fmt, v1, v2, … )
• struct.unpack(fmt, buff)
data = struct.pack("llll", x1, y1, x2, y2)
nx1, nx2, nx3, nx4 = struct.unpack("llll", buff)

35. Интернирование строк
• При анализе .py файла интерпретатор, встречая
одинаковые строки, вставляет ссылку на один и тот
же объект в памяти
• Этот механизм легко сломать
a = "abcdefhijkabcdefhijkabcdefhijkabcdefhijk"
b = "abcdefhijkabcdefhijkabcdefhijkabcdefhijk"
>>> id(a) == id(b)
<<< True
a = "a" * 40
b = "a" * 40
>>> id(a) == id(b)
<<< False

36. Числа от -5 до 257
• Числа от -5 до 257 существуют в единственном
экземпляре
• Сломать это нельзя
>>> id(1) == id(1)
<<< True
>>> id(1000-998) == id(1002 - 1000)
<<< True
>>> id(2*3*3) == id(3*3*2)
<<< True

37. Format
def __str__(self):
return self.city + " " + self.street +
" " + self.house + " " + self.flat
VS
def __str__(self):
return "{} {} {} {}".format(
self.city, self.street, self.house, self.flat
)

38. Спасибо за
внимание

39. Полезная литература
• https://hbfs.wordpress.com/2013/01/08/python-memory-management-part-ii/
• https://hbfs.wordpress.com/2013/01/01/python-memory-management-part-i/
• http://datos.io/python-memory-issues-tips-and-tricks/
• https://wiki.python.org/moin/PythonSpeed/PerformanceTips
• https://dzone.com/articles/python-memory-issues-tips-and-tricks
• https://stackoverflow.com/questions/3021264/python-tips-for-memory-optimization
• https://www.qtrac.eu/pysavemem.html
• https://hbfs.wordpress.com/2009/11/10/is-python-slow/
• https://hbfs.wordpress.com/2010/06/08/is-python-slow-part-ii/
• https://hbfs.wordpress.com/2011/09/13/run-python-run/
• https://hbfs.wordpress.com/2011/06/14/python-references-vs-c-and-c/
• http://deeplearning.net/software/theano/tutorial/python-memory-management.html