1. Deep Reinforcement
Learning
Как научить нейросеть играть в игры
вместо нас
Марат Зайнутдинов
@tsundokum

2. Моя попытка вопроизвести DQN
https://github.com/tsundokum/DQN
[6]

3. Human-level control through
deep reinforcement learning
Volodymyr Mnih, Koray Kavukcuoglu,
David Silver, Andrei A. Rusu, Joel
Veness, Marc G. Bellemare, Alex
Graves, Martin Riedmiller, Andreas
K. Fidjeland, Georg Ostrovski, Stig
Petersen, Charles Beattie, Amir Sadik,
Ioannis Antonoglou, Helen King,
Dharshan Kumaran, Daan Wierstra,
Shane Legg & Demis Hassabis
Nature

4. [6]

5. Задача
● Универсальный алгоритм, способный
научиться делать что угодно на основе
данных о среде и подкреплении (ИИ)
○ Алгоритм, способный играть в видеоигры,
получая на входе видеоизображение и
информацию об изменении очков. Цель
алгоритма — набрать максимальное количество
очков.

6. [5] [2]

7. Что мы умеем
● X → Y
○ закономерность нелинейная
○ X высокой размерность (например, картинка)
● Дифференцируемая ошибка
(относительно параметров алгоритма)
● Быстро обрабатывать много данных

8. [3]

9. [3]

10. Мы можем научить НС играть?

11. Мы можем научить НС играть?
У вас нет и не
будет модели!

12. Динамическое программирование
0 1 5 0
0 1 1 7
10 9 7 0
1 6 9 0

13. Динамическое программирование
0 1
5 5 0 0
0 1 1
7 7
10 9 7 0
1 6 9 0

14. Динамическое программирование
0
1 6 5 5 0 0
0 1 1
7 7
10 9 7 0
1 6 9 0

15. Динамическое программирование
0
1 6 5 5 0 0
0 1
1 6 7 7
10 9 7 0
1 6 9 0

16. Динамическое программирование
0
1 6 5 5 0 0
0 1
1 6 7 7
10 9 7
0 7
1 6 9 0

17. Динамическое программирование
0 6 1 6 5 5 0 0
0
1 7 1 6 7 7
10 9
7 13 0 7
1 6 9
0 7

18. Динамическое программирование
0 6 1 6 5 5 0 0
0 6 1 7 1 6 7 7
10
9 18 7 13 0 7
1 6
9 16 0 7

19. Динамическое программирование
0 6 1 6 5 5 0 0
0 6 1 7 1 6 7 7
10
16
9 18 7 13 0 7
1
6 22 9 16 0 7

20. Динамическое программирование
0 6 1 6 5 5 0 0
0 6 1 7 1 6 7 7
10
16
9 18 7 13 0 7
1 17 6 22 9 16 0 7

21. Action-Value function (Bellman Eq)
Q(s, a) = Es’
[r + ɣ maxa’
Q(s’, a’) | s,a]
s — текущее состояние
a — действие на текущее состояние
s’ — состояние, последовавшее s после совершения
действия a
r — подкрепление на действие a

22. Action-Value function (Bellman Eq)
Q(s, a) = Es’
[r + ɣ maxa’
Q(s’, a’) | s,a]
Q(s, a; θ) ≅ Q(s, a)

23. Q(s, a; θ) [6]

24. Функция ошибки
Li
(θi
)=Es,a,s’,r
[(r+ɣmaxa’
Q(s’,a’,θ-
i
) - Q(s,a,θi
))2
]

25. Функция ошибки
Li
(θi
)=Es,a,s’,r
[(r+ɣmaxa’
Q(s’,a’,θ-
i
) - Q(s,a,θi
))2
]
critic

26. Функция ошибки
Li
(θi
)=Es,a,s’,r
[(r+ɣmaxa’
Q(s’,a’,θ-
i
) - Q(s,a,θi
))2
]
critic actor

27. Q-learning
Watkins, C.J.C.H. (1989). Learning from
Delayed Rewards. PhD thesis, Cambridge
University, Cambridge, England.

28. Мы можем научить НС играть?

29. Мы можем научить НС играть?
Ваша сетка
слишком
сильно
раскачивается!

30. Стабильность
● База переходов U(D)
● Запаздывающее обновление сети

31. База переходов U(D)
Каждый раз сохраняем (s, a, s’, r)
Держим в уме 1 млн переходов
Данные для батча выбираются из U(D)

32. Запаздывающее обновление сети
Li
(θi
)=Es,a,s’,r
[(r+ɣmaxa’
Q(s’,a’,θ-
i
) - Q(s,a,θi
))2
]
critic actor
Каждый новые C (=50k) переходов критик
обновляется
critic := actor

33. Другие тонкости
● ε-greedy выбор действия (с ε=1→0.1 за 1млн кадров)
● Видео сжимается с 210x160 до 84x84
● Состояние запоминается в виде 4х кадров
● Сглаживание картинок (особенность Atari)
● Все подкрепления имеют значения {-1, 0, 1}
● Разница между критиком и актором обрезается до
[-1, 1]

34. Пример обучения в реальном времени
REINFORCE.js

35. Рекомендуемые ресурсы
1. Andrew Ng. Machine Learning (лучшее введение в нейросети)
2. Nando de Freitas. Deep Learning (лекции 15-16 про RL и DeepMind)
3. Sergey Levine. Deep Learning for Decision Making and Control (другой
подход к Deep RL)
4. Peter Norvig. Artificial Intelligence: A Modern Approach. 3ed.
5. David Silver. Deep Reinforcement Learning (презентация)
6. Mnih at al. Human-level control through deep reinforcement learning
7. Andrej Karpathy. REINFORCE.js

36. Спасибо за
внимание!