안녕하세요. RL Korea에서 피지여행 프로젝트에 참여한 이동민입니다. 이 자료는 8월 25일 토요일에 제 1회 RLKorea 프로젝트 세미나에서 발표한 자료입니다. 아쉽게도 영상은 실행되지 않습니다. 세미나 링크는 아래와 같습니다. 제 1회 RLKorea 프로젝트 세미나 : https://www.facebook.com/groups/ReinforcementLearningKR/permalink/2024537701118793/?__tn__=H-R 피지여행을 간략하게 소개해드리자면, Policy Gradient와 관련된 논문들을 리뷰하여 블로그 정리하고 & 코드를 구현하여 실험하는 프로젝트입니다. 블로그와 깃허브는 다음과 같습니다. 정리 블로그 : https://reinforcement-learning-kr.github.io/…/0_pg-travel-…/ 구현 깃허브 : https://github.com/reinforcement-learning-kr/pg_travel 많은 분들이 보시고 도움이 되었으면 좋겠습니다! 감사합니다~~!!!

1. 5 8 1
2
,
0

2. 1 4 1
73 4
2
.

7. !

8. 6
6 . !

9. ! G
G
7

12. -

13. -

14. 2 9 :/ 08:-/6/ / : 1 : 1 2 8 91 : / 1 ./

15. -

16. :
/ / . - .

19. - -

20. - -

22. -
3!

23. -

25. ( )
!

27. G /AD D G
/ F ED G DC
3 2 /2
G D D E D D
D D - D C
2 2
2 /
/

28. 5E A 4FIACAM IAED D CA 5GE G CCAD
4 -KE IAED 5E A /G A DI
3- 7- 3 47 -
5E A I G IAED I G IAED
6 GDAD
IEG GAIA 2 I E
1 7 -75/
5/
/ -
754
554
35/

33. !
,

34. . ,
A A

38. ., 8 7 0 5 2

39. , .

40. ! .

41. .

42. , !

43. .

44. ( 0 1 2
( 0 2
) 2 (

45. .

46. 1
1 1 1. -
1 1. -

47. 1 . F G A
1 .21 1 . ( .
. . 1 ( .
- 1 1 ) . 1 - 1 1

48. 2 1 FG
( 2 32 2 1 )
- - 2 )
. 2 2 A 1 2 . 2 2
. 2 2 A 1 2 ) (

49. .4 1 3 F G
)A4 1 4 .4 1 3 1
1 1 4 1
4 4 - 2D 13 4 4 4
4 4 - 2D 13 4 2 ) 1
( ) 21 4 A )

50. 5 2 4 G F
5 2 5 5 2 4 A 2
2 2 5 A 2
1 5 5 . 3 - 24 5 1 5 5
1 5 5 . 3 - 24 5 A 3 D 2
( 32 5
) 32 4 2 2 5

51. 3 6C RTS P
G C6 3 6C AC F 6 A
4 6C 4 6 AC F 6 A
5 AC 2A C6 5 AC
5 AC 2A C6 F A CAI 6 A
( 6 A A . C G AC D
) 6 A A G6 6 D
5 AC -A G C A: 2A 1 C6 A F A CAI 6 A

52. ( A ) A A
2 1 A C4A
2 - 4 A
0 1 )
2-
2-

53. . . 1 ) . ) & ( .

54. & ) . , . - ), ? F ( ,
1 11 . -. . . - D

55. & ? 2 . 2 , ., D MF) .
2 2 2 2 G
(& ., 2 ? 2 . 2 , ., 2 ?
. 2 2 ?
- ., ? 2 1 .,

56. & ? D 1 H - 1- T , 1 G
? H ? P
(& 1- 2 D 1 H - 21- S ? D
1 H G D I
H 1- ? D 1-
)& 1- 21- ? ? F D G M
. ? D 3 D D

57. ) 0 A
3 C 2 D5
3 C 5 A
1-2
3 (3
3

58. H A -. , , , D
-. , , D

60. -

62. , ,, - .1A C

63. A C
. - - - 1 2 G D
,

64. A AG G A D R h Q b
- :D :: C D D D d
+ , MT
D D CCD +1.
2 C G:: D gO U R e f
3 D 1 . D C N D ca Q P

65. ) 0 A
3 C 2 D
3 C A
4 1-24
13
3
3 13
(

66. ) (

71. ∞

73. 9 :
: 1 .1 /14 /.

74. 9 4 / 1 :
4 4 4 1
9
. / 4 1 1/

75. 4 / 1
4 4 4 1
9 i g
a h
ec d k : i
a ec . / 4 1 1/

76. 9 :
: 1 .1 /14 /.

77. 1 4 1 1 4 / 4 1
/ 4 1 /
: 9
4. 4 4

78. .

79. .

80. .

81. .

82. .
. .
.
. . .

83. .
.
C I F G

84. .

85. .

86. !

87. 4 E 3AD F D
4 E DC
5-02 35 -
543 )
4
4
)
54324
(
D D 1 D C

88. !

89. L . . ? --
I L ?? : ? / : : : ?
CN F E

90. L . . ? --
I L ?? : ? / : : : ?
CN F E

91. 9 .

92. NO P I K
TS /. BC :? /? :5 . C:=: C:? C B 5 / :
P R TS CC B ? C 5?= C5 ( / )5

93. O N T KR S !
/ B C ? = / I ? ? : C B : B
P : C 5 :) ( .

94. c TO d cI NR c Sc PI d c SeK
ba /. BC :? /? :5 . C:=: C:? C B 5 / :
ba CC B ? C 5?= C5 ( / )5

95. PR O ISK
/. BC :? /? :5 . C:=: C:? C B 5 / :
SNT CC B ? C 5?= C5 ( / )5

96. = S K N B B C TR C C I O
/ B C ? = / I ? ,? : C B : B
P : C 5 :) ( .

97. B B C = C RO KP T!
/ B C ? = / I ? ? : C B : B
SN : C 5 :) ( .

98. B C ?TN R S = B 5 ? O K !
/ B C ? = / I ? ? : C B : B
P : C 5 :) ( .

99. B C ?TN R S = B 5 ? O K !
/ B C ? = / I ? ? : C B : B
P : C 5 :) ( .

100. B C ?TN R S = B 5 ? O K !
/ B C ? = / I ? ? : C B : B
P : C 5 :) ( .

101. bP S B C ? N T R = B 5 ? O bK c!
a / B C ? = / I ? ? : C B : B
a : C 5 :) ( .

102. bP S B C ? N T R = B 5 ? O bK c!
a / B C ? = / I ? ? : C B : B
a : C 5 :) ( .

103. bP S B C ? N T R = B 5 ? O bK c!
a / B C ? = / I ? ? : C B : B
a : C 5 :) ( .

104. e S N d B C ? O T = B 5 ? P dK b P d !
ca / B C ? = / I ? ? : C B : B
R ca : C 5 :) ( .

105. e S N d B C ? O T = B 5 ? P dK b P d !
ca / B C ? = / I ? ? : C B : B
R ca : C 5 :) ( .

106. e S N d B C ? O T = B 5 ? P dK b P d !
ca / B C ? = / I ? ? : C B : B
R ca : C 5 :) ( .

107. N !!!
PO / B C ? = / I ? ? : C B : B
K PO : C 5 :) ( .

108. 5A F 4 E G E A
5A F 0C ED
6 13 46
0--50
-50
EAC C E 2 E A D
0
)
654350
(

110. . F ! RTP L R !
4 - 4
RM DDD : 4 C D / 0 / 4

112. P . . L
. . O

113. . .
. . .

114. (- - ) -, , ) ) - ) ( EA G
) ) ) - ),- .. A ) ) - - !, #

115. .

116. .

117. 6 G 5CF F A
6 G 1D AFE
7 24057-
665
61
61
F D -D F 3 F E
1
)
765
665
461
(

118. !!

119. .

120. E D
3 232
3 . -.3 - 33.3 2 3. . 2
2 2.
.
1 . . . 2 S R

121. E D
3 232
3 . -.3 - 33.3 2 3. . 2
2 2.
.
1 . . . 2 S R

122. E D
3 232
3 . -.3 - 33.3 2 3. . 2
2 2.
.
1 . . . 2 S R

123. E D
3 232
3 . -.3 - 33.3 2 3. . 2
2 2.
.
1 . . . 2 S R

124. g m P
-
3 2 2 2 Q C fP s ea R
2 A A 2 c bNn iO
3 2 2 1A Ta h
.,
D t p do
lon 2 2 A r

125. g m P
-
3 2 2 2 Q C fP s ea R
2 A A 2 c bNn iO
3 2 2 1A Ta h
.,
D t p do
lon 2 2 A r

126. g m P
-
3 2 2 2 Q C fP s ea R
2 A A 2 c bNn iO
3 2 2 1A Ta h
.,
D t p do
lon 2 2 A r

127. g m P
-
3 2 2 2 Q C fP s ea R
2 A A 2 c bNn iO
3 2 2 1A Ta h
.,
D t p do
lon 2 2 A r

128. ORP F
+ C
+C

129. ORP F
+ C
+C

130. ORP F
+ C
+C

131. ,
, .C

132. !

133. ! .

136. .

138. !

141. !

145. !

147. !

148. !

151. !

153. .

154. 1 (2 .1
) ( ) 1 . (2 .1

155. . 3 . 3 . 31
( . 1 (. . 3 . 31
) 123 3 ) 3 3 . 3

156. . 4 4 ( 142
) ( 21 ) 4 ( 142
234 4 4 4 4
4 4 4 4 4

157. 1 1 2 13 4
21 43 1 1 2 13 4
. .4 2 1
A 1 2 1
() 4 4 1 (3 1 1 4 ) 1

159. , , A

160. !

163. , -

164. , ,
-

165. : - -
,
, -

166. -
: , -
: ,

171. 0

175. . . ,

177. 1 .

178. -

180. -

181. 1 -2 : 3
9 9 : 3
∴ M 9

182. 1 -2 : 3
9 9 : 3
∴ M 9

183. 1 -2 : 3
9 9 : 3
∴ M 9

184. !

186. :: 3

187. 0 1 0 :

188. 0 0 2:

189. 0 7 0 :

192. . !!

193. : 5

194. 0 1: 0

195. 0 : 0 3

196. 0 : 0 7

199. !

201. ! G

204. A !

205. !