2018/07/06 Deep Learning JP: http://deeplearning.jp/seminar-2/

1. 1
DEEP LEARNING JP
[DL Papers]
http://deeplearning.jp/
“Tracking Emerges by Colorizing Videos",
Carl Vondrick, Abhinav Shrivastava, Alireza Fathi, Sergio Guadarrama,
Kevin Murphy
Presentater: Kohei Nishimura, DeepX, Inc.

2. S R
• V 0 C
• KM G F
https://ai.googleblog.com/2018/06/self-supervised-tracking-via-video.html
•
• 0 / 28 16 0 6 0 0 0 0 0 6 A0 0 0:0
,A 6
• 0 26

3. • gs ) , 2.
• ( , : ak n
• ( , :
•
•
• w >O it! ", $, % > c b
• o p e F O iv yl&', &( x yl&) e F
= T= F O ru , 2. F O
http://labs.eecs.tottori-u.ac.jp/sd/M em ber/oyam ada/OpenCV/htm l/py_tutorials/py_video/py_lucas_kanade/py_lucas_kanade.htm l#lucas-kanade

4. i
• ( ) ), a
• p
• ( ) ), mc i
• so b , ) (, , (, ) .
p
• r n p F n
O l

5. g p
• e n f S n G>
e a o
• . S C k c x r C
i G G>G f o , y
• - - S > S G t
• t m ca > G
• m e l ca

6. ,N C ,
• ( () C .
• !( ") $%&%':)*
: + − -
: +
./: " $%&%' 012033"45
$/: " 67 $%&%'
)* = $/ : ! $%&%'
$%&%' ( )
1 .
Color Frame

7. ,N C ,
• ( () C .
• !( ") $%&%':)*
: + − -
: +
./: " $%&%' 012033"45
$/: " 67 $%&%'
)* = $/ : ! $%&%'
$%&%' ( )
2 .
Color Frame

8. N T
• )()
• C!( , C ") $%&%':)*
: + − -
: +
./: " $%&%' 012033"45
$/: " 67 $%&%'
)* = $/ : ! $%&%'
$%&%' ( )
.
3
, .
, ,
Color Frame

9. ,N C ,
• ( () C .
• !( ") $%&%':)*
$*
Ground Truth
Colors
: + − -
: +
./: " $%&%' 012033"45
$/: " 67 $%&%'
)* = $/ : ! $%&%'
$%&%' ( )
Color Frame
.

10. (
• (
• ( ! . "(#$%$&: ())
• !( )
: * − ,
: *
Color Frame

11. N ** o
• ) 1 1
• . n T F !"#"$ ( !"#"$= ) u
• ) L 1 F .
• F
• g prGL N pr! F F
• p AL a a s G
• e s GcC cC!"#"$ tE F
• i F y F

12. 1 cd
• !"#"$ cd
• 1 - ( , () cd n () ,( 6
, . cd
• ,( 6 ( ( (6, b ok b e
• s () cd
• m i L
• l t C h
a lrf.
http://w3.kcua.ac.jp/~fujiwara/infosci/lab.html

13. e
• p
• !"#"$ ts% (( h Gx ?
• TS x C .
• o = u !"#"$ =T
• ) 3 f =T & = 0.5
• f =T = b = c l f d
• C = m
• a = . r ?
• = N n G
• / 3 ./ / 3 // / / / / 3/

14. T e
• .
• !"#"$ ! ∈ &'
( S .
• !"#"$ !) * a g c .
• c * .
• .
• !"#"$ ! ∈ &' (
• !"#"$ !) * K

15. mp Rie s R
• s YrSTg h b
• ] zy- +)
• .22 - . CK C:N 4 2 ,
• .22 no- + +
• :N :C
• :DGC
• : - 8 Yu
• .22 lo- ( ( : K D:G
• .22 wt - 0:K : 2
• fdc a- (
• s G - )
• s - ( + G v [ )
• 3G D O - 50
• 1 ( K6K .22 s

16. •
•
• T T C
• .
• S . K V
. C
•
• S V P
C

17. it ych
• ych
•
• a P NlmS Pd r
• 1: ): ):
• upesS PlmS PS S a ug V
• w O chP w Sch itRnj
• : 1 ( : F1
• ( : F S S nj
• vbo I ( : F Vch yesRnj
• ) :: C 1
• 7 C 2 1 (0-.

18. c & .
• id K d
• V .
• e
• a d
• C d

19. Video Colorization

20. dp dpim , 017 12 1 7
• g A O 12 1 7 VFo n A b I
12 1 7 S V
• A &,
• r 12 1 7 1 .7 0
• ls eu t DF 7 acSim

21. i c . )
• e bd ) c gm
• ( B VC D lM
• . , . e S D F
• ( ) k Cf ( , a
Ok ) D F
• ) O a M) k O F

22. Video Segmentation
2 occulsion
Segmentation .
(5 ), Segmention
.

23. & a Pose Tracking
• T H . DKP M
• g PO
• g h
• H . F C . ie G K c
• a
• F JCB K a

24. Pose Tracking
Pose Tracking .
1
Tracking .

25. PCA 3 ,
RGB .
deformation

26. Colorize Tracking
Segmentation
Coloriztion .
2 Predict .
tracking colorization
2.3
.
Colorize
Tracking
.

27. KG
• r S z k i PiC
. . , G T Pm G z k
yP H C Pnl
• , , T Pg ,
, T u P GP sa o
• . , G , e c GP ta o