Slides from lecture "Wizualizacja danych wysoko-wymiarowych, czyli nie tylko trenowaniem sieci człowiek żyje" held in CZIITT (http://www.cziitt.pw.edu.pl/) with partnership of Promity (http://promity.pl/).

1. Grzegorz Gwardys, Daniel Grzywczak
Wizualizacja danych
wysoko-wymiarowych,
czyli nie tylko
trenowaniem sieci
człowiek żyje

2. Dziękujemy za przybycie !
2
https://i.ytimg.com/vi/HXZt-IlClhs/maxresdefault.jpg

3. Jak widzimy wykład
3

4. ▸ Wizualizacja Demo
▸ Cechy wysoko-wymiarowe
▸ T-SNE
Agenda
4

5. Cechy wysoko-wymiarowe
Różne podejścia
5

6. 3 Etapy
Dane
6
Cechy Wizualizacja
▸ Obrazy
▸ Audio
▸ LBP
▸ MFCC
▸ PCA
▸ T-SNE

7. Ekstrakcja cech
Dane
7
Cechy Wizualizacja
▸ Obrazy
▸ Audio
▸ Tekst
▸ LBP
▸ MFCC
▸ Tf-IDF
▸ PCA
▸ T-SNE
▸

8. 8
Po co nam cechy ?

9. Trochę o sztucznej inteligencji
9
https://en.wikipedia.org/wiki/Waymo#/media/File:Google_driverless_car_at_intersection.gk.jpg
https://pl.wikipedia.org/wiki/Deep_Blue#/media/File:Deep_Blue.jpg
http://i.wp.pl/a/f/jpeg/27201/hal-9000-odyseja-kosmiczna-2001-kadr-robot-oko-490.jpeg
▸ 1968 - 2001: Odyseja Kosmiczna ▸ 1997 - Deep Blue ▸ 2015 - Waymo.

10. Trochę o sztucznej inteligencji
Paradoks Moraveca:
10

11. Reprezentacja danych
11
http://3.bp.blogspot.com/-VvKAXKyrsNY/U5Ngtv21IAI/AAAAAAAAFoQ/GWrfGfA2r
50/s1600/moving+in+right+direction.gif

12. 12

13. 13
© Urszula Gwardys

14. 14
Po co nam cechy ?

15. Po co nam cechy ?
15

16. Po co nam cechy ?
16

17. Ja człowiek rozpoznaje obrazy ?
17

18. Ja człowiek rozpoznaje obrazy ?
18

19. Ja człowiek rozpoznaje obrazy ?
19
https://lionstalkscience.files.wordpress.com/2015/03/color_differences.j
pg

20. Niektóre cechy obrazowe
▸ Dominant Color Descriptor
▸ Local Binary Patterns
▸ Scale-Invariant Feature Transform
20

21. Dominant Color Descriptor
Kolor dominujący
▸ wartość (przestrzeń LUV)
▸ procent zajmowanej powierzchni
▸ wariancja
21
https://lionstalkscience.files.wordpress.com/2015/03/color_differences.j
pg

22. Dominant Color Descriptor
22
https://datasciencelab.wordpress.com/2013/12/12/clustering-with-k-mea
ns-in-python/
http://sipl.technion.ac.il/Info/Teaching_Projects_1-1-10_e.shtml

23. Local Binary Patterns
23
http://bytefish.de/blog/local_binary_patterns/
http://www.springer.com/cda/content/document/cda_downloaddocumen
t/9780857297471-c2.pdf?SGWID=0-0-45-1153741-p174122174
http://liris.cnrs.fr/Documents/Liris-5004.pdf

24. Local Binary Patterns
24
http://docs.opencv.org/2.4/_images/lbp_yale.jpg

25. Scale-Invariant Feature Transform
25

26. Scale-Invariant Feature Transform
26

27. Scale-Invariant Feature Transform
27

28. Niektóre cechy muzyczne
▸ Zero-Crossing Rate
▸ Short-Time Fourier Transform
▸ Mel Frequency Cepstrum Coefficient
28

29. Zero-Crossing Rate
29
http://www.ifs.tuwien.ac.at/~schindler/lectures/MIR_Feature_Extraction.html

30. Short-Time Fourier Transform
30
http://isites.harvard.edu/fs/docs/icb.topic541812.files/lec12_spr09.pdf

31. Short-Time Fourier Transform
31

32. Short-Time Fourier Transform
32
http://docs.opencv.org/2.4/_images/lbp_yale.jpg

33. Short-Time Fourier Transform
33
http://paulbourke.net/miscellaneous/dft/dft0.gif

34. Short-Time Fourier Transform
34

35. Mel Frequency Cepstrum Coefficient
▸ STFT
▸ Obliczanie mocy
▸ Obliczenie odpowiedzi dla filtrów
zestawu filtrów mel (zwykle 26)
▸ Obliczanie DCT dla logarytmu dla
każdego filtru
35

36. Mel-Frequency Cepstrum Coefficient
36
http://practicalcryptography.com/media/miscellaneous/files/10_filt_melfb
.png
https://pl.wikipedia.org/wiki/Mel_(skala)#/media/File:Mel-Hz_plot.svg

37. Mel-Frequency Cepstrum Coefficient
37

38. Wszystko ?
38

39. Cechy wyuczone
Czyli ty się ucz, a ja idę na piwo
39

40. Cechy szyte na miarę
40

41. Sieci Neuronowe
41

42. Sieci neuronowe
42
http://galaxy.agh.edu.pl/~vlsi/AI/backp_t/backprop.html

43. Sieci neuronowe
43
http://galaxy.agh.edu.pl/~vlsi/AI/backp_t/backprop.html

44. Sieci neuronowe
44
http://galaxy.agh.edu.pl/~vlsi/AI/backp_t/backprop.html

45. Sieci neuronowe
45
http://galaxy.agh.edu.pl/~vlsi/AI/backp_t/backprop.html

46. Sieci neuronowe
46
http://galaxy.agh.edu.pl/~vlsi/AI/backp_t/backprop.html

47. Sieci neuronowe
47
http://galaxy.agh.edu.pl/~vlsi/AI/backp_t/backprop.html

48. Sieci neuronowe
48
http://galaxy.agh.edu.pl/~vlsi/AI/backp_t/backprop.html

49. Sieci neuronowe
49
http://galaxy.agh.edu.pl/~vlsi/AI/backp_t/backprop.html

50. Sieci neuronowe
50
http://galaxy.agh.edu.pl/~vlsi/AI/backp_t/backprop.html

51. Sieci neuronowe
51
http://galaxy.agh.edu.pl/~vlsi/AI/backp_t/backprop.html

52. Sieci neuronowe
52
http://galaxy.agh.edu.pl/~vlsi/AI/backp_t/backprop.html

53. Sieci neuronowe
53
http://galaxy.agh.edu.pl/~vlsi/AI/backp_t/backprop.html

54. Sieci neuronowe
54
http://galaxy.agh.edu.pl/~vlsi/AI/backp_t/backprop.html

55. Sieci neuronowe
55
http://galaxy.agh.edu.pl/~vlsi/AI/backp_t/backprop.html

56. Sieci neuronowe
56
http://galaxy.agh.edu.pl/~vlsi/AI/backp_t/backprop.html

57. 57
http://galaxy.agh.edu.pl/~vlsi/AI/backp_t/backprop.html
Sieci neuronowe

58. Sieci neuronowe
58
http://galaxy.agh.edu.pl/~vlsi/AI/backp_t/backprop.html

59. Sieci neuronowe
59
http://galaxy.agh.edu.pl/~vlsi/AI/backp_t/backprop.html

60. Sieci neuronowe
60
http://galaxy.agh.edu.pl/~vlsi/AI/backp_t/backprop.html

61. Sieci neuronowe
61
http://galaxy.agh.edu.pl/~vlsi/AI/backp_t/backprop.html

62. Konwolucyjne sieci neuronowe
62
http://grzegorzgwardys.ml/

63. Filtry konwolucyjne - splot
63
https://community.arm.com/cfs-file/__key/communityserver-blogs-components-weblogfil
es/00-00-00-20-66/4786.conv.png

64. Filtry konwolucyjne - splot
64

65. Filtry konwolucyjne - splot
65

66. Konwolucyjne sieci neuronowe
66
https://ujjwalkarn.me/2016/08/11/intuitive-explanation-convnets/

67. Konwolucyjne sieci neuronowe
67
https://image.slidesharecdn.com/bdm-aprimerondeeplearning-160919151642/95/big-data-malaysia-a-primer-on-deep-learning-23-638.jpg

68. Cechy na miarę - słabe strony
68
Czy możemy nauczonych
cech użyć dla innych
danych ?
https://imgflip.com/s/meme/Question-Rage-Face.jpg

69. AlexNet
69

70. Wyszukiwanie obrazów dla na innych danych
70

71. Rozpoznawanie gatunku muzyki
71

72. Word2vec
72
https://blog.acolyer.org/2016/04/21/the-amazing-power-of-word-v
ectors/
http://arxiv.org/pdf/1411.2738v3.pdf

73. Word2vec
73
https://www.tensorflow.org/tutorials/word2vec

74. Cechy ukryte w systemach rekomendacyjnych
74
5 5 4 1 1
4 4 5 00 ?
0 ? 2 5 5

75. Cechy ukryte w systemach rekomendacyjnych
75
użytkownicy(m)
przedmioty (n)
R
macierz ocen
=
użytkownicy(m)
cechy (r)
VT
macierz cech
przedmiotów
cechy(r)
przedmioty(n)
U
macierz cech
użytkownika
k
k

76. Cechy Grzegorza i Star Wars
76
~
.9
.9
.4
.5
.7
.9
.8
.7
.7
.9
5 5 4 1 1 .7 .8 .3 .8 .6 .7 .7 .9 .5 .6

77. T-SNE
Od intuicji do szczegółów

78. Metoda Gradientu Prostego
78
https://alykhantejani.github.io/images/gradient_descent_line_graph.gif

79. Dla regresji liniowej
79

80. Dygresja
80

81. 81
https://cdn.meme.am/cache/instances/folder304/500x/63137304.jpg

82. PCA
82
http://weigend.com/files/teaching/stanford/2008/stanford2008.wikispaces.com/file/view/pca_example.gif

83. Czy PCA odpowiada na właściwe pytanie ?
83
https://skybluetrades.net/blog/posts/2011/10/30/machine-learning/test-swiss-roll.png

84. Stochastic Neighbour Embedding
84
yi
yj
xi
xj

85. Tak chcę !
85

86. Dywergencja Kullbacka-Leiblera
▸ Duże pij
modelowane przez małe qij
▸ Małe pij
modelowane przez duże qij
86

87. ▸ Duże pij
modelowane przez małe qij
▸ Małe pij
modelowane przez duże qij
87
Dywergencja Kullbacka-Leiblera

88. SNE - wizualizacja mnist
88
http://www.uta.fi/sis/mtt/mtts1-dimensionality_reduction/drv_lecture10.pdf

89. SNE - wizualizacja mnist
89
http://www.uta.fi/sis/mtt/mtts1-dimensionality_reduction/drv_lecture10.pdf

90. A chcielibyśmy ...
90
https://indico.io/blog/wp-content/uploads/2015/08/mnist.jpg

91. Problem Tłumu
91
http://www.todayifoundout.com/wp-content/uploads/2014/11/crowd.jpg

92. Problem Tłumu
92
Skoro chcemy zachować odległość między
bliższymi punktami z wyższej przestrzeni ...

93. Problem Tłumu
93
Skoro chcemy zachować odległość między
bliższymi punktami z wyższej przestrzeni ...
To mniej “podobne punkty”, w niższej
przestrzeni będą od siebie bardzo daleko.

94. William Sealy Gosset
94
http://vignette3.wikia.nocookie.net/beer/images/9/92/Guinness.jpg/revision/latest?cb=20130322204725 https://en.wikipedia.org

95. t-SNE
95
Wysoki wymiar: Niski wymiar:

96. Interpretacja gradientu
96
D
G
F
E H
B
A
C
sprężynka

97. Interpretacja gradientu
97
D
G
F
E H
B
A
C
sprężynka
ściskanie/rozciąganie
http://www.artandsciencegraphics.com/wp-content/uploads/Compressing-Spring.gif

98. Interpretacja gradientu
98
D
G
F
E H
B
A
C
sprężynka
ściskanie/rozciąganie
Suma po wszystkim ...

99. A gdy dane są duże ?
99
3x
D
G
F
E H
B
A
C
▸ Dlatego algorytm Barnes-Hut
▹ 1986 w Nature
▹ O(n log n)
▹ NASA/STI Keywords:
Computational Astrophysics ...

100. A gdy dane są duże ?
100
3x
D
G
F
E H
B
A
C
A C DB E F G H
● Wystarczająco mały kawałek przestrzeni ?
● Wystarczająco odległy od punktu ?

101. t-sne - największy problem
101
http://distill.pub/2016/misread-tsne/

102. 102
https://indico.io/blog/wp-content/uploads/2015/08/mnist.jpg
Przykłady wizualizacji

103. Przykłady wizualizacji
103
https://image.slidesharecdn.com/talkdatasciencemeetup-130125042944-phpapp01/95/talk-data-sciencemeetup-13-638.jpg

104. Przykłady wizualizacji
104
https://deeplearning4j.org/img/faces_tsne.jpg

105. Przykłady wizualizacji
105
http://www.frontiersin.org/files/Articles/181674/fninf-10-00009-HTML/image_m/fninf-10-00009-g008.jpg

106. Przykłady wizualizacji
106
http://nlp.yvespeirsman.be/images/glove-word-embeddings-crime-and-punishment.png

107. Przykłady wizualizacji
107
http://opensource.datacratic.com/mtlpy50/my_redditmap.png

108. Kodzik t-sne
108
https://www.youtube.com/watch?v=yQsOFWqpjkE

109. Kodzik t-sne
109
https://www.youtube.com/watch?v=yQsOFWqpjkE

110. O czym sobie nie powiedzieliśmy
110
https://image.slidesharecdn.com/dimensionalityreduction-140129163722-phpapp02/95/visualization-using-tsne-2-638.jpg

111. 111
Pytania?
Kontakt:
grzegorz.gwardys@promity.pl,
d.grzywczak@ire.pw.edu.pl
grzegorzgwardys.ml
Dziękujemy!