Event Detection in Large Scale Image Collections

1. Αναγνώριση γεγονότων σε μεγάλες
συλλογές εικόνων
Μετρικές ομοιότητας για τον εντοπισμό κείμενων που αναφέρονται
στο ίδιο γεγονός
ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ
ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ
ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ
& ΜΗΧΑΝΙΚΩΝ ΥΠΟΛΟΓΙΣΤΩΝ
Εκπόνηση: Επιβλέπων καθηγητής:
Ιφιγένεια Θεοδωρίδου Περικλής Α. Μήτκας
AEM:8075

2. Το πρόβλημα της αναγνώρισης γεγονότων
Feature pivot
Ανίχνευση χαρακτηριστικών (π.χ.
ετικετών) που παρουσιάζουν
ιδιόμορφη συμπεριφορά σε χρονικά ή
χωρικά παράθυρα
Document pivot
Ομαδοποίηση εικόνων, έτσι ώστε κάθε
συστάδα εικόνων να αναφέρεται στο
ίδιο γεγονός
Θεσσαλονίκη, 2018 2
Χώρο-χρονική κατανομή των περιστατικών χρήσης της
ετικέτας bodybuilder

3. Σκοπός της διπλωματικής εργασίας
Θεσσαλονίκη, 2018 3
• Αναγνώριση εικόνων που αναπαριστούν κοινά γεγονότα
• Δημιουργία ενιαίας αναπαράστασης κειμένου
• Ανάπτυξη μετρικών ομοιότητας για τον εντοπισμό εννοιολογικής
συνάφειας μεταξύ κειμένων
Στόχοι
• Ετερογένεια κειμένου ως προς το περιεχόμενο
• Συνωνυμία
• Πολυσημία
Δυσκολίες

4. Γνώσεις που αποκτήθηκαν
Θεσσαλονίκη, 2018 4
• Μηχανική μάθηση – Τεχνητά Νευρωνικά δίκτυα
• Επεξεργασία φυσικής γλώσσας (NLP)
Επιστημονικοί τομείς
• Μη σχεσιακές βάσεις δεδομένων
• Python
Προγραμματισμός

5. Εργαλεία
• Βιβλιοθήκη για deep learning
για υλοποίηση σε python
• MongoDB
• Βιβλιοθήκη για επεξεργασία
κειμένου σε python
Θεσσαλονίκη, 2018 5

6. Μεθοδολογία
Σύγκριση εννοιολογικής συνάφειας περιγραφών
Χρήση νευρωνικών δικτύων
Σύγκριση περιγραφών σε
ζευγάρια
Αποτέλεσμα 0 (διαφορετικό
γεγονός) ή 1 (ίδιο γεγονός)
Διανυσματική αναπαράσταση περιγραφής
Δημιουργία διανυσματικής αναπαράστασης
μεμονωμένων λέξεων
Δημιουργία διανυσματικών αναπαραστάσεων
κειμένου από τα μοντέλα νευρωνικών δικτύων
Λήψη περιγραφής – Προ-επεξεργασία
Οι εικόνες αντιπροσωπεύονται από κείμενο
Θεσσαλονίκη, 2018 6

7. Βασικές έννοιες και
τεχνολογίες
Θεσσαλονίκη, 2018 7

8. Δημιουργία διανυσματικών λέξεων
• Αναπαράσταση λέξεων στον
διανυσματικό χώρο (word
embeddings)
• Κωδικοποίηση γλωσσικών κανόνων
και εννοιολογικών σχέσεων
Αλγόριθμοι word2vec
• Bag-of-words (CBOW)
• Skip-gram
Θεσσαλονίκη, 2018 8
Δισδιάστατη προβολή των διανυσμάτων των χωρών και των πρωτευουσών
όπως προκύπτουν από το μοντέλο Skip-gram

9. Μοντέλο CBOW
• Εύρεση της λέξης στόχου στην πρόταση
δεδομένων των λέξεων πλαισίου -
𝑝(𝑤𝑡|𝑤𝑡−𝑘, … , 𝑤𝑡+𝑘)
• Είσοδος one-hot κωδικοποιημένα διανύσματα
μήκους V (μήκος λεξιλογίου)
• Στόχος η μεγιστοποίηση της πιθανότητας:
𝑡=𝑘
𝐶−𝑘
𝑙𝑜𝑔𝑝
• Διανυσματικές αναπαραστάσεις λέξεων:
𝑊𝑉𝑥𝑁
Θεσσαλονίκη, 2018 9

10. Δομή και λειτουργία των Νευρωνικών Δικτύων
Συνέλιξης (CNN)
Ταξινόμηση κειμένων
• Είσοδος: πίνακας όπου οι γραμμές
είναι οι διανυσματικές
αναπαραστάσεις των λέξεων
• Εφαρμογή 1D φίλτρων ευρείας ή
στενής συνέλιξη
• Επίπεδο συγκέντρωσης (pooling
layer): μέσος όρος ή εύρεση μεγίστου
• Επίπεδο συνένωσης (join layer) –
διανυσματική αναπαράσταση
κειμένου
• Softmax επίπεδο
Θεσσαλονίκη, 2018 10

11. Δομή και λειτουργία Gated Recurrent Unit
• Νευρωνικά δίκτυα με βρόχους επανάληψης (recurrent neural
networks)
• Διατήρηση και απόρριψη πληροφοριών από το παρελθόν
Θεσσαλονίκη, 2018 11

12. Προτεινόμενα μοντέλα
Ταξινόμηση κειμένων στο ίδιο γεγονός
Θεσσαλονίκη, 2018 12

13. Αθροιστικό Μοντέλο (Sum)
ΘΕΣΣΑΛΟΝΊΚΗ, 2018 13
• Υπολογισμός αθροίσματος
διανυσματικών λέξεων στο 2ο
επίπεδο
• Επίπεδο συνένωσης:
𝑥𝑗𝑜𝑖𝑛 = 𝑥 𝑞
𝑇
; 𝑥 𝑠𝑖𝑚; 𝑥 𝑑
𝑇
; 𝑥 𝑠𝑖𝑚2
𝑠𝑖𝑚 𝑥 𝑞, 𝑥 𝑑 = 𝑥 𝑞
𝑇
𝑀𝑥 𝑑
𝑠𝑖𝑚2 𝑥 𝑞, 𝑥 𝑑 = 𝑑𝑜𝑡(𝑥 𝑞, 𝑥 𝑑)

14. Μοντέλο με Νευρωνικά Δίκτυα Συνέλιξης (CNN)
Θεσσαλονίκη, 2018 14
• Δημιουργία χαρτών χαρακτηριστικών του κειμένου μέσω πράξεων συνέλιξης στο 2ο επίπεδο

15. Μοντέλο με Gated Recurrent Units
Θεσσαλονίκη, 2018 15
• Μονάδα GRU με βρόχους επανάληψης για την επιλεκτική διατήρηση και απόρριψη πληροφοριών από
το παρελθόν στο 2ο επίπεδο του νευρωνικού δικτύου

16. Συνδυαστικό μοντέλο:
CNN + GRU
• Παράλληλη σύνδεση των δικτύων
CNN και GRU
• Επίπεδο συνένωσης των παράλληλων
αρχιτεκτονικών:
𝑦𝑗𝑜𝑖𝑛 = [𝑥 𝑞
𝑇
; 𝑥 𝑠𝑖𝑚; 𝑥 𝑑
𝑇
; 𝑥 𝑠𝑖𝑚2; ℎ 𝑞
𝑇
;
ℎ 𝑔𝑟𝑢_𝑠𝑖𝑚; ℎ 𝑑
𝑇
; ℎ 𝑔𝑟𝑢_𝑠𝑖𝑚2]
Θεσσαλονίκη, 2018 16

17. Συνδυαστικό μοντέλο: GRU on CNN
Θεσσαλονίκη, 2018 17
• Σύνδεση σε σειρά των δικτύων CNN και GRU
• Το μοντέλο GRU εφαρμόζεται στην έξοδο του CNN
• Το επαναληπτικό μοντέλο δεν εφαρμόζεται σε μεμονωμένες λέξεις όπως στην περίπτωση του απλού
GRU αλλά σε σημασιολογικές δομές που αποτυπώνει το CNN

18. Πειραματική αξιολόγηση
Θεσσαλονίκη, 2018 18

19. Σύνολα εκπαίδευσης
Θεσσαλονίκη, 2018 19
Yahoo Flickr Creative
Commons 100 Million
• Flickr
• 99,2 εκατομμύρια εικόνες
• Δημοσιεύτηκαν 2004 – 2014
• 69% των εικόνων έχουν
περιγραφή
• Χρήση: εφαρμογή word2vec
για εξαγωγή διανυσματικών
λέξεων
MediaEval Social Event
Detection 2013, 2014
• Flickr
• Κάθε εικόνα αναπαριστά ένα
κοινωνικό γεγονός
• 32.686 γεγονότα
• 372.509 με περιγραφή
• Χρήση: εκπαίδευση και
αξιολόγηση προτεινόμενων
μοντέλων

20. Εκπαίδευση και αξιολόγηση των μοντέλων
• Μετρική αξιολόγησης: ακρίβεια (accuracy)
𝐴𝐶𝐶 =
𝑇𝑃 + 𝑇𝑁
𝑃 + 𝑁
• Μέθοδος αξιολόγησης: k-cross validation (k=5)
• Συνάρτησης κόστους: binary cross entropy
Εκπαίδευση:
• 30 εποχές, 200 batches
• 20.000 ζεύγη εικόνων κοινών γεγονότων, 20.000 ζεύγη εικόνων
διαφορετικών γεγονότων
Θεσσαλονίκη, 2018 20

21. Παράμετροι εκπαίδευσης
• Μέγιστος αριθμός λέξεων εισόδου = 100
• Dropout rate = 0,25
• Συνάρτηση βελτιστοποίησης: nadam
CNN
• Πλάτος φίλτρων συνέλιξης = 5
• Αριθμός φίλτρων συνέλιξης = 100
GRU
• Μήκος διανύσματος εξόδου = 100
Θεσσαλονίκη, 2018 21

22. Συγκριτικά αποτελέσματα των μοντέλων
Μέσος όρος των 5 διαχωρισμών των δεδομένων ανά εποχή, για κάθε μετρική
Θεσσαλονίκη, 2018 22
0.50
0.55
0.60
0.65
0.70
0.75
0.80
0.85
0.90
0.95
1.00
1 3 5 7 9 11 13 15 17 19 21 23 25 27 29
validationaccuracy
epoch
average_embedding_model
cnn_model
cnn_plus_gru_model
gru_model
gru_on_cnn_model
0.00
0.05
0.10
0.15
0.20
0.25
0.30
0.35
0.40
0.45
0.50
0.55
0.60
0.65
0.70
1 3 5 7 9 11 13 15 17 19 21 23 25 27 29
validationloss epoch
average_embedding_model
cnn_model
cnn_plus_gru_model
gru_model
gru_on_cnn_model
0.50
0.55
0.60
0.65
0.70
0.75
0.80
0.85
0.90
0.95
1.00
1 3 5 7 9 11 13 15 17 19 21 23 25 27 29
accuracy
epoch
sum_embedding_model
cnn_model
cnn_plus_gru_model
gru_model
gru_on_cnn_model
0.00
0.05
0.10
0.15
0.20
0.25
0.30
0.35
0.40
0.45
0.50
0.55
0.60
0.65
0.70
0.75
0.80
1 3 5 7 9 11 13 15 17 19 21 23 25 27 29
loss
epoch
sum_embedding_model
cnn_model
cnn_plus_gru_model
gru_model
gru_on_cnn_model

23. Συγκριτικά αποτελέσματα των μοντέλων
Μέσος όρος των 5 διαχωρισμών των δεδομένων για κάθε μετρική για την 30η εποχή
Θεσσαλονίκη, 2018 23
0.979
0.943
0.942
0.907
0.690
0.60
0.62
0.64
0.66
0.68
0.70
0.72
0.74
0.76
0.78
0.80
0.82
0.84
0.86
0.88
0.90
0.92
0.94
0.96
0.98
1.00
validationaccuracy
gru_on_cnn_model
cnn_plus_gru_model
cnn_model
average_embedding_model
gru_model
0.070
0.161
0.166
0.214
0.534
0.00
0.05
0.10
0.15
0.20
0.25
0.30
0.35
0.40
0.45
0.50
0.55
validationloss
gru_on_cnn_model
cnn_model
cnn_plus_gru_model
average_embedding_model
gru_model
0.989
0.962
0.957
0.890
0.691
0.60
0.62
0.64
0.66
0.68
0.70
0.72
0.74
0.76
0.78
0.80
0.82
0.84
0.86
0.88
0.90
0.92
0.94
0.96
0.98
1.00
accuracy
gru_on_cnn_model
cnn_plus_gru_model
cnn_model
sum_embedding_model
gru_model
0.035
0.108
0.121
0.272
0.534
0.00
0.05
0.10
0.15
0.20
0.25
0.30
0.35
0.40
0.45
0.50
0.55
loss
gru_on_cnn_model
cnn_plus_gru_model
cnn_model
sum_embedding_model
gru_model

24. Συγκριτικά αποτελέσματα των μοντέλων
Οι τιμές των μετρικών για κάθε ένα από τους διαχωρισμούς των δεδομένων την 30η
εποχή
Θεσσαλονίκη, 2018 24
0.50
0.55
0.60
0.65
0.70
0.75
0.80
0.85
0.90
0.95
1.00
split1 split2 split3 split4 split5
validationaccuracy
average_embedding_model
cnn_model
cnn_plus_gru_model
gru_model
gru_on_cnn_model
0.00
0.05
0.10
0.15
0.20
0.25
0.30
0.35
0.40
0.45
0.50
0.55
0.60
0.65
0.70
split1 split2 split3 split4 split5validationloss
average_embedding_model
cnn_model
cnn_plus_gru_model
gru_model
gru_on_cnn_model
0.50
0.55
0.60
0.65
0.70
0.75
0.80
0.85
0.90
0.95
1.00
split1 split2 split3 split4 split5
accuracy
sum_embedding_model
cnn_model
cnn_plus_gru_model
gru_model
gru_on_cnn_model
0.00
0.05
0.10
0.15
0.20
0.25
0.30
0.35
0.40
0.45
0.50
0.55
0.60
0.65
0.70
split1 split2 split3 split4 split5
loss
sum_embedding_model
cnn_model
cnn_plus_gru_model
gru_model
gru_on_cnn_model

25. Επίδραση των διανυσματικών λέξεων
Προ-
εκπαιδευμένες
διανυσματικές
λέξεις
Τυχαίες
διανυσματικές
λέξεις
accuracy
accuracy
Θεσσαλονίκη, 2018 25
0.45
0.50
0.55
0.60
0.65
0.70
0.75
0.80
0.85
0.90
0.95
1.00
1 3 5 7 9 11 13 15 17 19 21 23 25 27 29
accuracy
epoch
cnn_random_embeddings
cnn_model

26. Συμπεράσματα – Περαιτέρω διερεύνηση
• Σημαντική η χρήση προ-εκπαιδευμένων διανυσματικών λέξεων
• Ενθαρρυντικά αποτελέσματα από την χρήση CNN
• Ο σωστός συνδυασμός των αρχιτεκτονικών CNN, RNN βελτιώνει
την ακρίβεια των αποτελεσμάτων
Συμπεράσματα
• Προσθήκη επιπλέον χαρακτηριστικών στο επίπεδο συνένωσης
• Εφαρμογή αλγορίθμου ομαδοποίησης
Μελλοντικές επεκτάσεις
Θεσσαλονίκη, 2018 26

27. Θα ήθελα να ευχαριστήσω ιδιαίτερα τον Μάνο Σχοινά για τη
συνεχή, πολύτιμη βοήθειά και καθοδήγηση του.
Ευχαριστώ για την προσοχή σας
Θεσσαλονίκη, 2018 27