Κωνσταντίνος Παπαγγέλου 7498

ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ
ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ & ΜΗΧΑΝΙΚΩΝ ΥΠΟΛΟΓΙΣΤΩΝ
ΕΡΓΑΣΤΗΡΙΟ ΕΠΕΞΕΡΓΑΣΙΑΣ ΠΛΗΡΟΦΟΡΙΑΣ & ΥΠΟΛΟΓΙΣΜΩΝ
ΠΡΟΣΩΠΟΠΟΙΗΣΗ ΑΠΟΤΕΛΕΣΜΑΤΩΝ
ΜΗΧΑΝΩΝ ΑΝΑΖΗΤΗΣΗΣ ΜΕΣΩ
ΕΝΣΩΜΑΤΩΣΗΣ ΣΥΜΠΕΡΙΦΟΡΑΣ ΧΡΗΣΤΩΝ
ΚΑΙ ΣΗΜΑΣΙΟΛΟΓΙΚΩΝ ΔΕΔΟΜΕΝΩΝ
Παπαγγέλου Κων/νος
Υπό την επίβλεψη του κ. Ανδρέα Λ. Συμεωνίδη
Επίκουρου Καθηγητή ΤΗΜΜΥ ΑΠΘ
Θεσσαλονίκη 2015

ΔΟΜΗ ΤΗΣ ΠΑΡΟΥΣΙΑΣΗΣ
 ΕΙΣΑΓΩΓΗ
 ΥΠΑΡΧΟΥΣΕΣ ΠΡΟΣΕΓΓΙΣΕΙΣ
 ΣΚΟΠΟΣ ΤΗΣ ΔΙΠΛΩΜΑΤΙΚΗΣ
 ΣΥΣΤΗΜΑ ΔΗΜΙΟΥΡΓΙΑΣ ΠΡΟΦΙΛ
 ΣΥΣΤΗΜΑ ΑΝΑΛΥΣΗΣ ΙΣΤΟΡΙΚΟΥ
 ΠΑΡΟΥΣΙΑΣΗ ΑΠΟΤΕΛΕΣΜΑΤΩΝ
 ΜΕΛΛΟΝΤΙΚΗ ΕΡΓΑΣΙΑ
8/7/2016 1
ΠΡΟΣΩΠΟΠΟΙΗΣΗ ΑΠΟΤΕΛΕΣΜΑΤΩΝ ΜΗΧΑΝΩΝ ΑΝΑΖΗΤΗΣΗΣ ΜΕΣΩ ΕΝΣΩΜΑΤΩΣΗΣ
ΣΥΜΠΕΡΙΦΟΡΑΣ ΧΡΗΣΤΩΝ ΚΑΙ ΣΗΜΑΣΙΟΛΟΓΙΚΩΝ ΔΕΔΟΜΕΝΩΝ

ΕΙΣΑΓΩΓΗ
 Πλήθος δεδομένων
 Μεγάλος αριθμός εφαρμογών
 Διαφήμιση (Online Advertising)
 Εξατομικευμένη Αναζήτηση (Personalized Search)
 Συστήματα Συστάσεων (Recommender Systems)
8/7/2016 2
Τοποθεσία
Φύλο
Επάγγελμα
Πληροφορίες από μέσα
κοινωνικής δικτύωσης
Ιστορικό περιήγησης

ΥΠΑΡΧΟΥΣΕΣ ΠΡΟΣΕΓΓΙΣΕΙΣ
ΜΗΧΑΝΕΣ ΑΝΑΖΗΤΗΣΗΣ
 Agichtein et al. (2006): βελτίωση κατάταξης με χρήση δεδομένων κλικ
 Teevan et al. (2009): βελτίωση προσωποποιημένων αποτελεσμάτων με
χρήση ομάδων
ΣΥΣΤΗΜΑΤΑ ΣΥΣΤΑΣΕΩΝ
 Liu et al. (2010): σύστημα συστάσεων ειδήσεων βασισμένο σε δεδομένα
κλικ
 Elkahky et al. (2015): χρήση του αλγορίθμου Deep Neural Network σε
συνδυασμό με δεδομένα από διαφορετικές εφαρμογές
8/7/2016 3

ΣΚΟΠΟΣ ΤΗΣ ΔΙΠΛΩΜΑΤΙΚΗΣ
 Παρουσίαση σχετικών εφαρμογών
 Αναγνώριση των ενδιαφερόντων των χρηστών με χρήση του
ιστορικού περιήγησης
 Δημιουργία προφίλ σχετικών με κάποιο αντικείμενο με χρήση του
αλγορίθμου LDA
 Ανάθεση των προφίλ στους χρήστες ανάλογα με τις σελίδες που
επισκέπτονται
 Άμεσο feedback από τους χρήστες μέσω ενός Google Chrome
Extension
8/7/2016 4

8/7/2016 5

ΣΥΣΤΗΜΑ ΔΗΜΙΟΥΡΓΙΑΣ ΠΡΟΦΙΛ
8/7/2016 6
Προφίλ
ερώτημα 1
ερώτημα 2
ερώτημα 3
...
API
Μηχανής
Αναζήτησης
LDA
Επιλογή k
Κορυφαίων
Θεμάτων
Επιλογή n
Λέξεων/Θέμα
Σχηματισμός
Διανύσματος
Λέξεων Προφίλ
Μετεπεξεργασία
Διανύσματος
Τελικό Διάνυσμα
Διάνυσμα Λέξεων
Γενικού Πεδίου
Επεξεργασία
Σελίδων

ΕΠΕΞΕΡΓΑΣΙΑ ΣΕΛΙΔΩΝ
 Αφαίρεση stop words
 Lemmatization
 Αφαίρεση λέξεων ανάλογα με τη συχνότητα εμφάνισης
 >70% των σελίδων
 Μία μόνο σελίδα
8/7/2016 7

ΣΧΗΜΑΤΙΣΜΟΣ ΔΙΑΝΥΣΜΑΤΟΣ ΛΕΞΕΩΝ
1. Επιλογή κορυφαίων θεμάτων βάσει της κατανομής των θεμάτων
ανά κείμενο - p(topicj|documentd) ≡ θjd
 Πλήθος κειμένων για τα οποία θjd > 1/αριθμός θεμάτων
2. Επιλογή κορυφαίων λέξεων βάσει της κατανομής των λέξεων ανά
θέμα - p(wordi|topicj) ≡ φij
3. Αφαίρεση γενικών λέξεων
8/7/2016 8

8/7/2016 9

ΣΥΣΤΗΜΑ ΑΝΑΛΥΣΗΣ ΙΣΤΟΡΙΚΟΥ
8/7/2016 10
ιστορικό
περιήγησης
επιλογή
ενός URL
συλλογή
προφίλ
επιλογή ενός
προφίλ
εξαγωγή
περιεχομένου
μετεπεξεργασία
κειμένου
λημματοποίηση
(lemmatization)
υπολογισμός
relevance
score
σημασιολογικός
υπομνηματισμός
υπολογισμός
semantic και
confidence
score
υπολογισμός τελικού
σκορ του URL ως προς
το προφίλ

ΥΠΟΛΟΓΙΣΜΟΣ ΤΩΝ ΣΚΟΡ
Relevance Score
Ποσοστό λέξεων του προφίλ που εμφανίζονται στη σελίδα
 Σημασιολογικός υπομνηματισμός με χρήση του DBpedia Spotlight
 Entities & Categories
Semantic Score
Προκύπτει ως ο μέσος όρος των εξής ποσοστών:
1. Ποσοστό των οντοτήτων που περιέχουν λέξεις του προφίλ
2. Ποσοστό των κατηγοριών που περιέχουν λέξεις του προφίλ
8/7/2016 11

ΥΠΟΛΟΓΙΣΜΟΣ ΤΩΝ ΣΚΟΡ
 Support resource prominence
 Similarity Score topical pertinence
 Percentage of Second Rank contextual ambiguity
Confidence Score
Για το σύνολο των οντοτήτων που περιέχουν λέξεις του προφίλ υπολογίζονται:
 Μέσο Support
 Μέσο Similarity Score
 Ποσοστό οντοτήτων για τις οποίες δεν υπάρχει άλλη υποψήφια οντότητα
8/7/2016 12

ΤΕΛΙΚΑ ΑΠΟΤΕΛΕΣΜΑΤΑ
Total Score = a∙Relevance Score + b∙Semantic Score +
c∙Confidence Score
με a + b + c = 1
 a = 0.6, b = 0.3, c = 0.1
1. Σε κάθε σελίδα ανατίθεται το προφίλ με το μέγιστο σκορ
2. Άθροισμα των σκορ των σελίδων που αναφέρονται σε κάθε προφίλ
3. Επιλογή τελικών προφίλ
4. Κατάταξη ανάλογα με το ποσοστό επί του αθροίσματος των σκορ όλων
των προφίλ
8/7/2016 13

ΑΛΛΗΛΕΠΙΔΡΑΣΗ ΧΡΗΣΤΗ ΜΕ ΤΑ
ΑΠΟΤΕΛΕΣΜΑΤΑ
 Προτείνονται σχετικές σελίδες
 Άμεσο feedback με δυνατότητα επιλογής διαφορετικού επιπέδου
εξειδίκευσης
 Αποστολή ενός σχετικού ερωτήματος
 Σύγκριση του ερωτήματος με τα ήδη υπάρχοντα
(π.χ. Jaro-Winkler distance)
8/7/2016 14

8/7/2016 15

ΣΧΗΜΑΤΙΣΜΟΣ ΠΡΟΦΙΛ
8/7/2016 ΠΡΟΣΩΠΟΠΟΙΗΣΗ ΑΠΟΤΕΛΕΣΜΑΤΩΝ ΜΗΧΑΝΩΝ ΑΝΑΖΗΤΗΣΗΣ ΜΕΣΩ ΕΝΣΩΜΑΤΩΣΗΣ
16
Μουσική Αθλητισμός
Classical
Folk
Jazz
Hip Hop
Electronic
Basketball
Football
Rugby
Tennis
Golf
 25 γενικά ερωτήματα
 20 ερωτήματα για το επίπεδο 0
 30 ερωτήματα για το επίπεδο 1
 50 σελίδες/ερώτημα
 Εύρεση 10 θεμάτων και επιλογή των 5 κορυφαίων
 15 λέξεις/θέμα

ΠΑΡΑΔΕΙΓΜΑΤΑ ΕΡΩΤΗΜΑΤΩΝ
Classical/0
ars nova baroque era music
trio sonata opera buffa
8/7/2016 17
Classical/1
andrea bocelli maurice ravel
igor stravinsky edward elgar
Football/0
offside rule penalty kick
free kick soccer goalkeeper
Football/1
premier league history bundesliga fixtures
la liga news champions league scores

ΑΝΤΙΠΡΟΣΩΠΕΥΤΙΚΑ ΠΡΟΦΙΛ
Classical/0
festival mass concert classic motet work
john wedding cd amazon view century
track nova violin string classical form
saxophone solo instrument flute piano romantic
sheet browse bwv minor part style
prelude bach sebastian sonata johann composer
score trio major fugue partita baroque
period opera musical movement write
8/7/2016 18

Classical/1
richard bbc opera joan domingo pavarottus
link sutherland orchestra uk www http
clip rachmaninoff grieg op violin rv
string vivaldus orchestral tchaikovsky symphony stravinsky
piano concerto naxo include musical death
work performance wagner life article composer
handel mendelssohn make ii write brahm
johann sonata major strauss beethoven track
mozart gershwin elgar amazon view andrea
bocellus
8/7/2016 19

Football/0
active training referee youth camp contact
club information tip sport coach child
goal law goalkeeper penalty line rule
foul ball offside kick field throw
opponent free pass drill score attack
skill coaching position defender app de
facebook google point www online http
news manchester sign fair city uefa
cup
8/7/2016 20

Football/1
chelsea sky everton city unite premier
liverpool aston manchester round west newcastle
fa villa arsenal agg read ago
tweet result fixture fifa ar twitter
id favorite day live liga juventus
real munich bayern ft bet la
barcelona odds atletico madrid fc uefa
move star edit sign back delete
soccer goal brazil germany match history
8/7/2016 21

ΠΑΡΑΔΕΙΓΜΑ ΑΝΑΛΥΣΗΣ ΙΣΤΟΡΙΚΟΥ
8/7/2016 22
 Ανάλυση ιστορικού 3 εβδομάδων
 974 URLs

8/7/2016 23
ΑΠΟΤΕΛΕΣΜΑΤΑ
Basketball/1 92.56%
Jazz/0 2.17%
Classical/0 1.84%
Football/1 0.88%
Rugby/0 0.81%
Hip Hop/0 0.69%
Golf/0 0.52%
Folk/0 0.34%
Tennis/0 0.19%

URL Score
en.wikipedia.org/wiki/KK_Crvena_zvezda 0.6114
en.wikipedia.org/wiki/Boston_Celtics 0.5744
en.wikipedia.org/wiki/San_Antonio_Spurs 0.5623
en.wikipedia.org/wiki/Portland_Trail_Blazers 0.5380
en.wikipedia.org/wiki/Nick_Calathes 0.5203
8/7/2016 24
Basketball/1

URL Score
en.wikipedia.org/wiki/Progressive_rock 0.5549
en.wikipedia.org/wiki/Charlie_Parker 0.5479
en.wikipedia.org/wiki/List_of_jazz_genres 0.5161
en.wikipedia.org/wiki/Pearl_Jam 0.4864
en.wikipedia.org/wiki/Joy_Division 0.4121
8/7/2016 25
Jazz/0

8/7/2016 26
URL Score
en.wikipedia.org/wiki/Johann_Sebastian_Bach 0.6134
en.wikipedia.org/wiki/Classical_music 0.5988
en.wikipedia.org/wiki/Baroque_music 0.5498
en.wikipedia.org/wiki/Renaissance_music 0.4893
en.wikipedia.org/wiki/Brandenburg_Concertos 0.4866
Classical/0

8/7/2016 27

ΜΕΛΛΟΝΤΙΚΗ ΕΡΓΑΣΙΑ
 Πειράματα μεγαλύτερης κλίμακας
 Μεγαλύτερου μεγέθους προφίλ
 Διαφορετικός ορισμός των επιπέδων εξειδίκευσης
 Περισσότερα επίπεδα εξειδίκευσης
 Ενίσχυση του σημασιολογικού σκορ
 Dandelion, Αlchemy κ.α.
 Χρήση σελιδοδεικτών (bookmarks), τοποθεσίας ή/και άλλων
δεδομένων
8/7/2016 28

Ερωτήσεις;
Παρατηρήσεις;

Κωνσταντίνος Παπαγγέλου 7498

Recommandé

Recommandé

Contenu connexe

Plus de ISSEL

Plus de ISSEL (20)

Κωνσταντίνος Παπαγγέλου 7498