Γραφική Επεξεργασία Σήµατος σε Μεγάλους Γράφους
Τα τελευταία χρόνια έχει καταστεί δηµοφιλής η ανάλυση σχεσιακών δεδοµένων οργανώνο ντας δείγµατα ως κορυφές γράφων µε ακµές τις µεταξύ τους συσχετίσεις. ΄Ενα διαδεδοµένο εργαλείο για την ανάλυση γράφων -ιδιαίτερα όταν αυτοί περιγράφουν δεδοµένα µεγάλης κλίµακας- είναι η γραφική επεξεργασία σήµατος. Αυτή η ϑεωρία γενικεύει την ψηφιακή επεξεργασία σήµατος µε τον ορισµό γραφικών ϕίλτρων, τα οποία εκτελούν µετατοπίσεις πληροφορίας µεταξύ γειτονικών κορυφών ως ισοδύναµο του ϕασµατικού ϕιλτραρίσµατος στον χώρο των ιδιοτιµών. ∆υστυχώς, γραφικά ϕίλτρα που παρέχονται από συστήµατα δια χείρισης και ανάλυσης γράφων συνήθως δεν µπορούν να επεξεργαστούν δεδοµένα µεγάλης κλίµακας που ξεπερνούν τη χωρητικότητα της µνήµης τυχαίας προσπέλασης (RAM) των υπολογιστικών υποδοµών. ΄Ετσι, η χρήση τους περιορίζεται από το πλήθος των ακµών που µπορούν να επεξεργαστούν ταυτόχρονα. Αυτή η διπλωµατική εξετάζει υποσχόµενες τεχνικές για την εκτέλεση του γραφικού ϕιλτραρίσµατος όταν υποκείµενα υπολογιστικά συ στήµατα µπορούν να διατηρήσουν στη µνήµη µόνο τις κορυφές αλλά όχι τις ακµές γράφων (οι κορυφές είναι συχνά εκατοντάδες ϕορές λιγότερες σε πλήθος). Για την ακρίβεια, προ τείνεται ότι οι ακµές µπορούν να αποθηκευτούν σε µόνιµα µέσα αποθήκευσης, όπως ο σκληρός δίσκος, και µελετώνται δύο τρόποι οργάνωσής τους για αποτελεσµατική διάσχι ση κατά τον υπολογισµό ϕίλτρων γράφων, εκ των οποίων ο πρώτος αποθηκεύει όλες τις ακµές σε ένα αρχείο ανά γράφο, ενώ ο δεύτερος αποθηκεύει τις ακµές σε ένα αρχείο ανά σχετιζόµενη κορυφή. Οι προσεγγίσεις αυτές υλοποιούνται σε ένα σύστηµα διαχείρισης και ϕιλτραρίσµατος µεγάλων γράφων στη γλώσσα προγραµµατισµού Java, το οποίο εκτελείται τοπικά σε µηχάνηµα µε ενδεχοµένως περιορισµένη µνήµη. Πειραµατική σύγκριση µε ισοδύναµες υλοποιήσεις που διατηρούν όλες τις ακµές στη µνήµη τυχαίας προσπέλασης δείχνουν ότι οι προτεινόµενες τεχνικές επιτρέπουν γραφική επεξεργασία σήµατος ακόµη και όταν οι γράφοι υπερβαίνουν τη χωρητικότητας της µνήµης. Τέλος, αναλύονται οι α συµπτωτικοί και ωρολογιακοί χρόνοι εκτέλεσης των επιµέρους λειτουργιών συγκρινόµενων προσεγγίσεων, καταλήγοντας σε διαφορετική προτεινόµενη προσέγγιση για διαφορετικούς τρόπους χρήσης του ανεπτυγµένου συστήµατος.
Recommended
Recommended
More Related Content
Similar to Γραφική Επεξεργασία Σήµατος σε Μεγάλους Γράφους
Similar to Γραφική Επεξεργασία Σήµατος σε Μεγάλους Γράφους (8)
More from ISSEL
More from ISSEL (20)
Γραφική Επεξεργασία Σήµατος σε Μεγάλους Γράφους
- 1. Γραφική Επεξεργασία Σήματος σε Μεγάλους Γράφους Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης Πολυτεχνική Σχολή Τμήμα Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών Κεσσόπουλος Ιωάννης Α.Ε.Μ. : 9271 Θεσσαλονίκη, Δεκέμβριος 2022 Επιβλέποντες : Ανδρέας Συμεωνίδης Καθηγητής Α.Π.Θ. Εμμανουήλ Κρασανάκης Υποψήφιος Διδάκτωρ
- 2. Ορισμός Προβλήματος Γραφική Επεξεργασία Σήματος σε Μεγάλους Γράφους 2 Κεσσόπουλος Ι.
- 3. Γράφοι Γραφική Επεξεργασία Σήματος σε Μεγάλους Γράφους 3 Α Β Γ Δ Ε Ζ Κεσσόπουλος Ι.
- 4. Γραφική Επεξεργασία Σήματος Εργαλείο εξαγωγής συμπερασμάτων απο γράφους ⮚Γενίκευση της ψηφιακής επεξεργασίας σήματος ⮚Επιτρέπει τον ορισμό γραφικών φίλτρων Γραφική Επεξεργασία Σήματος σε Μεγάλους Γράφους 4 Κεσσόπουλος Ι.
- 5. Γραφική Επεξεργασία Σήματος Πολλές εφαρμογές : Εύρεση σημαντικών κορυφών Επιλογή ακμών Εύρεση γειτονιών κτλ 5 Γραφική Επεξεργασία Σήματος σε Μεγάλους Γράφους Κεσσόπουλος Ι.
- 6. Γραφικά Φίλτρα Γραφική Επεξεργασία Σήματος σε Μεγάλους Γράφους 6 Α Β Γ Δ Ε Ζ Α Β Γ Δ Ε Ζ Κεσσόπουλος Ι.
- 7. Γραφικά Φίλτρα 7 Γραφικό φίλτρο r = H(W) q H(W)= 𝑎0 + 𝑎1W + 𝑎2𝑊2 + ... + 𝑎𝑘𝑊𝑘 π.χ. 𝑊𝑖𝑗 = 1 𝑑𝑒𝑔𝑟𝑒𝑒𝑖 𝑑𝑒𝑔𝑟𝑒𝑒𝑗 Για γρήγορη υλοποίηση 𝑊𝑘 q = W(𝑊(𝑘−1) q) Γραφική Επεξεργασία Σήματος σε Μεγάλους Γράφους Κεσσόπουλος Ι.
- 8. Διαχείριση γράφων με no-sql συστήματα Γραφική Επεξεργασία Σήματος σε Μεγάλους Γράφους 8 16GB Δεδομέν α Σύστημα Διαχείρισης Γράφου Get Κεσσόπουλος Ι. 30k Κορυφές 0.4GB 100k ακμές 0.6G
- 9. Διαχείριση γράφων με no-sql συστήματα Γραφική Επεξεργασία Σήματος σε Μεγάλους Γράφους 9 16GB Δεδομέν α Σύστημα Διαχείρισης Γράφου Get Κεσσόπουλος Ι. 5M κορυφές 6 GB 100Μ ακμές 20 GB
- 10. Κίνητρο Γραφική Επεξεργασία Σήματος σε Μεγάλους Γράφους 10 Κεσσόπουλος Ι.
- 11. Κίνητρο Γράφοι > Διαθέσημη Μνήμη RAM Πρόταση : Χρήση εναλλακτικών μέσων αποθήκευσης ⮚Τμηματική φόρτωση του γράφου κατά την υλοποίηση ⮚Βελτίωση χρόνου εκτέλεσης γραφικών φίλτρων Γραφική Επεξεργασία Σήματος σε Μεγάλους Γράφους 11 Κεσσόπουλος Ι.
- 12. Μεθοδολογία - Υλοποίηση Γραφική Επεξεργασία Σήματος σε Μεγάλους Γράφους 12 Κεσσόπουλος Ι.
- 13. Διαχείριση γράφων ⮚Διαχείριση με tinkerpop (RAM) ⮚Σύστημα με γρήγορη προσπέλαση ακμών (RAM) Πρόταση: κορυφές στη RAM, ακμές στο δίσκο ⮚DiscGraph ⮚PartitionedDiscGraph Γραφική Επεξεργασία Σήματος σε Μεγάλους Γράφους 13 Κεσσόπουλος Ι.
- 14. Διαχείριση γράφων με no-sql συστήματα Γραφική Επεξεργασία Σήματος σε Μεγάλους Γράφους 14 16GB Δεδομέν α Σύστημα Διαχείρισης Γράφου Get Κεσσόπουλος Ι. 5M κορυφές 6 GB 100Μ ακμές 20 GB
- 15. Διαχείριση γράφων με χρήση του σκληρού δίσκου Γραφική Επεξεργασία Σήματος σε Μεγάλους Γράφους 15 Δεδομέν α Σύστημα Διαχείρισης Γράφου Get Κεσσόπουλος Ι. 16GB 5M κορυφές 6 GB 512 GB 100Μ ακμές 20 GB
- 16. Υλοποίηση Βιβλιοθηκη διαχειρισης γραφων και ορισμου γραφικων φιλτρων ⮚Java ⮚4 συστήματα διαχειρισης γραφων ⮚2 Γραφικα φιλτρα Προσωποποιημένος PageRank α=(1−α)𝑎𝑛 HeatKernels 𝛼𝑛=𝑒(−𝑡) 𝑡𝑛 𝑛! ⮚4 Μετρικες αξιολόγησης γραφικου φιλτραρισματος Γραφική Επεξεργασία Σήματος σε Μεγάλους Γράφους 16 Κεσσόπουλος Ι.
- 17. Πειράματα Γραφική Επεξεργασία Σήματος σε Μεγάλους Γράφους 17 Κεσσόπουλος Ι.
- 18. Πειραματική Διαδικασία Χρόνοι εκτέλεσης ⮚για βασικές συναρτήσεις ⮚για 2 γραφικά φίλτρα 6 Γράφοι ⮚2 χιλιάδες - 3 εκατομμύρια κορυφές ⮚5 χιλιάδες - 117 εκατομμύρια ακμές Γραφική Επεξεργασία Σήματος σε Μεγάλους Γράφους 18 Κεσσόπουλος Ι.
- 19. Αποτελέσματα Γραφική Επεξεργασία Σήματος σε Μεγάλους Γράφους 19 Κεσσόπουλος Ι.
- 20. Αποτελέσματα – 1ο Μέρος Μνήμη : μικρότεροι χρόνοι απόκρισης, αδυναμία επεξεργασίας ολόκληρου του γράφου PartitionedDiscGraph : μεγάλες καθυστερήσεις στην επιστροφή των ακμών DiscGraph: καθυστερήσεις στην διαγραφή ακμής, σταθερότητα στην προσθήκη ακμής Γραφική Επεξεργασία Σήματος σε Μεγάλους Γράφους 20 Κεσσόπουλος Ι.
- 21. Αποτελέσματα – 1ο Μέρος Γραφική Επεξεργασία Σήματος σε Μεγάλους Γράφους 21 Κεσσόπουλος Ι.
- 22. Αποτελέσματα – 2ο Μέρος • LoadedGraph: αδυναμία εκτέλεσης φίλτρων στους μεγάλους γράφους • TinkerPop : αδυναμία εκτέλεσης γραφικών φίλτρων ακόμη και στους μεσαίους γράφους • PartitionedDiscGraph : μεγάλες καθυστερήσεις που προκύπτουν από την επιστροφή ακμών • DiscGraph : χρόνοι ίδιας κλίμακας με τη μνήμη, αποτελεσματική και γρήγορη ακόμα και σε μεγάλους γράφου Γραφική Επεξεργασία Σήματος σε Μεγάλους Γράφους 22 Ενδεικτικά αποτελέσματα Κεσσόπουλος Ι.
- 23. Συμπεράσματα Γραφική Επεξεργασία Σήματος σε Μεγάλους Γράφους 23 Κεσσόπουλος Ι.
- 24. Συμπεράσματα 1/2 Χρήση μνήμης ⮚μικρότεροι χρόνοι απόκρισης ⮚αδυναμία επεξεργασίας μεγάλων γράφων ⮚Στο επίπεδο υπολογιστή, πιο αποδοτική από υπάρχουσα βιβλιογραφία Γραφική Επεξεργασία Σήματος σε Μεγάλους Γράφους 24 Κεσσόπουλος Ι.
- 25. Συμπεράσματα 2/2 Χρήση σκληρού δίσκου ⮚Μεγαλύτεροι χρόνοι απόκρισης ⮚Μη αποδοτική αν χρησιμοποιούνται πολλαπλά αρχεία ⮚Ικανότητα διαχείρισης μεγάλων γράφων ⮚Εξίσου αποδοτική με τη μνήμη στην εκτέλεση γραφικών φίλτρων Γραφική Επεξεργασία Σήματος σε Μεγάλους Γράφους 25 Κεσσόπουλος Ι.
- 26. Ευχαριστώ πολύ για τον χρόνο σας! Ερωτήσεις; Κεσσόπουλος Ι. Γραφική Επεξεργασία Σήματος σε Μεγάλους Γράφους 26