Check these out next
Graph Signal Processing in Big Graphs
0 j'aime
vues
In recent years, it has become popular to analyse relational data by organizing data samples as vertexes of graphs with edges capturing their relations. A widespread tool to analyse graphs -especially when these describe large scale data- is graph signal processing. This theory generalizes discrete signal processing with the introduction of graph filters, which shift information between neighboring vertices as an equivalent of spectral filtering on the eigenvalue space. Unfortunately, graph filters provided by graph management and analysis systems can not typically process big data beyond the capacity of random access memory (RAM) of computing infrastructure. Thus, their usage is restricted by the number of edges they can simultaneously process. This thesis explores promising techniques that perform graph signal processing when the underlying infrastructure can hold in memory only the vertices but not the edges of graphs (vertices are typically hundreds of times fewer in number). In particular, it pro poses that edges can be stored in permanent storage, such as hard drives, and explores two ways of organizing them for efficient traversal during graph filter computation, the first stores all edges in one file per graph, whereas the second stores edges in one file per related vertex. These approaches are implemented in a large graph management and filtering system written in the Java programming language, which runs in local machines with potential memory limitations. Experimental comparison with equiva lent implementations that maintain all edges in the random access memory show that the proposed techniques facilitate graph signal processing even when graphs exceed memory capacity. Finally, an amortized and wall clock analysis of graph management method run times recommends different techniques for different prospective usage of the developed system.
Graph Signal Processing in Big Graphs
- Γραφική Επεξεργασία Σήματος σε Μεγάλους Γράφους Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης Πολυτεχνική Σχολή Τμήμα Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών Κεσσόπουλος Ιωάννης Α.Ε.Μ. : 9271 Θεσσαλονίκη, Δεκέμβριος 2022 Επιβλέποντες : Ανδρέας Συμεωνίδης Καθηγητής Α.Π.Θ. Εμμανουήλ Κρασανάκης Υποψήφιος Διδάκτωρ
- Ορισμός Προβλήματος Γραφική Επεξεργασία Σήματος σε Μεγάλους Γράφους 2 Κεσσόπουλος Ι.
- Γράφοι Γραφική Επεξεργασία Σήματος σε Μεγάλους Γράφους 3 Α Β Γ Δ Ε Ζ Κεσσόπουλος Ι.
- Γραφική Επεξεργασία Σήματος Εργαλείο εξαγωγής συμπερασμάτων απο γράφους ⮚Γενίκευση της ψηφιακής επεξεργασίας σήματος ⮚Επιτρέπει τον ορισμό γραφικών φίλτρων Γραφική Επεξεργασία Σήματος σε Μεγάλους Γράφους 4 Κεσσόπουλος Ι.
- Γραφική Επεξεργασία Σήματος Πολλές εφαρμογές : Εύρεση σημαντικών κορυφών Επιλογή ακμών Εύρεση γειτονιών κτλ 5 Γραφική Επεξεργασία Σήματος σε Μεγάλους Γράφους Κεσσόπουλος Ι.
- Γραφικά Φίλτρα Γραφική Επεξεργασία Σήματος σε Μεγάλους Γράφους 6 Α Β Γ Δ Ε Ζ Α Β Γ Δ Ε Ζ Κεσσόπουλος Ι.
- Γραφικά Φίλτρα 7 Γραφικό φίλτρο r = H(W) q H(W)= 𝑎0 + 𝑎1W + 𝑎2𝑊2 + ... + 𝑎𝑘𝑊𝑘 π.χ. 𝑊𝑖𝑗 = 1 𝑑𝑒𝑔𝑟𝑒𝑒𝑖 𝑑𝑒𝑔𝑟𝑒𝑒𝑗 Για γρήγορη υλοποίηση 𝑊𝑘 q = W(𝑊(𝑘−1) q) Γραφική Επεξεργασία Σήματος σε Μεγάλους Γράφους Κεσσόπουλος Ι.
- Διαχείριση γράφων με no-sql συστήματα Γραφική Επεξεργασία Σήματος σε Μεγάλους Γράφους 8 16GB Δεδομέν α Σύστημα Διαχείρισης Γράφου Get Κεσσόπουλος Ι. 30k Κορυφές 0.4GB 100k ακμές 0.6G
- Διαχείριση γράφων με no-sql συστήματα Γραφική Επεξεργασία Σήματος σε Μεγάλους Γράφους 9 16GB Δεδομέν α Σύστημα Διαχείρισης Γράφου Get Κεσσόπουλος Ι. 5M κορυφές 6 GB 100Μ ακμές 20 GB
- Κίνητρο Γραφική Επεξεργασία Σήματος σε Μεγάλους Γράφους 10 Κεσσόπουλος Ι.
- Κίνητρο Γράφοι > Διαθέσημη Μνήμη RAM Πρόταση : Χρήση εναλλακτικών μέσων αποθήκευσης ⮚Τμηματική φόρτωση του γράφου κατά την υλοποίηση ⮚Βελτίωση χρόνου εκτέλεσης γραφικών φίλτρων Γραφική Επεξεργασία Σήματος σε Μεγάλους Γράφους 11 Κεσσόπουλος Ι.
- Μεθοδολογία - Υλοποίηση Γραφική Επεξεργασία Σήματος σε Μεγάλους Γράφους 12 Κεσσόπουλος Ι.
- Διαχείριση γράφων ⮚Διαχείριση με tinkerpop (RAM) ⮚Σύστημα με γρήγορη προσπέλαση ακμών (RAM) Πρόταση: κορυφές στη RAM, ακμές στο δίσκο ⮚DiscGraph ⮚PartitionedDiscGraph Γραφική Επεξεργασία Σήματος σε Μεγάλους Γράφους 13 Κεσσόπουλος Ι.
- Διαχείριση γράφων με no-sql συστήματα Γραφική Επεξεργασία Σήματος σε Μεγάλους Γράφους 14 16GB Δεδομέν α Σύστημα Διαχείρισης Γράφου Get Κεσσόπουλος Ι. 5M κορυφές 6 GB 100Μ ακμές 20 GB
- Διαχείριση γράφων με χρήση του σκληρού δίσκου Γραφική Επεξεργασία Σήματος σε Μεγάλους Γράφους 15 Δεδομέν α Σύστημα Διαχείρισης Γράφου Get Κεσσόπουλος Ι. 16GB 5M κορυφές 6 GB 512 GB 100Μ ακμές 20 GB
- Υλοποίηση Βιβλιοθηκη διαχειρισης γραφων και ορισμου γραφικων φιλτρων ⮚Java ⮚4 συστήματα διαχειρισης γραφων ⮚2 Γραφικα φιλτρα Προσωποποιημένος PageRank α=(1−α)𝑎𝑛 HeatKernels 𝛼𝑛=𝑒(−𝑡) 𝑡𝑛 𝑛! ⮚4 Μετρικες αξιολόγησης γραφικου φιλτραρισματος Γραφική Επεξεργασία Σήματος σε Μεγάλους Γράφους 16 Κεσσόπουλος Ι.
- Πειράματα Γραφική Επεξεργασία Σήματος σε Μεγάλους Γράφους 17 Κεσσόπουλος Ι.
- Πειραματική Διαδικασία Χρόνοι εκτέλεσης ⮚για βασικές συναρτήσεις ⮚για 2 γραφικά φίλτρα 6 Γράφοι ⮚2 χιλιάδες - 3 εκατομμύρια κορυφές ⮚5 χιλιάδες - 117 εκατομμύρια ακμές Γραφική Επεξεργασία Σήματος σε Μεγάλους Γράφους 18 Κεσσόπουλος Ι.
- Αποτελέσματα Γραφική Επεξεργασία Σήματος σε Μεγάλους Γράφους 19 Κεσσόπουλος Ι.
- Αποτελέσματα – 1ο Μέρος Μνήμη : μικρότεροι χρόνοι απόκρισης, αδυναμία επεξεργασίας ολόκληρου του γράφου PartitionedDiscGraph : μεγάλες καθυστερήσεις στην επιστροφή των ακμών DiscGraph: καθυστερήσεις στην διαγραφή ακμής, σταθερότητα στην προσθήκη ακμής Γραφική Επεξεργασία Σήματος σε Μεγάλους Γράφους 20 Κεσσόπουλος Ι.
- Αποτελέσματα – 1ο Μέρος Γραφική Επεξεργασία Σήματος σε Μεγάλους Γράφους 21 Κεσσόπουλος Ι.
- Αποτελέσματα – 2ο Μέρος • LoadedGraph: αδυναμία εκτέλεσης φίλτρων στους μεγάλους γράφους • TinkerPop : αδυναμία εκτέλεσης γραφικών φίλτρων ακόμη και στους μεσαίους γράφους • PartitionedDiscGraph : μεγάλες καθυστερήσεις που προκύπτουν από την επιστροφή ακμών • DiscGraph : χρόνοι ίδιας κλίμακας με τη μνήμη, αποτελεσματική και γρήγορη ακόμα και σε μεγάλους γράφου Γραφική Επεξεργασία Σήματος σε Μεγάλους Γράφους 22 Ενδεικτικά αποτελέσματα Κεσσόπουλος Ι.
- Συμπεράσματα Γραφική Επεξεργασία Σήματος σε Μεγάλους Γράφους 23 Κεσσόπουλος Ι.
- Συμπεράσματα 1/2 Χρήση μνήμης ⮚μικρότεροι χρόνοι απόκρισης ⮚αδυναμία επεξεργασίας μεγάλων γράφων ⮚Στο επίπεδο υπολογιστή, πιο αποδοτική από υπάρχουσα βιβλιογραφία Γραφική Επεξεργασία Σήματος σε Μεγάλους Γράφους 24 Κεσσόπουλος Ι.
- Συμπεράσματα 2/2 Χρήση σκληρού δίσκου ⮚Μεγαλύτεροι χρόνοι απόκρισης ⮚Μη αποδοτική αν χρησιμοποιούνται πολλαπλά αρχεία ⮚Ικανότητα διαχείρισης μεγάλων γράφων ⮚Εξίσου αποδοτική με τη μνήμη στην εκτέλεση γραφικών φίλτρων Γραφική Επεξεργασία Σήματος σε Μεγάλους Γράφους 25 Κεσσόπουλος Ι.
- Ευχαριστώ πολύ για τον χρόνο σας! Ερωτήσεις; Κεσσόπουλος Ι. Γραφική Επεξεργασία Σήματος σε Μεγάλους Γράφους 26