With the increasing integration of software in social structures, such as education and health, maintenance (e.g. debugging) of large software projects is becoming increasingly important. To this end, it is necessary to organize the source code into communities of artifacts (e.g. methods in classes, classes in packages, packages in libraries) to fa cilitate understandability and ease-of-navigation across implemented functionalities. If artifacts are organized into graphs whose edges reflect their dependencies, there ex ist commonly accepted software engineering principles of what constitutes high-quality source code organization, such as high connectivity of artifacts within groups and loose connectivity with artifacts of other groups. In this dissertation, we tackle the problem of automated reorganization of source code entities to optimize measures quantifying source code community organization quality. To this end, we apply community ex traction methods on dependency graphs. Our main hypothesis is that the existing hierarchical organization of source code comprises fragments of the optimal organiza tion and thus we use it as a first approximation that we refine with graph filters. This type of semi-supervised technique is compared to existing greedy optimization and un supervised genetic optimization approaches across 10 popular software projects. We find that, given a permutation of the ideal organization provided by developers, our approach derives the community organization closest to the ideal one. Additionally, it runs in near-linear times with respect to the number of dependencies that enable its application on dependency graphs of large projects.

1. Επανοργάνωση πηγαίου κώδικα από
γράφους εξαρτήσεων οντοτήτων με βάση
παραδείγματα
Τμήμα Ηλεκτρολόγων Μηχανικών & ΜηχανικώνΥπολογιστών
Καλαντζής Γεώργιος 8818
Επιβλέποντες :
Αν. ΚαθηγητήςΑνδρέας Λ. Συμεωνίδης
Υπ. Διδάκωρ Εμμανουήλ Κρασανάκης
1

2. Περιεχόμενα
1. Εισαγωγή
2. Μεθοδολογία
3. Πειράματα
4. Συμπεράσματα
2

3. Κίνητρο
• Μέγεθος των σύγχρονων λογισμικών
• Υψηλή πολυπλοκότητα
• Διατήρηση ποιότητας
• Κόστος συντήρησης
Αυτόματη επανοργάνωση
3

4. Ορισμός Προβλήματος
• Χαρακτηρισμός οντοτήτων βάσει συσχετίσεων
(οντότητες: μέθοδοι, συσχετίσεις: calls, imports )
• Κατασκευή γράφου εξαρτήσεων οντοτήτων
4

5. Ορισμός Προβλήματος
• Οργάνωση οντοτήτων σε κοινότητες
(κλάσεις, αρχεία, φάκελοι)
• Κλασσικό πρόβλημα ανίχνευσης κοινοτήτων στην
θεωρία γράφων
• Συνδυαστική βελτιστοποίηση
(γενετική, άπληστη κτλ.)
5

6. Σχετική Έρευνα
Πληθώρα αλγορίθμων ομαδοποίησης.
Πληθώρα αλγορίθμων γενετικής βελτιστοποίησης (Υβριδική,
NSGA-III)
Μη εκμετάλλευση υπάρχουσας (μη-βέλτιστης) κοινοτικής
οργάνωσης
Μη-επιβλεπόμενοι αλγόριθμοι
6

7. Περιεχόμενα
1. Εισαγωγή
2. Μεθοδολογία
3. Πειράματα
4. Συμπεράσματα
7

8. Υπόθεση
Αξιοποίηση υπάρχουσας μη-βέλτιστη κοινοτικής οργάνωσης και των
συσχετισέων του γράφου
Η υπάρχουσα κοινοτική οργάνωση περιέχει ψήγματα ιδανικής
οργάνωσης
Μη-βέλτιστη + αλγόριθμος ανίχνευσης κοινοτήτων ≈ ιδανική
Ημι-επιβλεπόμενη μέθοδος
8

9. Προτεινόμενη Μεθοδολογία
• Φίλτρα γράφων
(Personalized Page Rank, AbsorbingWalk, Heat Kernel)
• Ranking των κόμβων βάσει των προεπιλεγμένων ομάδων
• Ανάθεση κόμβων στις ομάδες με το μέγιστο score
9
𝑝𝑒𝑟𝑠𝑜𝑛𝑎𝑙𝑖𝑧𝑎𝑡𝑖𝑜𝑛 = [1,0,0,0,0,1]

10. Προτεινόμενη Μεθοδολογία
• Εξομάλυνση ομαδοποίησης
• Γείτονες υψηλής συσχέτισης στην ίδια ομάδα
10

11. Περιεχόμενα
1. Εισαγωγή
2. Μεθοδολογία
3. Πειράματα
4. Συμπεράσματα
11

12. Διαδικασία αξιολόγησης
Πραγματικό σεναρίο με γνωστή ιδανική οργάνωση (ground truth)
Μη-ιδανική οργάνωση με συνθετική διαδικασία διαστρέβλωσης
Είσοδος διαστρεβλωμένης οργάνωσης σε αλγόριθμους
(οι μη-επιβλεπόμενοι αλγόριθμοι δεν την εκμεταλλεύονται)
Σύγκριση αποτελέσματος με ιδανική οργάνωση
(MoJo, Precision, Recall, F-score)
12

13. Διαδικασία διαστρέβλωσης
• Τυχαία ανταλλαγή στοιχείων ομάδων
• Επιλογή αριθμού τυχαίων ανταλλαγών
Υπενθύμιση! Είσοδος της διαστρεβλωμένης ομαδοποίησης σε
αλγόριθμους ανίχνευσης κοινοτήτων για εκτίμηση ιδανικής
οργάνωσης.
13

14. Δεδομένα
• Δέκα έργα λογισμικού
• Υψηλής ποιότητας (τουλάχιστον μιας δεκαετίας)
• Γράφος κλήσης συναρτήσεων
• Οργάνωση σε κλάσεις = ground truth
14

15. Συγκρινόμενοι Αλγόριθμοι
None Διαστρεβλωμένη οργάνωση
PR Τυχαίος περίπατος Personalization Page Rank
ARW Τυχαίος περίπατος Absorbing Walk
HK Τυχαίος περίπατος Heat Kernel
Gmod Άπληστη ϐελτιστοποίηση του Modularity
Gen State-of-the-art υβριδικός γενετικός
αλγορίθμος
15

16. Πειραματικά Αποτελέσματα
• Μέση τιμή μετρικών για κάθε αλγόριθμο
(διαστρέβλωση 0-100%)
• Page Rank συνήθως καλύτερα
αποτελέσματα
(8/10 καλύτερο MoJo, 9/10 καλύτερη F-score)
• Γενετικός αλγόριθμος υψηλές τιμές στο
precision χαμηλές αλλού
(μεγάλος αριθμός ομάδων)
16

17. Παράδειγμα για έργο log4j
17

18. Σύγκριση Χρόνου Εκτέλεσης
18
• Αδυναμία σύγκλισης γενετικού αλγορίθμου
• Εφαρμογή σε μεγάλα συστήματα?

19. Περιεχόμενα
1. Εισαγωγή
2. Μεθοδολογία
3. Πειράματα
4. Συμπεράσματα
19

20. Συμπεράσματα
• Ημι-επιβλεπόμενοι αλγόριθμοι > γενετικός αλγόριθμος
• Personalized Page Rank προτεινόμενος αλγόριθμος
• Scalabable
20

21. Μελλοντική Εργασία
• Διερεύνηση κι άλλων μεθόδων στο ημι-επιβλεπόμενο πλαίσιο
(Submodular optimization,GNNs)
• Συσχέτιση σημασιολογίας οντοτήτων
(πχ. ονόματα)
• Εργαλείο εκτέλεσης εντολών
21

22. Σας ευχαριστώ πολύ για τον χρόνο σας !
Ερωτήσεις?
22

23. Παράρτημα μετρικών ομοιότητας
• Χρήση μετρικών ομοιότητας ομαδοποιήσεων για σύγκριση με
ground truth.
• Αξιόπιστη μετρική MoJo (Move and Join Operations).
• Επέκταση μετρικών Recall, Precision για σύγκριση πολυσυνόλων
διαφορετικού μεγέθους.
• Μέσος όρος των μέγιστων αντιστοιχίσεων.
• 𝑅𝑒𝑐𝑎𝑙𝑙′ =
1
𝑀 𝑖 max
𝑗
𝑅𝑒𝑐𝑎𝑙𝑙(𝐶𝑖, 𝐶𝑗)
• 𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛′
=
1
𝑁 𝑗 max
𝑖
𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛(𝐶𝑗, 𝐶𝑖)
• 𝐹1
′
=
2∗𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛′∗𝑅𝑒𝑐𝑎𝑙𝑙′
𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛′+𝑅𝑒𝑐𝑎𝑙𝑙′
23