Η σύγχρονη ευέλικτη (agile) προσέγγιση στην ανάπτυξη λογισµικού βασίζεται σε συστήµατα διαχείρισης εργασιών, υπεύθυνα για την οργάνωση της διαδικασίας προγραµµατισµού και τον καταµερισµό του ϕόρτου στα µέλη της οµάδας. Η ανάθεση εργασιών στο πιο κατάλληλο µέλος (triaging) είναι µια σηµαντική και απαιτητική διαδικασία και υλοποιείται από την αξιολόγηση των χαρακτηριστικών µιας αναφοράς εργασίας (τίτλος, περιγραφή, ετικέτες, σηµαντικότητα κτλ). Προηγούµενες προσπάθειες να αντιµετωπιστεί η περίπλοκη και χρονοβόρα διαδικασία αυτοµατοποίησης της ανάθεσης εργασιών περιορίζονται συνήθως στην ανάλυση αναφορών σφαλµάτων. Η παρούσα διπλωµατική εισάγει µια µέθοδο αυτοµατοποίησης της διαδικασίας ανάθεσης εργασιών, χωρίς περιοϱισµό στο είδος της εργασίας. Συγκεκριµένα, στοχεύει να διερευνήσει τη δυνατότητα πρόβλεψης του καταλληλότερου προγραµµατιστή για να εκτελέσει µια εργασία, χρησιµοποιώντας την αναφορά εργασίας. Αξιοποιήθηκαν δεδοµένα από διαφορετικά αποθετήρια, µε επίκεντρο τα δεδοµένα κειµένου (τίτλος, περιγραφή, ετικέτες). Η µεθοδολογία µας ϐασίζεται πάνω στην εφαρµογή τεχνικών επεξεργασίας κειµένου και ανάλυσης δεδοµένων. Σε αντίθεση µε την υπάρχουσα βιβλιογραφία που περιορίζεται σε απλές µεθόδους προεπεξεργασίας (tokenization, lemmatization κτλ.), εφαρµόστηκαν τεχνικές θεµατικής µοντελοποίησης (LDA), µε στόχο την εξαγωγή θεµάτων της κάθε αναφοράς και τον εµπλουτισµό των ετικετών. Τέλος, τα επεξεργασµένα δεδοµένα χωρίζονται σε σύνολα εκπαίδευσης και ελέγχου και εισάγονται σε βασικά µοντέλα ταξινόµησης (Naive Bayes και SVM). Η µεθοδολογία αποδείχθηκε αποτελεσµατική, αναθέτοντας εργασίες µε καλή ακρίβεια σε οµάδες προγραµµατιστών διαφορετικών µεγεθών και γνωστικών αντικειµένων, µε τις τεχνικές θεµατικές µοντελοποίησης να συνεισφέρουν σηµαντικά στη βελτίωση της απόδοσης.

1. Αυτοματοποίηση Ανάθεσης Εργασιών Λογισμικού με εφαρμογή τεχνικών Θεματικής Μοντελοποίησης σε Δεδομένα Διαχείρισης Έργων
Ιούλιος 2022
Αυτοματοποίηση Ανάθεσης Εργασιών Λογισμικού με
εφαρμογή τεχνικών Θεματικής Μοντελοποίησης σε
Δεδομένα Διαχείρισης Έργων
Σαουλίδης Νικόλαος ΑΕΜ:9100
Επιβλέπων Καθηγητής Ανδρέας Συμεωνίδης
Συνεπιβλέπων Μεταδιδακτορικός Ερευνητής Θεμιστοκλής Διαμαντόπουλος
αριστοτελειοπανεπιστημιο θεσσαλονικησ
τμημα ηλεκτρολογων μηχανικων και μηχανικων υπολογιστων
Ιούνιος 2022 Θεσσαλονίκη

2. Αυτοματοποίηση Ανάθεσης Εργασιών Λογισμικού με εφαρμογή τεχνικών Θεματικής Μοντελοποίησης σε Δεδομένα Διαχείρισης Έργων
Ιούλιος 2022 2
ΠΕΡΙΕΧΟΜΕΝΑ
Εισαγωγή
Σύνολο Δεδομένων
Αποτελέσματα
Μεθοδολογία
Μελλοντική Εργασία
Συμπεράσματα
1
2
3
4
6
5

3. Αυτοματοποίηση Ανάθεσης Εργασιών Λογισμικού με εφαρμογή τεχνικών Θεματικής Μοντελοποίησης σε Δεδομένα Διαχείρισης Έργων
Ιούλιος 2022 3
Εισαγωγή
1

4. Αυτοματοποίηση Ανάθεσης Εργασιών Λογισμικού με εφαρμογή τεχνικών Θεματικής Μοντελοποίησης σε Δεδομένα Διαχείρισης Έργων
Ιούλιος 2022
ΕΙΣΑΓΩΓΗ > AGILE
➟ Ανάγκη για νέα προϊόντα λογισμικού
➟ Στελέχωση ομάδων προγραμματιστών και μηχανικών λογισμικού
➟ Οι παραδοσιακές μορφές ανάπτυξης ανεπαρκείς
4
AGILE
Ομάδες 5-10
ατόμων
Sprint
2-4 εβδομάδες
Scrum
Master
Ευέλικτη
προσέγγιση
AGILE

5. Αυτοματοποίηση Ανάθεσης Εργασιών Λογισμικού με εφαρμογή τεχνικών Θεματικής Μοντελοποίησης σε Δεδομένα Διαχείρισης Έργων
Ιούλιος 2022
ΕΙΣΑΓΩΓΗ > ΕΙΔΗ ΕΡΓΑΣΙΩΝ
5
Bug
Σφάλμα
New Feature
Νέο Χαρακτηριστικό
Improvement
Βελτίωση
TASK
ΕΡΓΑΣΙΑ

6. Αυτοματοποίηση Ανάθεσης Εργασιών Λογισμικού με εφαρμογή τεχνικών Θεματικής Μοντελοποίησης σε Δεδομένα Διαχείρισης Έργων
Ιούλιος 2022
ΕΙΣΑΓΩΓΗ > ΣΥΣΤΗΜΑΤΑ ΔΙΑΧΕΙΡΙΣΗΣ ΕΡΓΑΣΙΩΝ
➟ Υπεύθυνο για την αποθήκευση και διαχείριση Εργασιών
➟ Βέλτιστη διαχείριση φόρτου εργασίας
➟ Κέντρο η Αναφορά Εργασίας (ή Σφάλματος)
➟ Τα πιο ευρέως διαδεδομένα: Bugzilla, Github Issues και Jira
6

7. Αυτοματοποίηση Ανάθεσης Εργασιών Λογισμικού με εφαρμογή τεχνικών Θεματικής Μοντελοποίησης σε Δεδομένα Διαχείρισης Έργων
Ιούλιος 2022
ΕΙΣΑΓΩΓΗ > TRIAGING
7
B
A
C
Task 1
Task 2 Task 3
Task 1
Task 2
Task 3
ΣΤΟΧΟΣ : Η ΑΥΤΟΜΑΤΟΠΟΙΗΣΗ ΤΟΥ TRIAGING
➟ Ανάλυση Αναφορών Εργασιών από
αποθετήρια έργων λογισμικού
➟ Πρόβλεψη του καταλληλότερου assignee
για κάθε νέα, άγνωστη Αναφορά
ΚΥΡΙΑ ΣΗΜΕΙΑ ΤΗΣ ΕΡΓΑΣΙΑΣ:
➟ Επεξεργασία Κειμένου
➟ Εφαρμογή Θεματικής Μοντελοποίησης
➟ Ανάλυση όλων των ειδών Εργασιών

8. Αυτοματοποίηση Ανάθεσης Εργασιών Λογισμικού με εφαρμογή τεχνικών Θεματικής Μοντελοποίησης σε Δεδομένα Διαχείρισης Έργων
Ιούλιος 2022 8
Σύνολο
Δεδομένων
2

9. Αυτοματοποίηση Ανάθεσης Εργασιών Λογισμικού με εφαρμογή τεχνικών Θεματικής Μοντελοποίησης σε Δεδομένα Διαχείρισης Έργων
Ιούλιος 2022
ΣΥΝΟΛΟ ΔΕΔΟΜΕΝΩΝ > Η ΒΑΣΗ
9
~1 ΕΚΑΤΟΜΜΥΡΙΟ
ΑΝΑΦΟΡΕΣ ΕΡΓΑΣΙΩΝ
656 ΑΠΟΘΕΤΗΡΙΑ
ΑΠΟ ΕΡΓΑ ΑΝΟΙΚΤΟΥ ΚΩΔΙΚΑ
Bug
New
Feature
Improvement
TASK
ΕΡΓΑΣΙΑ

10. Αυτοματοποίηση Ανάθεσης Εργασιών Λογισμικού με εφαρμογή τεχνικών Θεματικής Μοντελοποίησης σε Δεδομένα Διαχείρισης Έργων
Ιούλιος 2022
ΣΥΝΟΛΟ ΔΕΔΟΜΕΝΩΝ >
H ΑΝΑΦΟΡΑ ΕΡΓΑΣΙΑΣ ΣΤΟ JIRA
10
Title
Labels
Description
Assignee
Type
Priority
Status

11. Αυτοματοποίηση Ανάθεσης Εργασιών Λογισμικού με εφαρμογή τεχνικών Θεματικής Μοντελοποίησης σε Δεδομένα Διαχείρισης Έργων
Ιούλιος 2022
ΣΥΝΟΛΟ ΔΕΔΟΜΕΝΩΝ > ΣΥΝΟΨΗ ΧΑΡΑΚΤΗΡΙΣΤΙΚΩΝ
11
● id (int)
● title (str)
● description (str)
● project (str)
● priority_id (int)
● issuetype_id (int)
● labels ([str])
● assignee_id (str)

12. Αυτοματοποίηση Ανάθεσης Εργασιών Λογισμικού με εφαρμογή τεχνικών Θεματικής Μοντελοποίησης σε Δεδομένα Διαχείρισης Έργων
Ιούλιος 2022 12
Μεθοδολογία
3

13. Αυτοματοποίηση Ανάθεσης Εργασιών Λογισμικού με εφαρμογή τεχνικών Θεματικής Μοντελοποίησης σε Δεδομένα Διαχείρισης Έργων
Ιούλιος 2022
ΜΕΘΟΔΟΛΟΓΙΑ > ΦΙΛΤΡΑΡΙΣΜΑ ΔΕΔΟΜΕΝΩΝ
13
1
2
κατά τη
λήψη από
τη βάση
μετά τη
λήψη των
δεδομένων
λήψη μόνο των αναφορών που περιέχουν
τα χαρακτηριστικά που χρειαζόμαστε
(assignee, description, labels, κτλ)
ευέλικτο φιλτράρισμα για δοκιμές στην
απόδοση και εφαρμογή φίλτρων που
είναι δύσκολο να εφαρμοστούν στο query
από τη βάση απευθείας

14. Αυτοματοποίηση Ανάθεσης Εργασιών Λογισμικού με εφαρμογή τεχνικών Θεματικής Μοντελοποίησης σε Δεδομένα Διαχείρισης Έργων
Ιούλιος 2022
ΜΕΘΟΔΟΛΟΓΙΑ > ΠΡΟΕΠΕΞΕΡΓΑΣΙΑ ΚΕΙΜΕΝΟΥ
14
title
description
Tokenization Lemmatization
Special
Characters
Removal
Stop
Words
Removal
ΠΡΟΕΠΕΞΕΡΓΑΣΙΑ ΚΕΙΜΕΝΟΥ

15. Αυτοματοποίηση Ανάθεσης Εργασιών Λογισμικού με εφαρμογή τεχνικών Θεματικής Μοντελοποίησης σε Δεδομένα Διαχείρισης Έργων
Ιούλιος 2022
ΜΕΘΟΔΟΛΟΓΙΑ > ΜΟΝΤΕΛΟ ΔΙΑΝΥΣΜΑΤΙΚΟΥ ΧΩΡΟΥ
15
TF η συχνότητα του όρου στο έγγραφο
N ο συνολικός αριθμός των εγγράφων
DFi ο αριθμός των εγγράφων που εμφανίζεται η i-οστή λέξη
ανάγκη για διανυσματική αναπαράσταση των δεδομένων κειμένου
σημαντικότητα του όρου στο corpus
συχνότητα του όρου στο έγγραφο

16. Αυτοματοποίηση Ανάθεσης Εργασιών Λογισμικού με εφαρμογή τεχνικών Θεματικής Μοντελοποίησης σε Δεδομένα Διαχείρισης Έργων
Ιούλιος 2022
ΜΕΘΟΔΟΛΟΓΙΑ > ΘΕΜΑΤΙΚΗ ΜΟΝΤΕΛΟΠΟΙΗΣΗ (1)
16
➟ Ανάγκη για εκμετάλλευση της σημασιολογικής πληροφορίας από το σύνολο
των αναφορών
➟ Εφαρμογή θεματικής μοντελοποίησης για την εύρεση θεμάτων από τα
δεδομένα τίτλου και περιγραφής
➟ Χρήση του πιο διαδεδομένου αλγορίθμου: LDA
➟ Υλοποίηση του αλγορίθμου με τη βιβλιοθήκη gensim
➟ Είσοδος ο αριθμός των θεμάτων K
➟ Έξοδος η κατανομή των θεμάτων σε ένα έγγραφο
οι σημαντικότεροι όροι του κάθε θέματος

17. Αυτοματοποίηση Ανάθεσης Εργασιών Λογισμικού με εφαρμογή τεχνικών Θεματικής Μοντελοποίησης σε Δεδομένα Διαχείρισης Έργων
Ιούλιος 2022
ΜΕΘΟΔΟΛΟΓΙΑ > ΘΕΜΑΤΙΚΗ ΜΟΝΤΕΛΟΠΟΙΗΣΗ (2)
17
1 2
3

18. Αυτοματοποίηση Ανάθεσης Εργασιών Λογισμικού με εφαρμογή τεχνικών Θεματικής Μοντελοποίησης σε Δεδομένα Διαχείρισης Έργων
Ιούλιος 2022
ΜΕΘΟΔΟΛΟΓΙΑ > ΘΕΜΑΤΙΚΗ ΜΟΝΤΕΛΟΠΟΙΗΣΗ (3)
18
Το αποτέλεσμα της θεματικής μοντελοποίησης για την αναφορά 12964955 στο project AMBARI

19. Αυτοματοποίηση Ανάθεσης Εργασιών Λογισμικού με εφαρμογή τεχνικών Θεματικής Μοντελοποίησης σε Δεδομένα Διαχείρισης Έργων
Ιούλιος 2022
ΜΕΘΟΔΟΛΟΓΙΑ > ΘΕΜΑΤΙΚΗ ΜΟΝΤΕΛΟΠΟΙΗΣΗ (4)
19
Οι κατανομές των θεμάτων στις 9 πρώτες αναφορές του project AMBARI, στρογγυλοποίηση στο
δεύτερο δεκαδικό για λόγους παρουσίασης

20. Αυτοματοποίηση Ανάθεσης Εργασιών Λογισμικού με εφαρμογή τεχνικών Θεματικής Μοντελοποίησης σε Δεδομένα Διαχείρισης Έργων
Ιούλιος 2022
ΜΕΘΟΔΟΛΟΓΙΑ > ΣΥΝΟΛΑ ΕΚΠΑΙΔΕΥΣΗΣ & ΕΛΕΓΧΟΥ
20
1
2 3

21. Αυτοματοποίηση Ανάθεσης Εργασιών Λογισμικού με εφαρμογή τεχνικών Θεματικής Μοντελοποίησης σε Δεδομένα Διαχείρισης Έργων
Ιούλιος 2022
ΜΕΘΟΔΟΛΟΓΙΑ > ΜΟΝΤΕΛΑ ΤΑΞΙΝΟΜΗΣΗΣ
21
1
2
3
4

22. Αυτοματοποίηση Ανάθεσης Εργασιών Λογισμικού με εφαρμογή τεχνικών Θεματικής Μοντελοποίησης σε Δεδομένα Διαχείρισης Έργων
Ιούλιος 2022
ΜΕΘΟΔΟΛΟΓΙΑ > ΣΥΝΟΨΗ
22
1
2
3
4

23. Αυτοματοποίηση Ανάθεσης Εργασιών Λογισμικού με εφαρμογή τεχνικών Θεματικής Μοντελοποίησης σε Δεδομένα Διαχείρισης Έργων
Ιούλιος 2022 23
Αποτελέσματα
4

24. Αυτοματοποίηση Ανάθεσης Εργασιών Λογισμικού με εφαρμογή τεχνικών Θεματικής Μοντελοποίησης σε Δεδομένα Διαχείρισης Έργων
Ιούλιος 2022
ΑΠΟΤΕΛΕΣΜΑΤΑ > ΤΑ ΠΕΙΡΑΜΑΤΑ
24
5
πειράματα
1 2
3 4 5
κύρια πειράματα για μελέτη της απόδοσης των
επιμέρους και συνδυαστικών μοντέλων | για
σταθερό αριθμό assignees σε πολλά projects και
για μεταβλητό αριθμό assignees στο ίδιο project
δευτερεύοντα πειράματα για μελέτη της επίδρασης
παραγόντων που αφορούν τα χαρακτηριστικά
εισόδου και τους αλγορίθμους ταξινόμησης | ο
αριθμός θεμάτων, ο εμπλουτισμός των ετικετών και
η επιλογή του ταξινομητή

25. Αυτοματοποίηση Ανάθεσης Εργασιών Λογισμικού με εφαρμογή τεχνικών Θεματικής Μοντελοποίησης σε Δεδομένα Διαχείρισης Έργων
Ιούλιος 2022
ΑΠΟΤΕΛΕΣΜΑΤΑ > ΜΕΤΡΙΚΕΣ ΑΞΙΟΛΟΓΗΣΗΣ
25
Accuracy
F1-Score

26. Αυτοματοποίηση Ανάθεσης Εργασιών Λογισμικού με εφαρμογή τεχνικών Θεματικής Μοντελοποίησης σε Δεδομένα Διαχείρισης Έργων
Ιούλιος 2022
ΑΠΟΤΕΛΕΣΜΑΤΑ > ΠΕΙΡΑΜΑ 1 (1)
26
Ερευνά τη δυνατότητα πρόβλεψης του assignee μιας αναφοράς με δεδομένη την ύπαρξη
συγκεκριμένου αριθμού assignees (εν προκειμένω, πέντε), σε πολλά διαφορετικά JIRA αποθετήρια*
➟ Αποδοτικότητα των επιμέρους μοντέλων και τις δυνατότητες πρόβλεψης με έναν ρεαλιστικό
αριθμό assignees (5) που συναντάμε σε μια agile ομάδα προγραμματιστών
➟ Συνδυασμός των επιμέρους μοντέλων με στόχο τη βελτίωση της ακρίβειας πρόβλεψης
➟ Σύγκριση της απόδοσης των μοντέλων σε πολλά projects προγραμματισμού, με διαφορετικό
γνωστικό αντικείμενο
ΣΤΟΧΟΙ
*επιλέχθηκαν 12 projects τα οποία είχαν τουλάχιστον 80 αναφορές για τουλάχιστον 5 προγραμματιστές

27. Αυτοματοποίηση Ανάθεσης Εργασιών Λογισμικού με εφαρμογή τεχνικών Θεματικής Μοντελοποίησης σε Δεδομένα Διαχείρισης Έργων
Ιούλιος 2022
ΑΠΟΤΕΛΕΣΜΑΤΑ > ΠΕΙΡΑΜΑ 1 (2)
27
ΠΑΡΑΤΗΡΗΣΕΙΣ
➟ Βελτίωση Accuracy και F1-Score ανάμεσα στο Title και
All σε όλα τα projects (μέχρι 57.89% στο OAK)
➟ Βελτίωση Accuracy και F1-Score ανάμεσα στο
Title+Desc και All σε 11/12 projects (μέχρι 45.24% στο
MESOS)
➟ Η συνεισφορά των εμπλουτισμένων ετικετών από μόνη
της βελτιώνει την απόδοση σε 11/12 projects
(περισσότερα στο τέταρτο πείραμα)
Η μετρική Accuracy για τα απλά και συνδυαστικά
μοντέλα σε 12 projects

28. Αυτοματοποίηση Ανάθεσης Εργασιών Λογισμικού με εφαρμογή τεχνικών Θεματικής Μοντελοποίησης σε Δεδομένα Διαχείρισης Έργων
Ιούλιος 2022
ΑΠΟΤΕΛΕΣΜΑΤΑ > ΠΕΙΡΑΜΑ 2 (1)
28
Ερευνά τη δυνατότητα πρόβλεψης του assignee μιας αναφοράς με μεταβαλλόμενο αριθμό assignees,
χρησιμοποιώντας δεδομένα από το ίδιο αποθετήριο Αναφορών (project FLINK*)
➟ Αποδοτικότητα των επιμέρους μοντέλων και τις δυνατότητες πρόβλεψης σε ένα αρκετό μεγάλο
εύρος αριθμών από assignees (4, 6, 8, 10, 15, 20)**
➟ Συνδυασμός των επιμέρους μοντέλων με στόχο τη βελτίωση της ακρίβειας πρόβλεψης
ΣΤΟΧΟΙ
*επιλέχθηκε το project FLINK, ως το μοναδικό που περιείχε τουλάχιστον 80 αναφορές για τουλάχιστον 20 assignees
**το εύρος από 4 μέχρι 10 assignees επιλέχθηκε καθώς περιέχει μεγέθη ομάδων τυπικά στην agile προσέγγιση.
Ωστόσο, πραγματοποιήσαμε και πειράματα με 15 και 20 assignees για να ερευνήσουμε την απόδοση των μοντέλων
και σε μεγαλύτερα σύνολα.

29. Αυτοματοποίηση Ανάθεσης Εργασιών Λογισμικού με εφαρμογή τεχνικών Θεματικής Μοντελοποίησης σε Δεδομένα Διαχείρισης Έργων
Ιούλιος 2022
ΑΠΟΤΕΛΕΣΜΑΤΑ > ΠΕΙΡΑΜΑ 2 (2)
29
ΠΑΡΑΤΗΡΗΣΕΙΣ
➟ Βελτίωση Accuracy και F1-Score ανάμεσα στο Title και
All σε όλα τα projects (μέχρι 54.2%)
➟ Μικρότερη αλλά υπαρκτή βελτίωση Accuracy και F1-
Score ανάμεσα στο Title+Desc και All σε όλα τα projects
(μέχρι 10.4%)
➟ Το συνολικό μοντέλο δεν εμφάνισε ποτέ ακρίβεια
μικρότερη του 43% σε όλο το εύρος του αριθμού
assignees που δοκιμάστηκε
Η μετρική Accuracy για τα απλά και
συνδυαστικά μοντέλα σε στο FLINK project
για μεταβαλλόμενο αριθμό assignees

30. Αυτοματοποίηση Ανάθεσης Εργασιών Λογισμικού με εφαρμογή τεχνικών Θεματικής Μοντελοποίησης σε Δεδομένα Διαχείρισης Έργων
Ιούλιος 2022
ΑΠΟΤΕΛΕΣΜΑΤΑ > ΠΕΙΡΑΜΑ 3
30
ΠΑΡΑΤΗΡΗΣΕΙΣ
➟ η βέλτιστη επιλογή του αριθμού θεμάτων μπορεί να αυξήσει σημαντικά
την αποδοτικότητα του μοντέλου topics
➟ ο βέλτιστος αριθμός θεμάτων είναι διαφορετικός σε διαφορετικά projects
Ερευνά την επίδραση του αριθμού θεμάτων (είσοδος στον LDA) στην
ακρίβεια πρόβλεψης του μοντέλου της κατανομής θεμάτων
➟ Ορίστηκε μια λίστα με αριθμούς θεμάτων Α = [4, 6, 8, …] και
δημιουργήθηκαν length(A) μοντέλα LDA
➟ Για κάθε μοντέλο (που αντιστοιχεί σε έναν αριθμό θεμάτων)
δημιουργήθηκαν αντίστοιχα σύνολα εκπαίδευσης και ελέγχου για την
εκπαίδευση και αξιολόγηση των ταξινομητών SVM
Διαγράμματα των μετρικών Accuracy και F1-score για τα αποτελέσματα
του απλού ταξινομητή topics, για μεταβαλλόμενο αριθμό θεμάτων

31. Αυτοματοποίηση Ανάθεσης Εργασιών Λογισμικού με εφαρμογή τεχνικών Θεματικής Μοντελοποίησης σε Δεδομένα Διαχείρισης Έργων
Ιούλιος 2022
ΑΠΟΤΕΛΕΣΜΑΤΑ > ΠΕΙΡΑΜΑ 4
31
ΠΑΡΑΤΗΡΗΣΕΙΣ
➟ ο εμπλουτισμός των ετικετών βελτιώνει την απόδοση του μοντέλου
ετικετών σε 11/12 projects, με την αύξηση να φτάνει ακόμα και το
256% στο F1-Score @ARROW project
Ερευνά την επίδραση του εμπλουτισμού των ετικετών με τους
κορυφαίους όρους, στην επίδοση του μοντέλου ετικετών
Σύγκριση της μετρικής F1-score για τα μοντέλα απλών και
εμπλουτισμένων (με τους κορυφαίους όρους) ετικετών

32. Αυτοματοποίηση Ανάθεσης Εργασιών Λογισμικού με εφαρμογή τεχνικών Θεματικής Μοντελοποίησης σε Δεδομένα Διαχείρισης Έργων
Ιούλιος 2022
ΑΠΟΤΕΛΕΣΜΑΤΑ > ΠΕΙΡΑΜΑ 5
32
ΠΑΡΑΤΗΡΗΣΕΙΣ
➟ παρατηρούμε ότι στο 83% των περιπτώσεων, οι προβλέψεις του SVM
παρουσιάζουν βελτιωμένες τιμές της μετρικής Accuracy (και F1-
Score), σε σχέση με τις προβλέψεις του Naive Bayes, στα συνολικά
μοντέλα
Ερευνά την επίδραση του είδους ταξινομητή στην επίδοση των
συνολικών μοντέλων
Σύγκριση της μετρικής Accuracy για τα συνολικά μοντέλα,
χρησιμοποιώντας τους ταξινομητές SVM και NB

33. Αυτοματοποίηση Ανάθεσης Εργασιών Λογισμικού με εφαρμογή τεχνικών Θεματικής Μοντελοποίησης σε Δεδομένα Διαχείρισης Έργων
Ιούλιος 2022 33
Συμπεράσματα
5

34. Αυτοματοποίηση Ανάθεσης Εργασιών Λογισμικού με εφαρμογή τεχνικών Θεματικής Μοντελοποίησης σε Δεδομένα Διαχείρισης Έργων
Ιούλιος 2022
ΣΥΜΠΕΡΑΣΜΑΤΑ
34
➟ Η ακρίβεια φτάνει το 71% στο DATALAB project, σε 5 assignees
➟ Για την εκπαίδευση χρησιμοποιούνται 80 αναφορές / assignee, αριθμός ρεαλιστικός για μια agile ομάδα
Τα αποτελέσματα του πρώτου πειράματος αποδεικνύουν τις δυνατότητες πρόβλεψης του
καταλληλότερου assignee, για αναφορές εργασιών οποιουδήποτε τύπου, σε πολλαπλά projects
➟ Σε οποιαδήποτε δοκιμή στο project FLINK, για 4, 5, 6, 8, 10, 15 και 20 assignees, η ακρίβεια δεν έπεσε ποτέ
κάτω από 43%
Τα αποτελέσματα του δεύτερου πειράματος αποδεικνύουν την αποτελεσματικότητα του
μοντέλου σε ένα μεγάλο εύρος αριθμού assignees
Οι τεχνικές επεξεργασίας κειμένου και θεματικής μοντελοποίησης που εφαρμόστηκαν
συνεισφέρουν σημαντικά στην βελτίωση της απόδοσης των μοντέλων πρόβλεψης
➟ Η διαδικασία εμπλουτισμού των ετικετών με τους κορυφαίους όρους (προκύπτουν από τον LDA) αυξάνει
κατακόρυφα την επίδοση του μοντέλου ετικετών και του συνολικού μοντέλου
➟ Η επιλογή του βέλτιστου αριθμού θεμάτων (αριθμός διαφορετικός ανά project) μπορεί να βελτιώσει
σημαντικά την απόδοση του μοντέλου κατανομών θεμάτων

35. Αυτοματοποίηση Ανάθεσης Εργασιών Λογισμικού με εφαρμογή τεχνικών Θεματικής Μοντελοποίησης σε Δεδομένα Διαχείρισης Έργων
Ιούλιος 2022 35
Μελλοντική
Εργασία
6

36. Αυτοματοποίηση Ανάθεσης Εργασιών Λογισμικού με εφαρμογή τεχνικών Θεματικής Μοντελοποίησης σε Δεδομένα Διαχείρισης Έργων
Ιούλιος 2022
ΜΕΛΛΟΝΤΙΚΗ ΕΡΓΑΣΙΑ
36
Βελτίωση στον τρόπο επιλογής των βαρών για τον συμψηφισμό των επιμέρους μοντέλων
Βελτιστοποίηση των αλγορίθμων ταξινόμησης και δοκιμή περισσότερων
Δοκιμή διαφορετικών τεχνικών διανυσματοποίησης για δεδομένα κειμένου
Εξερεύνηση διαφορετικών δεδομένων (από μικρότερες, εμπορικές agile ομάδες)
Συναισθηματική ανάλυση στα δεδομένα κειμένου
Χρήση των comments της αναφοράς
Κατασκευή συνολικού μοντέλου scrum, με συνυπολογισμό priority / severity
prediction, fix-time prediction και τη διαθεσιμότητα (εργατοώρες) των προγραμματιστών

37. Αυτοματοποίηση Ανάθεσης Εργασιών Λογισμικού με εφαρμογή τεχνικών Θεματικής Μοντελοποίησης σε Δεδομένα Διαχείρισης Έργων
Ιούλιος 2022
Σαουλίδης Νικόλαος ΑΕΜ:9100
Ιούνιος 2022 Θεσσαλονίκη
ευχαριστώ
ερωτήσεις;

38. Αυτοματοποίηση Ανάθεσης Εργασιών Λογισμικού με εφαρμογή τεχνικών Θεματικής Μοντελοποίησης σε Δεδομένα Διαχείρισης Έργων
Ιούλιος 2022
ΠΑΡΑΡΤΗΜΑ
Hidden Slides

39. Αυτοματοποίηση Ανάθεσης Εργασιών Λογισμικού με εφαρμογή τεχνικών Θεματικής Μοντελοποίησης σε Δεδομένα Διαχείρισης Έργων
Ιούλιος 2022
ΠΑΡΑΡΤΗΜΑ > ΠΕΙΡΑΜΑ 1
39
Η τιμές των μετρικών Accuracy (αριστερά) και F1-Score (δεξιά) για τα απλά και συνδυαστικά μοντέλα σε 12 projects

40. Αυτοματοποίηση Ανάθεσης Εργασιών Λογισμικού με εφαρμογή τεχνικών Θεματικής Μοντελοποίησης σε Δεδομένα Διαχείρισης Έργων
Ιούλιος 2022
ΠΑΡΑΡΤΗΜΑ > ΠΕΙΡΑΜΑ 2
40
Η τιμές των μετρικών Accuracy (αριστερά) και F1-Score (δεξιά) για τα απλά και συνδυαστικά μοντέλα σε 12 projects

41. Αυτοματοποίηση Ανάθεσης Εργασιών Λογισμικού με εφαρμογή τεχνικών Θεματικής Μοντελοποίησης σε Δεδομένα Διαχείρισης Έργων
Ιούλιος 2022
ΠΑΡΑΡΤΗΜΑ > ΠΕΙΡΑΜΑ 4
41
Σύγκριση των μετρικών Accuracy και F1-Score για τις απλές και εμπλουτισμένες ετικέτες,
πείραμα με 5 assignees σε 12 projects

42. Αυτοματοποίηση Ανάθεσης Εργασιών Λογισμικού με εφαρμογή τεχνικών Θεματικής Μοντελοποίησης σε Δεδομένα Διαχείρισης Έργων
Ιούλιος 2022
ΠΑΡΑΡΤΗΜΑ > ΠΕΙΡΑΜΑ 5
42
Σύγκριση των μετρικών Accuracy και F1-Score, ανάμεσα σε SVM και NB για τα συνολικά μοντέλα,
πείραμα με 5 assignees σε 12 projects

43. Αυτοματοποίηση Ανάθεσης Εργασιών Λογισμικού με εφαρμογή τεχνικών Θεματικής Μοντελοποίησης σε Δεδομένα Διαχείρισης Έργων
Ιούλιος 2022
ΠΑΡΑΡΤΗΜΑ > ΠΡΟΕΠΕΞΕΡΓΑΣΙΑ ΚΕΙΜΕΝΟΥ
43
́Ενα παράδειγμα προεπεξεργασίας του κειμένου της περιγραφής της αναφοράς 12964955, στο project AMBARI

44. Αυτοματοποίηση Ανάθεσης Εργασιών Λογισμικού με εφαρμογή τεχνικών Θεματικής Μοντελοποίησης σε Δεδομένα Διαχείρισης Έργων
Ιούλιος 2022
ΠΑΡΑΡΤΗΜΑ > ΟΠΤΙΚΟΠΟΙΗΣΗ LDA
44
Οπτικοποίηση του αποτελέσματος της θεματικής μοντελοποίησης, με τη βοήθεια του πακέτου pyLDAvis, όπου φαίνεται να
δούμε την δια-θεματική απόσταση ανάμεσα στους δίσκους, καθένας από τους οποίους αντιστοιχεί σε ένα θέμα