Η αυτόνοµη οδήγηση είναι µια τεχνολογία η οποία αναπτύσσεται και εξελίσσεται ϱαγδαία τα τελευταία χρόνια. Τόσο η επιστηµονική κοινότητα όσο και οι κατασκευάστριες εταιρίες καταβάλλουν αξιοσηµείωτες προσπάθειες για την ανάπτυξη της τεχνολογίας προς την επίτευξη της αυτόνοµης οδήγησης. Η αυτόνοµη τεχνολογία οχηµάτων θα µπορεί να είναι σε θέση να παρέχει ορισµένα πλεονεκτήµατα σε σύγκριση µε τα παραδοσιακά οχήµατα, καθώς στα επόµενα χρόνια, θα αυξήσει δραµατικά την ασφάλεια των πολιτών, θα µειώσει το χρόνο των µεταφορών αλλά και την κυκλοφοριακή συµφόρηση των δρόµων, συντελώντας στην εύρυθµη λειτουργία του κυκλοφοριακού συστήµατος. Για την επίτευξη µια τέτοιας πραγµατικότητας είναι απαραίτητη η αντίληψη του χώρου γύρω από το αυτόνοµο όχηµα, η προσαρµογή του στο περιβάλλον και η άµεση απόκρισή του σε αλλαγές αυτού. Το όχηµα θα πρέπει να πλοηγείται µε ασφάλεια στο οδικό δίκτυο και να ανταποκρίνεται ανάλογα, αναγνωρίζοντας τόσο τα στατικά και όσο και τα δυναµικά εµπόδια. Επιπλέον, θα πρέπει να υπολογίζει και να αξιολογεί σενάρια αποφάσεων και να επιλέγει την κατάλληλη ανταπόκριση σύµφωνα µε τις συνθήκες. ΄Ετσι, τα αυτόνοµα οχήµατα θα πρέπει να είναι εξοπλισµένα µε εξειδικευµένους αισθητήρες και µε το κατάλληλο σύστηµα ελέγχου και λήψης αποφάσεων. Η παρούσα διπλωµατική εργασία εστιάζει στον σχεδιασµό και την υλοποίηση ενός τέτοιου συστήµατος ικανού να πλοηγείται αυτόνοµα σε προσπελάσιµο δρόµο αφού τον αναγνωρίσει επιτυχώς, κάνοντας χρήση οπτικής πληροφορίας που λαµβάνεται από RGB κάµερα, η οποία είναι ενσωµατωµένη στο όχηµα. Το όχηµα κινείται σε προσοµοιωµένο περιβάλλον, και συγκεκριµένα στον προσοµοιωτή CARLA. Γίνεται εκτενής χρήση συναρτήσεων της βιβλιοθήκης Υπολογιστικής Όρασης OpenCV για την διαµόρφωση και αξιοποίηση της ληφθείσας οπτικής πληροφορίας. Για την αναγνώριση των δυναµικών εµποδίων η οπτική πληροφορία αναλύεται από το µοντέλο βαθιάς µάθησης YOLO (You Only Look Once), ενώ χρησιµοποιείται Οπτική Αναγνώριση Χαρακτήρων (OCR) για την εξαγωγή πληροφορίας από τα σήµατα οδικής κυκλοφορίας και γίνεται ανάλυση ιστογράµµατος για Αναγνώριση Χρώµατος (Color Recognition) των ϕωτεινών σηµατοδοτών. Για την κατασκευή βασικού µονοπατιού δηµιουργείται ένας κατευθυνόµενος γράφος του χάρτη και χρησιµοποιείται ο αλγόριθµος Α* για την αναζήτηση της βέλτιστης διαδροµής. Τέλος, η πλοήγηση επιτυγχάνεται µε ένα σύστηµα διατήρησης των λωρίδων (Lane Keeping Assist System) και τη χρήση ενός PID ελεγκτή.
5. Δεκέμβριος 2022 ∆ημιουργία συμπεριφορών αυτόνομου αυτοκινήτου με χρήση προσομοιωτή
και απλών καμερών
5
Σκοπός της διπλωματικής
Δημιουργία συστήματος αυτόνομης οδήγησης
Χρήση της κάμερας ως βασικού αισθητήρα
3 επιμέρους διεργασίες:
Αντίληψη
Χρήση και επεξεργασία των εικόνων που λαμβάνονται από την κάμερα για να ερμηνεύσει το περιβάλλον του οχήματος
Πλοήγηση
Διατήρηση ελέγχου και πλοήγηση του οχήματος χρησιμοποιοώντας πληροφορίες για την θέση του στο οδόστρωμα και την
τοποθεσία του στον χάρτη
Χάραξη βασικού μονοπατιού
Σχεδίαση ενός βασικού μονοπατιού στον χάρτη με βάση ένα αρχικό και ένα τελικό σημείο
6. Δεκέμβριος 2022 ∆ημιουργία συμπεριφορών αυτόνομου αυτοκινήτου με χρήση προσομοιωτή
και απλών καμερών
6
Τεχνολογίες
Προσομοιωτής CARLA
• Υποστηρίζει την ανάπτυξη, την εκπαίδευση και
την αξιολόγηση συστημάτων αυτόνομης
οδήγησης
• 10 χάρτες πόλεων
• Διαφορετικές καιρικές συνθήκες και συνθήκες
φωτισμού
• Actors: οχήµατα, πεζοί, αισθητήρες, φωτεινοί
σηµατοδότες και σήµατα οδικής κυκλοφορίας
• Ρεαλιστική φυσική του οχήματος και διαφορετικά
σενάρια οδήγησης
• Waypoints: σημεία διαδρομής του χάρτη
OpenCV
• Βιβλιοθήκη κατάλληλη για διαφορετικές
εφαρμογές στους τομείς της οπτικής
επεξεργασίας
YOLO (You Only Look Once)
• Aλγόριθµος που χρησιµοποιεί νευρωνικά
δίκτυα για τον εντοπισµό και την αναγνώριση
αντικειµένων σε πραγµατικό χρόνο
7. Δεκέμβριος 2022 ∆ημιουργία συμπεριφορών αυτόνομου αυτοκινήτου με χρήση προσομοιωτή
και απλών καμερών
7
02 Μεθοδολογία
05
Μελλοντική Εργασία
01
Εισαγωγή
04 Συμπεράσματα
03
Αποτελέσματα &
Αξιολόγηση
8. Δεκέμβριος 2022 ∆ημιουργία συμπεριφορών αυτόνομου αυτοκινήτου με χρήση προσομοιωτή
και απλών καμερών
8
Υποσυστήματα
Υποσύστημα Αντίληψης
Αναγνώριση χρώματος φαναριών
Υποσύστημα Πλοήγησης Υποσύστημα Κατασκευής
Βασικού Μονοπατιού
Κατασκευή βασικού μονοπατιού με
χρήση του αλγορίθμου Α*
Πλοήγηση με χρήση PID ελεγκτή
Αναγνώριση λωρίδων στο οδόστρωμα
Αναγνώριση αντικειμένων
Αναγνώριση σημάτων
ταχύτητας
Πλοήγηση με διατήρηση λωρίδας
9. Δεκέμβριος 2022 ∆ημιουργία συμπεριφορών αυτόνομου αυτοκινήτου με χρήση προσομοιωτή
και απλών καμερών
9
Υποσύστημα Αντίληψης
Αναγνώριση Λωρίδων
Select ROI Grayscale
Noise
Reduction
Canny Edge
Detector
Hough Transfer
Combine line
segments into two
lanes
Line Coordinates
Προεπεξεργασία Εικόνας
10. Δεκέμβριος 2022 ∆ημιουργία συμπεριφορών αυτόνομου αυτοκινήτου με χρήση προσομοιωτή
και απλών καμερών
10
Υποσύστημα Αντίληψης
Αναγνώριση Λωρίδων
11. Δεκέμβριος 2022 ∆ημιουργία συμπεριφορών αυτόνομου αυτοκινήτου με χρήση προσομοιωτή
και απλών καμερών
11
Υποσύστημα Αντίληψης
Αναγνώριση Αντικειμένων - Σύνολο Δεδομένων
7 κλάσεις
bike
vehicle bus motorbike
pedestrian traffic light traffic sign
• 3624 εικόνες μεγέθους 1600×1200
• 7 κλάσεις
• 5 διαφορετικές πόλεις του προσομοιωτή
• Διαφορετικές συνθήκες καιρού
Ημέρα με ήλιο
Ημέρα με συννεφιά
Ημέρα με συννεφιά και βρεγμένο δρόμο
Ημέρα με χαμηλής έντασης βροχή
Ημέρα με μέτριας έντασης βροχή
Training Set Test Set
12. Δεκέμβριος 2022 ∆ημιουργία συμπεριφορών αυτόνομου αυτοκινήτου με χρήση προσομοιωτή
και απλών καμερών
12
Υποσύστημα Αντίληψης
Αναγνώριση Αντικειμένων - Δημιουργία Ετικετών
.jpg .txt
Σύνολο δεδομένων σε YOLO format
Πλαίσιο οριοθέτησης
Ετικέτες στην εικόνα
13. Δεκέμβριος 2022 ∆ημιουργία συμπεριφορών αυτόνομου αυτοκινήτου με χρήση προσομοιωτή
και απλών καμερών
13
Υποσύστημα Αντίληψης
Αναγνώριση Αντικειμένων – YOLO (You Only Look Once)
S x S grid on input
Class probability map
Bounding Boxes + confidence
Final Detections
• YOLOv4
• Νευρωνικά δίκτυα για εντοπισμό
αντικειμένων σε πραγματικό χρόνο
• Λαµβάνει την εικόνα εισόδου µία φορά και
δεν την επεξεργάζεται ξανά µετά την
είσοδο κατά την εκτέλεση του
• Ανίχνευση: πρόβληµα παλινδρόµησης
• Είσοδος: εικόνες
• Έξοδος: πιθανότητες κλάσεων και
συντεταγμένες του πλαισίου οριοθέτησης
14. Δεκέμβριος 2022 ∆ημιουργία συμπεριφορών αυτόνομου αυτοκινήτου με χρήση προσομοιωτή
και απλών καμερών
14
Υποσύστημα Αντίληψης
Αναγνώριση των σημάτων ταχύτητας με Tesseract OCR
• OCR – Optical Character Recognition
• Σήματα ορίου ταχύτητας κυκλοφορίας: 30, 60 και 90 km/h
• Page Segmentation mode (PSM) 9: «Η εικόνα περιέχει μία λέξη μέσα σε κύκλο»
15. Δεκέμβριος 2022 ∆ημιουργία συμπεριφορών αυτόνομου αυτοκινήτου με χρήση προσομοιωτή
και απλών καμερών
15
Υποσύστημα Αντίληψης
Αναγνώριση χρώματος των φωτεινών σηματοδοτών με ανάλυση ιστογράμματος
Red mask
Green mask
• RGB ιστογράμματα
• Επεξεργασία ξεχωριστά (R, G, B) ή σε ζεύγη (RG, GB, BR)
• Πληροφορία από το GR ιστόγραμμα
16. Δεκέμβριος 2022 ∆ημιουργία συμπεριφορών αυτόνομου αυτοκινήτου με χρήση προσομοιωτή
και απλών καμερών
16
Υποσύστημα Πλοήγησης
PID ελεγκτής Διατήρηση Λωρίδας
• Έλεγχος ταχύτητας και θέσης με χρήση PID ελεγκτών
μέσω του CARLA API
Δύο επιμέρους διαδικασίες:
• Αναγνώριση λωρίδων στο οδόστρωμα (Υποσύστημα
Αντίληψης)
• Καθορισμός κίνησης-
Στόχος: Διατήρηση του οχήματος ανάμεσα στα όρια των
λωρίδων και πλοήγηση στη μέση
• Προκαθορισμένες διαδρομές με καθορισμό αρχικού
σημείου εκκίνησης και τελικού σημείου προορισμού
• Ελεγκτές: τροποποίηση σφάλματος μεταξύ της
επιθυμητής και της πραγματικής εξόδου
• Επιλογή του αναλογικού, ολοκληρωτικού και διαφορικού
κέρδους
• Επιθυμητή διαδρομή: καθορισμένα waypoints (σημεία)
• Έλεγχος με διατήρηση λωρίδας (Lane Keeping Assist
System)
17. Δεκέμβριος 2022 ∆ημιουργία συμπεριφορών αυτόνομου αυτοκινήτου με χρήση προσομοιωτή
και απλών καμερών
17
Υποσύστημα Κατασκευής Βασικού Μονοπατιού
Κατασκευή Γράφου
• Aλγόριθμος Α*: εύρεση συντομότερου μονοπατιού
• Υπολογισμός του κόμβου με το χαμηλότερο κόστος f(n) = g(n) + h(n)
g(n): κόστος από την αρχική στην τρέχουσα κατάσταση
h(n): απόσταση από την παρούσα κατάσταση στην κατάσταση - στόχο
• Καλή ταχύτητα εκτέλεσης και
αξιοπιστία
18. Δεκέμβριος 2022 ∆ημιουργία συμπεριφορών αυτόνομου αυτοκινήτου με χρήση προσομοιωτή
και απλών καμερών
18
02 Μεθοδολογία
05
Μελλοντική Εργασία
01
Εισαγωγή
04 Συμπεράσματα
03
Αποτελέσματα &
Αξιολόγηση
19. Δεκέμβριος 2022 ∆ημιουργία συμπεριφορών αυτόνομου αυτοκινήτου με χρήση προσομοιωτή
και απλών καμερών
19
Μετρικές Αξιολόγησης
Actual Positive Class Actual Negative Class
Predicted Positive Class True Positive (TP) False Negative (FN)
Predicted Negative Class False Positive (FP) True Negative (TN)
IoU (Intersection over Union)
• περιγράφει πως αλληλεπικαλύπτονται το πραγµατικό πλαίσιο σε σχέση µε το πλαίσιο που προβλέφθηκε κατά την ανίχνευση
αντικειµένων
mAP (mean Average Precision)
• χρησιμοποιείται στην ανίχνευση αντικειμένων και συνδυάζει σε μια μετρική τις μετρικές precision και recall
IoU =
Area of Overlap
Area of Union
Accuracy =
TP + TN
TP + TN + FP + FN
Precision =
TP
TP + FP
Recall =
TP + TN
TP
F-Measure =
Precision + Recall
2 * Precision * Recall
20. Δεκέμβριος 2022 ∆ημιουργία συμπεριφορών αυτόνομου αυτοκινήτου με χρήση προσομοιωτή
και απλών καμερών
20
Μετρικές Αξιολόγησης
Aξιολόγηση ολοκλήρωσης των διαδρομών
• ποσοστό ολοκλήρωσης κατα µέσο όρο για Ν διαδροµές
1
Ν
𝑖=1
𝑁
𝑝𝑖
Υπολογισμός σφάλματος της μεθόδου αναγνώρισης λωρίδων
• Υπολογισμός της γωνίας μεταξύ της πραγματικής λωρίδας και της λωρίδας που εντοπίστηκε
• σφάλµα µεταξύ των ευθειών κατά µέσο όρο :
1
Ν
𝑖=1
𝑁
𝜔𝑖
21. Δεκέμβριος 2022 ∆ημιουργία συμπεριφορών αυτόνομου αυτοκινήτου με χρήση προσομοιωτή
και απλών καμερών
21
01 Αναγνώριση Αντικειµένων
22. Δεκέμβριος 2022 ∆ημιουργία συμπεριφορών αυτόνομου αυτοκινήτου με χρήση προσομοιωτή
και απλών καμερών
22
01 Αναγνώριση Αντικειµένων
23. Δεκέμβριος 2022 ∆ημιουργία συμπεριφορών αυτόνομου αυτοκινήτου με χρήση προσομοιωτή
και απλών καμερών
23
02 Οπτική Αναγνώριση Χαρακτήρων
• Tesseract OCR
• Σήματα ορίου ταχύτητας 30, 60 και 90 km/h
• Αξιολόγηση σε σύνολο 100 εικόνων από το
dataset
03 Αναγνώριση χρώµατος των φωτεινών σηµατοδοτών
• Ανάλυση ιστογράμματος
• Κόκκινη, πράσινη και πορτοκαλί ένδειξη
• Αξιολόγηση σε σύνολο 100 εικόνων από το
dataset
• Απομόνωση των πλαισίων οριοθέτησης στα οποία
ανιχνεύτηκαν σημάτα
• Απομόνωση των πλαισίων οριοθέτησης στα οποία
ανιχνεύτηκαν φανάρια
24. Δεκέμβριος 2022 ∆ημιουργία συμπεριφορών αυτόνομου αυτοκινήτου με χρήση προσομοιωτή
και απλών καμερών
24
04 Αναγνώριση Λωρίδων
• Αναγνώριση σε διαφορετικές συνθήκες φωτισμού
• Αξιολόγηση σε σύνολο 50 εικόνων από το dataset
• Υπολογισμός της απόκλισης των πραγματικών
ακμών στην εικόνα από αυτές που εντοπίστηκαν
από τη μέθοδο
Αναγνώριση Διαστραυρώσεων
• Σηματοδοτούνται με οριζόντια γραμμή στο οδόστρωμα
• Αξιολόγηση σε σύνολο 50 εικόνων από το dataset
• Απόκλιση: θ = 1,06° µε τυπική απόκλιση σ = 0.8
25. Δεκέμβριος 2022 ∆ημιουργία συμπεριφορών αυτόνομου αυτοκινήτου με χρήση προσομοιωτή
και απλών καμερών
25
05 Πλοήγηση µε χρήση PID ελεγκτή
• Έλεγχος ταχύτητας και κατεύθυνσης του
οχήματος
• 6 προκαθορισμένες διαδρομές σε 3 από τις πόλεις του CARLA
• H εκτέλεση της διαδροµής βαθµολογείται µε 0 εφόσον δεν ολοκληρωθεί µε επιτυχία µια διαδροµή και µε 1 εφόσον το όχηµα
εκτελέσει µε επιτυχία την πλοήγηση στη διαδροµή που ορίστηκε
26. Δεκέμβριος 2022 ∆ημιουργία συμπεριφορών αυτόνομου αυτοκινήτου με χρήση προσομοιωτή
και απλών καμερών
26
02 Μεθοδολογία
05
Μελλοντική Εργασία
01
Εισαγωγή
04 Συμπεράσματα
03
Αποτελέσματα &
Αξιολόγηση
27. Δεκέμβριος 2022 ∆ημιουργία συμπεριφορών αυτόνομου αυτοκινήτου με χρήση προσομοιωτή
και απλών καμερών
27
Συμπεράσματα
Επιτυχής αναγνώριση στατικών και δυναμικών εμποδίων με χρήση του δικτύου YOLO
Η μέθοδος εντοπισμού των λωρίδων ανταποκρίθηκε επιτυχώς σε διαφορετικές συνθήκες καιρού και φωτισμού
Η διαδικασία της οπτικής αναγνώρισης χαρακτήρων επηρεάστηκε πολύ περίσσοτερο από τις υπόλοιπες μεθόδους από τις καιρικές συνθήκες
Η μέθοδος διατήρησης λωρίδας λειτουργεί ικανοποιητικά σε δρόμους χωρίς διαστραυρώσεις αλλά σε δρόμους χωρίς λωρίδες η μέθοδος αυτή δεν
θα μπορούσε να εφαρμοστεί
28. Δεκέμβριος 2022 ∆ημιουργία συμπεριφορών αυτόνομου αυτοκινήτου με χρήση προσομοιωτή
και απλών καμερών
28
02 Μεθοδολογία
05
Μελλοντική Εργασία
01
Εισαγωγή
04 Συμπεράσματα
03
Αποτελέσματα &
Αξιολόγηση
29. Δεκέμβριος 2022 ∆ημιουργία συμπεριφορών αυτόνομου αυτοκινήτου με χρήση προσομοιωτή
και απλών καμερών
29
Μελλοντική Εργασία
Σύστηµα πλοήγησης που να λειτουργέι εξ ολοκλήρου µε τη χρήση κάµερας, µελετώντας πιο σύνθετες µεθόδους, σε
συνδυασµό µε µια υλοποιήση µιας Μηχανής Καταστάσεων (FSM)
Χρήση µιας αναλυτικής µεθόδου για τον καθορισµό των κανόνων αξιολόγησης με προκατασκευασµένο πίνακα που
αντικατοπτρίζει την αξία ενός κανόνα για κάθε συµπεριφορά και κάθε παράβαση που µπορεί να εκτελεί το όχηµα
Δημιουργία μεγαλύτερου συνόλου δεδοµένων για την εκπαίδευση του µοντέλου YOLO
Aξιολόγηση µε µέρος του συνόλου δεδοµένων που να περιλαµβάνει περισσότερες εικόνες µε ακραίες συνθήκες φωτισµού και καιρού
Δηµιουργία ενός συστήµατος εναλλακτικών διαδροµών σε περίπτωση αποφυγής εµποδίων ή προσπέρασης οχήµατος, το οποίο θα λάµβανε
πληροφορίες από το σύστηµα αντίληψης
30. Δεκέμβριος 2022 ∆ημιουργία συμπεριφορών αυτόνομου αυτοκινήτου με χρήση προσομοιωτή
και απλών καμερών
30
Ευχαριστώ πολύ για την προσοχή σας!
Ερωτήσεις;