Camera-driven behavioral planning for autonomous vehicles on the CARLA Simulator

Camera-driven behavioral planning for autonomous vehicles on the CARLA Simulator
Δημιουργία συμπεριφορών αυτόνομου αυτοκινήτου με χρήση προσομοιωτή και απλών καμερών Διπλωματική Εργασία Εκπόνηση: Μαστραλέξη Χριστίνα Μαρία 9284 Επίβλεψη: Καθηγητής Ανδρέας Συμεωνίδης Μεταδιδακτορικός ερευνητής Εμμανουήλ Τσαρδούλιας
05 04 Δεκέμβριος 2022 ∆ημιουργία συμπεριφορών αυτόνομου αυτοκινήτου με χρήση προσομοιωτή και απλών καμερών 2 02 Μεθοδολογία Μελλοντική Εργασία 01 Εισαγωγή Συμπεράσματα 03 Αποτελέσματα & Αξιολόγηση
Δεκέμβριος 2022 ∆ημιουργία συμπεριφορών αυτόνομου αυτοκινήτου με χρήση προσομοιωτή και απλών καμερών 3 Ασφάλεια Κόστος Περιβάλλον Ανάπτυξη • Τήρηση του Κ.Ο.Κ. • Μείωση τροχαίων ατυχημάτων • Ανεπηρέαστο από ανθρώπινα λάθη • Χαμηλότερο κόστος μεταφορών • Μεγαλύτερη διάρκεια ζωής οχήματος • Λιγότερες ανάγκες επισκευών και μειωμένα έξοδα συντήρησης • Μείωση κυκλοφοριακού προβλήματος • Μετακίνηση ατόμων με αναπηρία • Μέσα Μαζικής Μεταφοράς • Σημαντική μείωση ρύπων • Ενεργειακά αποδοτική οδήγηση Κίνητρο
Δεκέμβριος 2022 ∆ημιουργία συμπεριφορών αυτόνομου αυτοκινήτου με χρήση προσομοιωτή και απλών καμερών 4 Level 0 Κανένας Αυτοματισμός Level 1 Αυτοματισμός Συγκεκριμένων Λειτουργιών Level 2 Αυτοματισμός Συνδυαζόμενων Λειτουργιών Level 3 Περιορισμένος Αυτοματισμός Level 4 Υψηλό Επίπεδο Αυτοματοποίησης Βαθμοί Αυτονομίας Level 5 Πλήρης Αυτοματοποίησ
Δεκέμβριος 2022 ∆ημιουργία συμπεριφορών αυτόνομου αυτοκινήτου με χρήση προσομοιωτή και απλών καμερών 5 Σκοπός της διπλωματικής Δημιουργία συστήματος αυτόνομης οδήγησης Χρήση της κάμερας ως βασικού αισθητήρα 3 επιμέρους διεργασίες: Αντίληψη Χρήση και επεξεργασία των εικόνων που λαμβάνονται από την κάμερα για να ερμηνεύσει το περιβάλλον του οχήματος Πλοήγηση Διατήρηση ελέγχου και πλοήγηση του οχήματος χρησιμοποιοώντας πληροφορίες για την θέση του στο οδόστρωμα και την τοποθεσία του στον χάρτη Χάραξη βασικού μονοπατιού Σχεδίαση ενός βασικού μονοπατιού στον χάρτη με βάση ένα αρχικό και ένα τελικό σημείο
Δεκέμβριος 2022 ∆ημιουργία συμπεριφορών αυτόνομου αυτοκινήτου με χρήση προσομοιωτή και απλών καμερών 6 Τεχνολογίες Προσομοιωτής CARLA • Υποστηρίζει την ανάπτυξη, την εκπαίδευση και την αξιολόγηση συστημάτων αυτόνομης οδήγησης • 10 χάρτες πόλεων • Διαφορετικές καιρικές συνθήκες και συνθήκες φωτισμού • Actors: οχήµατα, πεζοί, αισθητήρες, φωτεινοί σηµατοδότες και σήµατα οδικής κυκλοφορίας • Ρεαλιστική φυσική του οχήματος και διαφορετικά σενάρια οδήγησης • Waypoints: σημεία διαδρομής του χάρτη OpenCV • Βιβλιοθήκη κατάλληλη για διαφορετικές εφαρμογές στους τομείς της οπτικής επεξεργασίας YOLO (You Only Look Once) • Aλγόριθµος που χρησιµοποιεί νευρωνικά δίκτυα για τον εντοπισµό και την αναγνώριση αντικειµένων σε πραγµατικό χρόνο
Δεκέμβριος 2022 ∆ημιουργία συμπεριφορών αυτόνομου αυτοκινήτου με χρήση προσομοιωτή και απλών καμερών 7 02 Μεθοδολογία 05 Μελλοντική Εργασία 01 Εισαγωγή 04 Συμπεράσματα 03 Αποτελέσματα & Αξιολόγηση
Δεκέμβριος 2022 ∆ημιουργία συμπεριφορών αυτόνομου αυτοκινήτου με χρήση προσομοιωτή και απλών καμερών 8 Υποσυστήματα Υποσύστημα Αντίληψης Αναγνώριση χρώματος φαναριών Υποσύστημα Πλοήγησης Υποσύστημα Κατασκευής Βασικού Μονοπατιού Κατασκευή βασικού μονοπατιού με χρήση του αλγορίθμου Α* Πλοήγηση με χρήση PID ελεγκτή Αναγνώριση λωρίδων στο οδόστρωμα Αναγνώριση αντικειμένων Αναγνώριση σημάτων ταχύτητας Πλοήγηση με διατήρηση λωρίδας
Δεκέμβριος 2022 ∆ημιουργία συμπεριφορών αυτόνομου αυτοκινήτου με χρήση προσομοιωτή και απλών καμερών 9 Υποσύστημα Αντίληψης Αναγνώριση Λωρίδων Select ROI Grayscale Noise Reduction Canny Edge Detector Hough Transfer Combine line segments into two lanes Line Coordinates Προεπεξεργασία Εικόνας
Δεκέμβριος 2022 ∆ημιουργία συμπεριφορών αυτόνομου αυτοκινήτου με χρήση προσομοιωτή και απλών καμερών 10 Υποσύστημα Αντίληψης Αναγνώριση Λωρίδων
Δεκέμβριος 2022 ∆ημιουργία συμπεριφορών αυτόνομου αυτοκινήτου με χρήση προσομοιωτή και απλών καμερών 11 Υποσύστημα Αντίληψης Αναγνώριση Αντικειμένων - Σύνολο Δεδομένων 7 κλάσεις bike vehicle bus motorbike pedestrian traffic light traffic sign • 3624 εικόνες μεγέθους 1600×1200 • 7 κλάσεις • 5 διαφορετικές πόλεις του προσομοιωτή • Διαφορετικές συνθήκες καιρού  Ημέρα με ήλιο  Ημέρα με συννεφιά  Ημέρα με συννεφιά και βρεγμένο δρόμο  Ημέρα με χαμηλής έντασης βροχή  Ημέρα με μέτριας έντασης βροχή Training Set Test Set
Δεκέμβριος 2022 ∆ημιουργία συμπεριφορών αυτόνομου αυτοκινήτου με χρήση προσομοιωτή και απλών καμερών 12 Υποσύστημα Αντίληψης Αναγνώριση Αντικειμένων - Δημιουργία Ετικετών .jpg .txt Σύνολο δεδομένων σε YOLO format Πλαίσιο οριοθέτησης Ετικέτες στην εικόνα
Δεκέμβριος 2022 ∆ημιουργία συμπεριφορών αυτόνομου αυτοκινήτου με χρήση προσομοιωτή και απλών καμερών 13 Υποσύστημα Αντίληψης Αναγνώριση Αντικειμένων – YOLO (You Only Look Once) S x S grid on input Class probability map Bounding Boxes + confidence Final Detections • YOLOv4 • Νευρωνικά δίκτυα για εντοπισμό αντικειμένων σε πραγματικό χρόνο • Λαµβάνει την εικόνα εισόδου µία φορά και δεν την επεξεργάζεται ξανά µετά την είσοδο κατά την εκτέλεση του • Ανίχνευση: πρόβληµα παλινδρόµησης • Είσοδος: εικόνες • Έξοδος: πιθανότητες κλάσεων και συντεταγμένες του πλαισίου οριοθέτησης
Δεκέμβριος 2022 ∆ημιουργία συμπεριφορών αυτόνομου αυτοκινήτου με χρήση προσομοιωτή και απλών καμερών 14 Υποσύστημα Αντίληψης Αναγνώριση των σημάτων ταχύτητας με Tesseract OCR • OCR – Optical Character Recognition • Σήματα ορίου ταχύτητας κυκλοφορίας: 30, 60 και 90 km/h • Page Segmentation mode (PSM) 9: «Η εικόνα περιέχει μία λέξη μέσα σε κύκλο»
Δεκέμβριος 2022 ∆ημιουργία συμπεριφορών αυτόνομου αυτοκινήτου με χρήση προσομοιωτή και απλών καμερών 15 Υποσύστημα Αντίληψης Αναγνώριση χρώματος των φωτεινών σηματοδοτών με ανάλυση ιστογράμματος Red mask Green mask • RGB ιστογράμματα • Επεξεργασία ξεχωριστά (R, G, B) ή σε ζεύγη (RG, GB, BR) • Πληροφορία από το GR ιστόγραμμα
Δεκέμβριος 2022 ∆ημιουργία συμπεριφορών αυτόνομου αυτοκινήτου με χρήση προσομοιωτή και απλών καμερών 16 Υποσύστημα Πλοήγησης PID ελεγκτής Διατήρηση Λωρίδας • Έλεγχος ταχύτητας και θέσης με χρήση PID ελεγκτών μέσω του CARLA API Δύο επιμέρους διαδικασίες: • Αναγνώριση λωρίδων στο οδόστρωμα (Υποσύστημα Αντίληψης) • Καθορισμός κίνησης- Στόχος: Διατήρηση του οχήματος ανάμεσα στα όρια των λωρίδων και πλοήγηση στη μέση • Προκαθορισμένες διαδρομές με καθορισμό αρχικού σημείου εκκίνησης και τελικού σημείου προορισμού • Ελεγκτές: τροποποίηση σφάλματος μεταξύ της επιθυμητής και της πραγματικής εξόδου • Επιλογή του αναλογικού, ολοκληρωτικού και διαφορικού κέρδους • Επιθυμητή διαδρομή: καθορισμένα waypoints (σημεία) • Έλεγχος με διατήρηση λωρίδας (Lane Keeping Assist System)
Δεκέμβριος 2022 ∆ημιουργία συμπεριφορών αυτόνομου αυτοκινήτου με χρήση προσομοιωτή και απλών καμερών 17 Υποσύστημα Κατασκευής Βασικού Μονοπατιού Κατασκευή Γράφου • Aλγόριθμος Α*: εύρεση συντομότερου μονοπατιού • Υπολογισμός του κόμβου με το χαμηλότερο κόστος f(n) = g(n) + h(n) g(n): κόστος από την αρχική στην τρέχουσα κατάσταση h(n): απόσταση από την παρούσα κατάσταση στην κατάσταση - στόχο • Καλή ταχύτητα εκτέλεσης και αξιοπιστία
Δεκέμβριος 2022 ∆ημιουργία συμπεριφορών αυτόνομου αυτοκινήτου με χρήση προσομοιωτή και απλών καμερών 19 Μετρικές Αξιολόγησης Actual Positive Class Actual Negative Class Predicted Positive Class True Positive (TP) False Negative (FN) Predicted Negative Class False Positive (FP) True Negative (TN) IoU (Intersection over Union) • περιγράφει πως αλληλεπικαλύπτονται το πραγµατικό πλαίσιο σε σχέση µε το πλαίσιο που προβλέφθηκε κατά την ανίχνευση αντικειµένων mAP (mean Average Precision) • χρησιμοποιείται στην ανίχνευση αντικειμένων και συνδυάζει σε μια μετρική τις μετρικές precision και recall IoU = Area of Overlap Area of Union Accuracy = TP + TN TP + TN + FP + FN Precision = TP TP + FP Recall = TP + TN TP F-Measure = Precision + Recall 2 * Precision * Recall
Δεκέμβριος 2022 ∆ημιουργία συμπεριφορών αυτόνομου αυτοκινήτου με χρήση προσομοιωτή και απλών καμερών 20 Μετρικές Αξιολόγησης Aξιολόγηση ολοκλήρωσης των διαδρομών • ποσοστό ολοκλήρωσης κατα µέσο όρο για Ν διαδροµές 1 Ν 𝑖=1 𝑁 𝑝𝑖 Υπολογισμός σφάλματος της μεθόδου αναγνώρισης λωρίδων • Υπολογισμός της γωνίας μεταξύ της πραγματικής λωρίδας και της λωρίδας που εντοπίστηκε • σφάλµα µεταξύ των ευθειών κατά µέσο όρο : 1 Ν 𝑖=1 𝑁 𝜔𝑖
Δεκέμβριος 2022 ∆ημιουργία συμπεριφορών αυτόνομου αυτοκινήτου με χρήση προσομοιωτή και απλών καμερών 21 01 Αναγνώριση Αντικειµένων
Δεκέμβριος 2022 ∆ημιουργία συμπεριφορών αυτόνομου αυτοκινήτου με χρήση προσομοιωτή και απλών καμερών 22 01 Αναγνώριση Αντικειµένων
Δεκέμβριος 2022 ∆ημιουργία συμπεριφορών αυτόνομου αυτοκινήτου με χρήση προσομοιωτή και απλών καμερών 23 02 Οπτική Αναγνώριση Χαρακτήρων • Tesseract OCR • Σήματα ορίου ταχύτητας 30, 60 και 90 km/h • Αξιολόγηση σε σύνολο 100 εικόνων από το dataset 03 Αναγνώριση χρώµατος των φωτεινών σηµατοδοτών • Ανάλυση ιστογράμματος • Κόκκινη, πράσινη και πορτοκαλί ένδειξη • Αξιολόγηση σε σύνολο 100 εικόνων από το dataset • Απομόνωση των πλαισίων οριοθέτησης στα οποία ανιχνεύτηκαν σημάτα • Απομόνωση των πλαισίων οριοθέτησης στα οποία ανιχνεύτηκαν φανάρια
Δεκέμβριος 2022 ∆ημιουργία συμπεριφορών αυτόνομου αυτοκινήτου με χρήση προσομοιωτή και απλών καμερών 24 04 Αναγνώριση Λωρίδων • Αναγνώριση σε διαφορετικές συνθήκες φωτισμού • Αξιολόγηση σε σύνολο 50 εικόνων από το dataset • Υπολογισμός της απόκλισης των πραγματικών ακμών στην εικόνα από αυτές που εντοπίστηκαν από τη μέθοδο Αναγνώριση Διαστραυρώσεων • Σηματοδοτούνται με οριζόντια γραμμή στο οδόστρωμα • Αξιολόγηση σε σύνολο 50 εικόνων από το dataset • Απόκλιση: θ = 1,06° µε τυπική απόκλιση σ = 0.8
Δεκέμβριος 2022 ∆ημιουργία συμπεριφορών αυτόνομου αυτοκινήτου με χρήση προσομοιωτή και απλών καμερών 25 05 Πλοήγηση µε χρήση PID ελεγκτή • Έλεγχος ταχύτητας και κατεύθυνσης του οχήματος • 6 προκαθορισμένες διαδρομές σε 3 από τις πόλεις του CARLA • H εκτέλεση της διαδροµής βαθµολογείται µε 0 εφόσον δεν ολοκληρωθεί µε επιτυχία µια διαδροµή και µε 1 εφόσον το όχηµα εκτελέσει µε επιτυχία την πλοήγηση στη διαδροµή που ορίστηκε
Δεκέμβριος 2022 ∆ημιουργία συμπεριφορών αυτόνομου αυτοκινήτου με χρήση προσομοιωτή και απλών καμερών 27 Συμπεράσματα Επιτυχής αναγνώριση στατικών και δυναμικών εμποδίων με χρήση του δικτύου YOLO Η μέθοδος εντοπισμού των λωρίδων ανταποκρίθηκε επιτυχώς σε διαφορετικές συνθήκες καιρού και φωτισμού Η διαδικασία της οπτικής αναγνώρισης χαρακτήρων επηρεάστηκε πολύ περίσσοτερο από τις υπόλοιπες μεθόδους από τις καιρικές συνθήκες Η μέθοδος διατήρησης λωρίδας λειτουργεί ικανοποιητικά σε δρόμους χωρίς διαστραυρώσεις αλλά σε δρόμους χωρίς λωρίδες η μέθοδος αυτή δεν θα μπορούσε να εφαρμοστεί
Δεκέμβριος 2022 ∆ημιουργία συμπεριφορών αυτόνομου αυτοκινήτου με χρήση προσομοιωτή και απλών καμερών 29 Μελλοντική Εργασία Σύστηµα πλοήγησης που να λειτουργέι εξ ολοκλήρου µε τη χρήση κάµερας, µελετώντας πιο σύνθετες µεθόδους, σε συνδυασµό µε µια υλοποιήση µιας Μηχανής Καταστάσεων (FSM) Χρήση µιας αναλυτικής µεθόδου για τον καθορισµό των κανόνων αξιολόγησης με προκατασκευασµένο πίνακα που αντικατοπτρίζει την αξία ενός κανόνα για κάθε συµπεριφορά και κάθε παράβαση που µπορεί να εκτελεί το όχηµα Δημιουργία μεγαλύτερου συνόλου δεδοµένων για την εκπαίδευση του µοντέλου YOLO Aξιολόγηση µε µέρος του συνόλου δεδοµένων που να περιλαµβάνει περισσότερες εικόνες µε ακραίες συνθήκες φωτισµού και καιρού Δηµιουργία ενός συστήµατος εναλλακτικών διαδροµών σε περίπτωση αποφυγής εµποδίων ή προσπέρασης οχήµατος, το οποίο θα λάµβανε πληροφορίες από το σύστηµα αντίληψης
Δεκέμβριος 2022 ∆ημιουργία συμπεριφορών αυτόνομου αυτοκινήτου με χρήση προσομοιωτή και απλών καμερών 30 Ευχαριστώ πολύ για την προσοχή σας! Ερωτήσεις;

Check these out next

Camera-driven behavioral planning for autonomous vehicles on the CARLA Simulator

Recommandé

Contenu connexe

Similaire à Camera-driven behavioral planning for autonomous vehicles on the CARLA Simulator(6)

Plus de ISSEL(20)

Dernier(20)

Camera-driven behavioral planning for autonomous vehicles on the CARLA Simulator