W artykule zaprezentowano wyniki badań nad rozpoznawaniem numerów autobusów i tramwajów w warunkach rzeczywistych i przy użyciu urządzeń mobilnych. Celem ww. badań było opracowanie skutecznych narzędzi wspomagających osoby z upośledzeniem wzroku w korzystaniu ze środków komunikacji miejskiej. Spośród wielu różnych analizowany podejść, w artykule zaprezentowane jedynie to, na którym oparto końcowy rezultat przeprowadzonych prac, tj. aplikację mobilną dedykowaną dla tej kategorii osób. Podejście to obejmuje dwie, wybrane techniki przetwarzania obrazów, bazujące odpowiednio na metodzie Haar-Like [7] oraz filtracji kolorów. W artykule przedstawiono szczegóły obu metod oraz zaprezentowano rezultaty testów nad ich zastosowaniem do rozpoznawania numerów linii. Szczegóły implementacji ww. aplikacji mobilnej również zostały przedstawione, a efektywność jej działania została podsumowana i poddana ocenie.

1. Aplikacja mobilna do rozpoznawania
numerów linii komunikacji miejskiej
Remigiusz Baran, Mikołaj Leszczuk,
Przemysław Ślusarczyk, Tomasz Ruść
2016-06-29

2. Wprowadzenie
• Przemieszczanie się
w mieście to poważny
problem dla ludzi
niepełnosprawnych
• Zwłaszcza
niewidzących albo
niedowidzących
• Potrzeba
rozpoznawania
napisów w otoczeniu
• W tym numerów linii
komunikacji miejskiej
Źródło: Wired.

3. 139 144
14 14
Cel badań
3

4. Nadjeżdżający
autobus
4
Widok autobusu z
przednią tablicą LED, z
perspektywy osoby
stojącej na przystanku
autobusowym

5. Algorytm
5

6. Lokalizowanie numerów linii
Kaskady
Haara Filtracja
koloru

7. Kaskady Haara
Front
autobusu
Front
tramwaju
Bok
autobusu
Bok
tramwaju
» Detekcja:
– Tablic
– Frontu autobusu
– Frontu tramwaju
– Frontów obu
typów
» Obrazów:
– Uczących: 11508
– Testowych: 1532

8. Filtracja koloru (1/2)
8
• Wykrywanie bursztynowych plam
• Przestrzeń kolorów HSV
Efekt rozmycia obrazuObraz źródłowy
Poszczególne warstwy
obrazu z modelu HSV:
(a) Odcień światła
(ang. Hue)
(b) Nasycenie koloru
(ang. Saturation)
(c) Moc światła białego
(ang. Value)
(a) (b) (c)

9. Filtracja koloru (2/2)
9
Wykrywanie: kontury, potencjalne tablice
Obszar wyświetlacza
tablicy LED
Inny wybrany obraz,
zawierający podobne
kolory

10. Przygotowanie do OCR
10
Tablica LED – wyraźnie widoczne oddzielone piksele (diody)
Wycięte fragmenty obrazu, po usunięciu tła, przygotowane do procesu OCR
(a) Oddzielone kropki – nie przechodzą procesu OCR
(b) Scalone kropki, obraz po przekształceniach morfologicznych – pełne
kształty znaków
(a) (b)

11. Proces filtracji elementów z
tekstem
Niepożądana
część obrazu
bez numeru
linii
Obraz binarny
Projekcja 1D –
nie wykryto
tekstu
Pożądana
część obrazu
z numerem
linii
Obraz binarny
Projekcja 1D –
wykryto tekst
11

12. Rozpoznawanie znaków
12
Zbiór przygotowany do treningu
Trenowanie znakami z rzeczywistych przykładów
Tesseract OCR Engine
Trening nowej czcionki

13. Rezultaty
Poprawne dla
pojedynczych zdjęć
62%
Poprawne
dodatkowo dla serii
zdjęć
2%
Niepoprawne
36%
UDZIAŁ POPRAWNYCH IDENTYFIKACJI

14. Demonstracja działania
aplikacji mobilnej
14

15. Dziękuję za uwagę!
Część badań raportowanych z artykule z zakresu technik OCR
finansowana była z projektu INSIGMA nr POIG.01.01.02-00-062/-
9. Praca M. Leszczuka jest finansowana przez umowę numer
11.11.230.018.