Este documento resume um trabalho de mestrado sobre análise de tráfego em vídeos utilizando visão computacional. Ele propõe um método holístico que inclui subtração de fundo, rastreamento de veículos e classificação do estado do trânsito. Os algoritmos propostos obtiveram taxas de acerto entre 90-95% na classificação do tráfego.

1. Instituição: Universidade Federal da Bahia
Curso: Mestrado em Mecatrônica
Aluno: Andrews Sobral
Orientador: Leizer Schnitman
Co-orientador: Luciano Oliveira
1

2.  Introdução
 Métodos de Análise de Tráfego
 Soluções Tradicionais e Holísticas
 Método Proposto
 Avaliação dos algoritmos de subtração de fundo
 Avaliação dos algoritmos de classificação
 Resultados e Considerações Finais
2

3. Secretaria de Transporte e Trânsito de Vila Velha
Espírito Santo
3

4. http://www.salvador.ba.gov.br/paginas/transito
aovivo.aspx
4

5. Abordagem Tradicional
5

6.  Abordagem Tradicional
 Abordagem Bottom-up
Buch et al. (2011)
 Abordagem Top-down
KNN, SVM, ANN, ... Filtro de Kalman, Partículas, ... 6

7. e.g:
SIFT (Scale-Invariant Feature Transform) de Lowe (1999)
SURF (Speeded Up Robust Feature ) de Bay et al. (2008)
HOG (Histogram of Oriented Gradients) de Dalal e Triggs (2005)
Haar wavelet de Papageorgiou et al. (1998) Alguns trabalhos que utilizam a abordagem bottom-up:
Cheng e Chen (2011), Lan e Zhang (2010), Thi et al. (2008),
Haar-like de Viola e Jones (2001) Acunzo et al. (2007) Alefs (2006)
7

8. e.g:
Frame Difference
Mean Background de Lai e Yung (1998)
Alguns trabalhos que utilizam a abordagem top-down:
Gaussian Average de Wren (1997)
Mithun et al. (2012), Lai et al. (2010), Buch et al. (2010), Monteiro et al.
(2008), Morris e Trivedi (2006), Hsieh et al. (2006), Gaussian Mixture Model of Stauffer e Grimson (1999),
JunFang et al. (2011) e Luo e Zhu (2010) Zivkovic (2004), Baf et al (2008), Zhao et al (2012) 8

9. Sistema da AgilityVideo (2012) para contagem de veículos. Sistema da VaxtorSystems (2012) para estimativa de velocidade de veículos.
Sistema da I2V (2012) para contagem de veículos por Sistema da VCA (2012) para detecção, rastreamento e classificação de
classificação veículos 9

10. Aglomerações de Veículos
10

11. Abordagem Holística
11

12.  Análise de Aglomerados Junior et al. (2010)
Vídeo Nuvem de Veículos Trabalhos relacionados à
análise de tráfego
Porikli e Li (2004) – DCT e vetores de fluxo MPEG
Chan e Vasconcelos (2005) – modelo ARMA
Lee e Bovik (2009) – hist. vetores fluxo óptico
Derpanis e Wildes (2011) – filtro 3D + fourrier
Densidade • Subtração de Fundo
Principais Atributos Velocidade • Fluxo Óptico
Saxena et al. (2008), Zhan
Direção e Sentido • Análise da Textura, Cor e Borda
et al. (2008;) e Junior et al.
• Análise no Domínio da Frequência
(2010) Localização
12

13. Sistema comercial da ObjectVideo
(2012) para classificação do
Classificação baseada no modelo estado do trânsito.
autoregressivo ARMA de Chan e Vasconcelos
(2005) 13

14. Introdução
Critérios e Limitações
14

15. 2
4
1
3
Critérios e Limitações
Câmeras estáticas Vias em sentidos opostos
Vias locais e coletoras
Cenas noturnas
Cruzamentos e intervenções de nível
15

16. Chan e Vasconcelos (2005)
48x48 pixels
Derpanis e Wildes (2011)
16

17. Processo de Subtração de Fundo
Avaliação dos Métodos de Subtração de Fundo
Segmentação da Nuvem de Veículos
Estimação da Densidade da Nuvem de Veículos
17

18. n : índice do frame, n Є [1,N] | N : qt total de frames.
T : limiar (e.g. qt necessária de frames para gerar um modelo adequado do plano de fundo). 18

19. 19

20.  Algoritmos selecionados:
20

21.  Base de dados:
 ChangeDetection de Goyette et al. (2012)
 Cenas indoor e outdoor
 31 vídeos (~ 90.000 frames)
 06 categorias
▪ baseline, jitter, dynamic background, intermitent object motion, shadow,
thermal
http://www.changedetection.net/ 21

22.  Métricas:
Melhor desempenho = menor rank (GOYETTE et al., 2012)
Legenda:
TP – True Positive, qt. de pixels do primeiro plano classificados como primeiro plano.
FP – False Positive, qt. de pixels do segundo plano que foram classificados como primeiro plano.
TN – True Negative, qt. de pixels do segundo plano que foram classificados como segundo plano .
FN – False Negative, qt. de pixels do primeiro plano que foram classificados como segundo plano.
22

23.  Categoria baseline Pessoas e veículos em movimento.
Pequenas variações de luminosidade e sombras.
 Categoria camera jitter Oscilações na câmera.
Perda de foco.
23

24.  Categoria dyn. bkg Plano de fundo dinâmico.
Pessoas, veículos e objetos em movimento.
 Categoria int.obj.motion Objetos que param repentinamente.
Pequenas variações de luminosidade e sombras.
24

25.  Categoria shadow Sombras fortes.
Pessoas, veículos e objetos em movimento.
25

26.  Desempenho geral
26

27. 27

28. 28

29. 29

30. Processo de Rastreamento
Estimação da Velocidade da Nuvem de Veículos
30

31.  Formas de representação de objetos:
 Cor
 Textura
 Bordas
 PDF
 Modelos
31

32.  Método KLT
 Kanade-Lucas-Tomasi
Extrator de Características
Shi e Tomasi (1994)
Fluxo Óptico
Lucas e Kanade (1981)
Bouguet (2000)
(a) Dois frames consecutivos.
(b) Extração de pontos do primeiro frame.
Tmax = 500 e Tmin = 50
(c) Rastreamento dos pontos no frame seguinte.
(d) Filtragem dos pontos cujo deslocamento é infeior à um limiar.
Tlim = 3 pixels
Também utilizado em análise de agromerados nos trabalhos de:
Saxena et al. (2008), Santoro et al. (2010), Rodriguez et al. (2011) e He e Liu (2012) 34

33. 35

34. 36

35. Características Extraídas
Métodos de Classificação
37

36. 38

37. 39

38.  Algoritmos selecionados:
 K-NN (K-Nearest Neighbor)
 NBC (Naive Bayes Classifier)
 MLP (MultiLayer Perceptrons)
 SVM (Support Vector Machine)
40

39. 41

40.  Base de dados:
 UCSD traffic dataset de Chan e Vasconcelos (2005)
 Resolução de 320x240 RGB
 254 vídeos de 42 a 52 frames por vídeo (10 FPS, 4~5seg por vídeo)
 Anotações especificando:
▪ Nível de congestão (alto, médio e baixo), clima (ensolarado, chuvoso ou
nublado), # de frames, ...
http://www.svcl.ucsd.edu/projects/traffic/ 42

41. http://www.svcl.ucsd.edu/projects/traffic/ 43

42. 44

43. 45

44.  Validação Cruzada
46

45. 47

46. 48

47. Avaliação dos Classificadores K-NN, NBC, MLP e SVM
49

48. 50

49. Em média, o classificador K-NN obteve 92.925% de acertos 51

50. 52

51. Em média, o classificador NBC obteve 92.95% de acertos 53

52. 54

53. Em média, o classificador MLP obteve 94.5% de acertos 55

54. 56

55. Em média, o classificador SVM obteve 92.95% de acertos 57

56. 58

57. 59

58. 60

59. 61

60. 62

61.  Trânsito sem Veículos vs Trânsito com Veículos Parados
 Para inicializar o modelo do plano de fundo, o método MultiLayer, requer que os
veículos presentes na cena não estejam parados.
 Mesmo havendo um modelo do plano de fundo prévio e adequado, o algoritmo de
subtração de fundo precisa atualizá-lo com uma certa taxa de aprendizado. Se os
veículos ficarem parados por um longo período de tempo e, dependendo da taxa de
aprendizado, o algoritmo poderá incluí-los no modelo causando uma divergência com a
realidade (quantidade real de veículos presentes na cena).
 Resultados compatíveis com os trabalhos de Chan e Vasconcelos (2005) e
Derpanis e Wildes (2011).
 Taxa de acertos:
 90.90% dos vídeos com alta congestão.
 84.44% dos vídeos com média congestão.
 98.18% dos vídeos com baixa congestão.
63

62.  Avaliação com vídeos noturnos e outros dataset’s.
 Detecção de aglomerados de veículos utilizando apenas informações de
aparência.
 Testes com novos métodos de rastreamento e subtração de fundo.
64

63.  O presente trabalho foi aceito para publicação no 10th IASTED
International Conference on Signal Processing, Pattern Recognition
and Applications (SPPRA’2013) que será realizado nos dias 12 à 14 de
Fevereiro de 2013 em Innsbruck, Austria (SOBRAL et al., 2012).
65

64. 66

65. 67

66. 68

67.  BUCH, N.; VELASTIN, S.; ORWELL, J. A review of computer vision techniques for the analysis of urban traffic. IEEE
Transactions on Intelligent Transportation Systems (ITS'11), v. 12, n. 3, p. 920{939, sept. 2011.
 CHAN, A.; VASCONCELOS, N. Classification and retrieval of traffic video using auto-regressive stochastic processes. In:
IEEE Intelligent Vehicles Symposium, 2005. p. 771-776.
 DERPANIS, K. G.; WILDES, R. P. Classification of traffic video based on a spatiotemporal orientation analysis. In:
Proceedings of the 2011 IEEE Workshop on Applications of Computer Vision (WACV). Washington, DC, USA: IEEE
Computer Society, 2011. (WACV'11), p. 606-613. ISBN 978-1-4244-9496-5.
 JUNIOR, J. J.; MUSSE, S.; JUNG, C. Crowd analysis using computer vision techniques. IEEE Signal Processing Magazine, v.
27, n. 5, p. 6677, sept. 2010.
 LUCAS, B. D.; KANADE, T. An iterative image registration technique with an application to stereo vision. In: Proceedings of
the 7th international joint conference on Artificial intelligence - Volume 2. [S.l.: s.n.], 1981. p. 674-679.
 LEE, J.; BOVIK, A. Estimation and analysis of urban traffic flow. In: 16th IEEE International Conference on Image
Processing (ICIP'09). [S.l.: s.n.], 2009. p. 1157-1160. ISSN 1522-4880.
 SANTORO, F.; PEDRO, S.; TAN, Z.-H.; MOESLUND, T. B. Crowd analysis by using optical flow and density based clustering.
Proceedings of the European Signal Processing Conference (EUSIPCO), European Association for Signal Processing
(EURASIP), v. 18, p. 269{273, 2010. ISSN 2076-1465.
69

68.  SAXENA, S.; BREMOND, F.; THONNAT, M.; MA, R. Crowd behavior recognition for video surveillance. In: Proceedings of
the 10th International Conference on Advanced Concepts for Intelligent Vision Systems. Berlin, Heidelberg: Springer-
Verlag, 2008. (ACIVS'08), p. 970-981. ISBN 978-3-540-88457-6.
 SENST, T.; EISELEIN, V.; SIKORA, T. Robust local optical flow for feature tracking. IEEE Transactions on Circuits and
Systems for Video Technology, 2012.
 SHI, J.; TOMASI, C. Good features to track. In: IEEE Computer Society Conference on Computer Vision and Pattern
Recognition (CVPR'94). [S.l.: s.n.], 1994. p. 593-600. ISSN 1063-6919.
 SOBRAL, A.; OLIVEIRA, L.; SCHNITMAN, L.; SOUZA, F. D. Highway traffic congestion classification using holistic
properties. 10th IASTED International Conference on Signal Processing, Pattern Recognition and Applications
(SPPRA'2013), fev. 2013.
 YAO, J.; ODOBEZ, J. Multi-layer background subtraction based on color and texture. In: IEEE Conference on Computer
Vision and Pattern Recognition (CVPR'07), 2007. p. 1{8.
 YILMAZ, A.; JAVED, O.; SHAH, M. Object tracking: A survey. ACM Computing Surveys, ACM, New York, NY, USA, v. 38, n.
4, dec 2006. ISSN 0360-0300.
 ZHAN, B.; MONEKOSSO, D. N.; REMAGNINO, P.; VELASTIN, S. A.; XU, L.-Q. Crowd analysis: a survey. Machine Vision and
Applications, v. 19, n. 5-6, p. 345-357, 2008.
70