Seminário em Inteligência Artificial

1. Reconhecimento automático
de emoções faciais
PÓS-GRADUAÇÃO EM CIÊNCIA DA COMPUTAÇÃO
UNIVERSIDADE FEDERAL DE UBERLÂNDIA – UFU
FACULDADE DE COMPUTAÇÃO - FACOM/UFU
Aluno: Adilmar Coelho Dantas
Mestrado em Ciência da Computação

2. Artigo de estudo
http://sightcorp.com/downloads/Automatic%20Facial%20Emotion%20Rec
ognition.pdf

3. Introdução
 Objetivo do artigo
 Propor e desenvolver um sistema capaz de detectar
emoções inferidas pela face em tempo real em vídeos.
 Solução apresentada
 Foi desenvolvido um sistema capaz de reconhecer a face utilizando Haar Cascade.
 Utilizou-se a teoria FACS para classificação das UA’s e as emoções
respectivamente.
 Para classificação utilizou-se do classificador Naive Bayes.

4. Introdução
Expressões faciais e a inteligência artificial
 Recentemente tem havido um grande interesse em
melhorar a interação entre maquinas e seres humanos,
e uma grande forma de expressão utilizada pelos seres
humanos para expressarem suas emoções e através da
face, e identificar esse processo pode ser entendido
como uma parte do que hoje chamamos de
“inteligente”.

5. Fundamentação teórica
 Desde o início da década de 1970 existem estudos das
expressões faciais humanas, quando Ekman encontrou
as expressões faciais denominadas “expressõs
universais”. São elas (raiva, medo, desgosto, surpresa,
alegria e tristeza).

6. Fundamentação teórica
 FACS (Facial Action Coding System)
 É um padrão comum para categorizar sistematicamente
a expressão física das emoções.
 Formado por 44 Unidades de ações
 Exemplos
 UA1 Levantador de
Sobrancelha Interna

7. Fundamentação teórica
 Para que fosse possível detectar esses padrões ou seja o
movimento dessas unidades de ações denominadas
UAS, o autor utilizou-se das seguintes técnicas.
Piecewise BézierVolume Deformation (PBVD).
 Tao and Huang

8. Fundamentação teórica
 Outra necessidade encontrada foi a criação de Motion
units obtidas a partir do PBVD para passagem de
entrada do classificador.
Note que elas são
semelhantes mas não
Equivalentes as UA
Propostas por Ekman.

9. Fundamentação teórica
Como determinar se ocorreu ou não uma
determinada emoção ?
 Para responder essa pergunta basta olharmos para as UA’S.
a combinação delas infere uma determinada emoção.
Exemplo:
Ua’s 1 + 2 + 5 + 27 = Emoção Surpresa!

10. Materiais e Métodos
Classificadores probabilístico
 Para este problema os classificadores Naive Bayes trazem
uma solução boa, além de serem simples e bastante
utilizados em problemas similares.
 Na fase classificação calcula-se qual distribuição
tem a maior probabilidade de ter gerado cada
emoção.

11. Materiais e Métodos
Detecção de face
Antes da detecção destes pontos é importante a
detecção da face para isto utilizou-se das seguinte técnica.
Classificador Haar Cascade (Viola and Jones)
Um forte classificador utilizado para detecção de faces em
imagens e vídeos, muito utilizado pelo seu rápido tempo
de resposta.

12. Materiais e Métodos
Haar Cascade e suas etapas.
 Haar Características Seleção
 Criação de Imagem Integral
 Algoritmo de treinamento AdaBoost
 Classificadores em cascata

13. Materiais e Métodos
Implementação
Desenvolvido em Java o autor procurou remover do
sistema certas dependências que poderiam atrapalhar na
execução do sistema por usuários comuns.
Utilizou-se da biblioteca Opencv para captura dos videos
em tempo real.

14. Base de Dados
Banco de Dados Cohn-Kanade Database FACS
proposto por [Kanade and Cohn 2005].
 Imagens em preto e branco.
 Imagens de 97 estudantes com idades entre 18 a 30
anos.
 Estudantes de várias etnias e sexo.
 Agrupamento das Ua’s de cada pessoa referente a
cada emoção.

15. Base de Dados
Banco de Dados Cohn-Kanade Database FACS
proposto por [Kanade and Cohn 2005].
Sequencias de imagens ou vídeos que descrevem uma
determinada emoção

16. Experimentos
Separação treinamento- validação - teste
Para cada classificador foi utilizada um conjunto de
imagens de uma pessoa e outra para os testes, evitando
assim que o classificador decorasse as classificações.
Foram avaliadas todas as sete emoções
Feliz Neutro Surpreso irritado Desgostoso Medo Triste

17. Resultados
Matriz de confusão para o classificador
Apesar de relativamente bom para algumas emoções os
resultados não foram tão bons vamos ver as possíveis
causas mencionadas pelo autor.

18. Resultados
Alguns desafios
Algumas emoções podem ser classificadas
erroneamente pelo fato de serem muito semelhantes
no conjunto de UA’S que formam a mesma.
Exemplo
Uma emoção interessante é medo (medo), que pode ser
facilmente classificada erroneamente como surpresa.

19. Resultados
Um grande conjunto de
UA’S para uma emoção, se
diferenciando em detalhes
mínimos.
*Este fato faz com que a emoção “medo” seja facilmente confundida
com outras emoções.

20. Conclusão
Apesar dos resultados terem sidos relativamente bons
comparados com outras técnicas, ele pode ser melhorado
conforme proposto pelo autor, como por exemplo a criação
de um classificador para cada emoções e a combinação
destes resultados para inferir uma determinada emoção.
Trabalhar em funções para tratamento das imagens para
remoção de ruídos e oclusão apresenta uma boa
oportunidade.
Óculos, e outros detalhes impedem a identificação da face.

21. Trabalhos futuros
O trabalho o qual desenvolvo e bastante semelhante
porem com melhorias em alguns aspectos como por
exemplo.
 Portabilidade Web e mobile
 Detecção com óculos
 Este será integrado em ambientes de aprendizagem a
distancia (Moodle) para a classificação e estimulação do
estudante de maneira eficaz.

22. Trabalhos futuros

23. Obrigado !!!
akanehar@gmail.com