Apresentação sobre Self-Organizing Maps para disciplina de Redes Neurais na Universidade Federal do Rio de Janeiro.

1. Self-Organizing Maps 101
@DhianaDeva

2. Self-Organizing WHAT?!

3. Self. Organizing. Maps.
Self
Aprendizado não-supervisionado
Organizing
Maps
Organização = ordenação contextual
Aprendizado adaptativo
Arranjo topológico
Sistema de coordenadas significativo

4. Redes neurais capazes de transformar
adaptativamente padrões de sinais de entrada
de dimensão arbitrária em um mapa discreto,
geralmente uni/bidimensional, e
topologicamente ordenado

5. Rede neural???
● Classe especial de redes neurais artificiais
● Inerentemente não-linear
● Baseado em aprendizado competitivo

6. A-ha! Motivação biológica!
O cérebro humano é
organizado de maneira
que diferentes entradas
sensoriais são
mapeadas em áreas no
córtex cerebral de forma
topologicamente
ordenada

7. Sim, nós temos neurônios!
● Neurônios são dispostos
como nós de uma grade
● Cada neurônio é totalmente
conectado à todos os nós
da camada de entrada
● Cada neurônio possui,
portanto, um vetor de
pesos da mesma dimensão
do espaço de entrada

8. Modelo de Kohonen (the father of the son, quer dizer, SOM!)

9. Mas, como?

10. Um número suficiente de realizações dos
padrões de entrada devem ser apresentados à
rede e passar por três processos:
● Competição
● Cooperação
● Adaptação

11. Ps: Notações básicas
Entrada (dimensão
m):
Pesos sinápticos (rede com l neurônios):

12. Processo #1: Competição
● Neurônios competem entre si para serem
ativados
● É identificado apenas um vencedor através
da discriminação do neurônio de máxima
correspondência em relação à entrada:

13. Processo #2: Cooperação
Determinação de uma
vizinhança topológica:
● Simétrica ao redor do
neurônio vencedor
● Decaimento suave com
distância lateral
● Adivinha??? Gaussiana!

14. Processo #3: Adaptação
● Atualização dos pesos dos neurônios
excitados aumentando a resposta deles para
apresentações futuras do mesmo padrão
(sintonização seletiva)
● Diferencia-se do aprendizado Hebbiano:
○ Taxa de esquecimento para evitar saturação

15. A formação do mapa se dá em duas fases:
● Ordenação
● Convergência
“Procurar, depois convergir!”

16. Ps2: Atualizando as notações

17. Fase #1: Ordenação
A partir de um estado inicial de completa desordem,
gradualmente é formada uma representação organizada do
espaço de entrada
A taxa de aprendizado deve
começar com um valor perto de 0.1
e diminuir gradativamente, mas
permanecer acima de 0.01
A função de vizinhança deve
inicialmente incluir quase todos os
neurônios da rede e encolher com o
tempo

18. Fase #2: Convergência
Esta fase é necessária para aperfeiçoar o
mapeamento de características, fornecendo
uma quantificação estatística precisa do espaço
de entrada.
A taxa de aprendizado deve ser
mantida em um valor baixo, da
ordem de 0.01, sem chegar a zero.
A função de vizinhança deve conter
apenas os vizinhos próximos,
reduzindo eventualmente para um
ou até nenhum vizinho.

19. Propriedades

20. Aproximação do espaço
de entrada
i(x): Projeção de um
ponto do espaço
contínuo no espaço
neural discreto
wi: Ponteiro de um
neurônio de volta ao
espaço original de
entrada.

21. Redução de
dimensionalidade
Espaço de entrada:
bidimensional
Mapeamento:
unidimensional
Curva de Peano:
preenchedora de
espaço

22. Modelo codificador-decodificador
O esquema ótimo de
codificação e decodificação é
determinado variando as
funções c(x) e x’(c) de
maneira a minimizar a
distorção esperada:

23. Mapas contextuais

24. Um exemplo ANIMAL!

25. Mapa de características

26. Mapa semântico

27. Aplicações

28. Mapeamento em larga-escala
O Self-Organizing Map é uma poderosa
ferramenta para aplicações em larga escala,
onde a dimensão do espaço de entrada pode
ser da ordem de mil e o número de neurônios
chega à ordem de centenas de milhares

29. Processamento de linguagem natural

30. Detecção de relações ontológicas em uma imagem

31. Mapeamento de emoções em expressões faciais

32. E com vocês... DJ SOM!
http://vimeo.com/7714780

33. Sistemas de recomendação

34. Separação cega de fontes

35. Curtiu? Quer saber mais?

36. Self-Organizing Maps 201
●
●
●
●
●
Modelo codificador-decodificador ruidoso
Quantizador vetorial hierárquico
Kernel Self-Organizing Maps
Termo de consciência
...

37. Referência, imagens e expressões:
Neural Networks and Learning Machines
Capítulo 9 - Self-Organizing Maps
3ª edição
Simon Haykin
Exemplos de aplicações:
www.intechopen.com, ...

38. Obrigada!