El algoritmo EM es un método para encontrar el estimador de máxima verosimilitud de los parámetros de una distribución de probabilidad para datos incompletos. Consta de dos pasos: E-step y M-step. El E-step genera datos completos usando los datos observados y los parámetros actuales, y el M-step calcula nuevos parámetros maximizando la verosimilitud con los datos completos. Se ilustra su uso para clasificar personas en dos grupos y para estimar parámetros de una mezcla de gaussianas multidimensionales.

1. Vasamento: Algoritmo EM
Manuel Ramón Vargas Avila

2. Introdução
Algoritmo EM definição:
Es un método general para encontrar el estimador de máxima
verosimilitud de los parámetros de una distribución de probabilidad. La
situación en la que el algoritmo EM muestra toda su potencia es en los
problemas de datos incompletos, donde la estimación de máxima
verosimilitud resulta difícil debido a la ausencia de alguna parte de los
datos dentro de una estructura de datos simple y familiar
Se utiliza en problemas de : clustering, reconocimiento de patrones,
Modelos ocultos de Markov, entre otros. aplicaciones en casi todos los
contextos estadísticos y en casi todos los campos donde se hayan
aplicado técnicas estadísticas: tratamiento de imágenes médicas,
corrección de censos, epidemiología del SIDA, y entrenamiento de
redes neuronales artificiales, entre otros.

3. • El algoritmo EM consta de dos pasos: paso-E y
paso-M. El paso-E consiste en generar datos
para conseguir un problema de datos
completos, usando el conjunto de datos
observados del problema de datos
incompletos y el valor actual de los
parámetros, de modo que el cálculo del paso-
M sea más simple al poderser aplicado a este
conjunto de datos completo y rectangular.

4. Derivação do algoritmo EM
Para isto se introduce se utiliza o
logaritmo da equação de verosimilianza
X vector aleatório de uma
família parametrizada.

5. Derivação do algoritmo EM

6. Derivação do algoritmo EM
• Se supone que el conocimiento de las
variables ocultas hara que la maximizacion de
la funcion sea mas facil.
• Z vector aleatorio oculto y elementos z, la
probabilidad total en terminos de z es:
• Equação 3

7. Derivação do algoritmo EM
• Equação 3 em 2: equação 4
• Desigualdad de jensens

8. Derivação do algoritmo EM
• Analogamente aplicando para equação 3

9. Derivação do algoritmo EM
Por conveniência

10. Interpretação de uma iteração do
algoritmo
Acotada por

11. Expectation
Maximixation

12. Processo
• Inicialização:
• Execução:
Etapa E:
Etapa M:
Iterar ate convergência (não garantia de máximo
global) o condição de terminação

13. Exemplo #1
Queremos classificar um grupo de
pessoas em dois grupos de alta ou
baixa
Para esto nos basamos en el modelo estadístico
De mezclas finitas.

14. Mezclas finitas
Para determinar
completamente este
modelo se deben
determinar los 5
parámetros

15. Media
Equa: 1
Varianza
Equa: 2
Probabilidade
Do Grupo A
Equa: 3
Função Normal
Xi= dado
Wai= Probabilidade que o
dado i pertence ao grupo
A

16. PG1 é sorteado aleatoriamente
INICIALIZAÇÃO

17. • Passo M:
Calculamos os 5 parametros com as equações 1,
2, 3 onde 1 e 2 podem ser aplicadas para o
grupo B.

18. Passo E
Se calcula para cada dado e grupo
Se normaliza

19. Condição de terminação
Iterar hasta que la diferencia de log
probabilidad global sea menor a 0,01
para 3 iteraciones sucesivas.

20. Resultado Final

21. Exemplo #2: Mistura de gaussianas
Suma ponderada de K gaussianas
Onde
Parâmetros a estimar

22. Exemplo #2: Mistura de gaussianas
Se X é um conjunto de n mostras I.I.D
Então

23. Dadas n mostras i.i.d
Tomadas de uma mistura
De gaussianas com
parâmetros:
Definimos a la probabilidad de que la i-ésima muestra pertenezca a la j-ésima gaussiana como
Satisfaze

24. probabilidad de que la i-ésima
muestra pertenezca a la j-ésima
gaussiana

25. • Considere uma mistura de gaussianas 2D com
parametros

26. Solução
Depois da terça iteração