Redes Neuronales Artificiales

1. Unidad 1 Repaso de Redes Neuronales Artificiales

4. Estructura Típica De Una Neurona Biológica

13. Capas en una RNA.

16. Niveles o capas de neuronas

28. Modelado de Redes Neuronales Artificiales

31. Funciones de transferencia Esta función se utiliza en el Perceptron para crear neuronas las cuales toman decisiones de clasificación. Cuando este tipo de función ( hardlim ) toma en cuenta un cierto umbral su salida se incrementará de 0 a 1 cuando p exceda un valor dado por -b/w .

34. Neurona de Múltiples Entradas

41. Red neuronal de Múltiples Capas

42. Red neuronal con varias capa de neuronas (forma condensada)

43. Redes Monocapa: l 1 l n l 2 Las redes monocapa se utilizan típicamente en en tareas relacionadas en lo que se conoce como autoasociación: por ejemplo, para regenerar informaciones de entrada que se presentan a la red incompletas o distorsionadas . P/ejemplo Hopfield, BSB, Learnig Matrix

44. Redes Multicapa: Redes con conexiones hacia delante (feedforward) Este tipo de redes son especialmente útiles en aplicaciones de reconocimiento o clasificación de patrones. En este tipo de redes, todas las señales neuronales se propagan hacia adelante a través de las capas de la red. No existen conexiones hacia atrás y normal- mente tampoco autorrecurrentes, ni laterales.

45. Redes con conexiones hacia adelante y hacia atrás (feedforward / feedback): En este tipo de redes circula información tanto hacia adelante como hacia atrás durante el funcionamiento de la red. Para que esto sea posible, existen conexiones feedforward y conexiones feedback entre las neuronas. P/ ejemplo: ART, BAM, CABAM.

46. Redes Con Conexiones Hacia Adelante Y Hacia Atrás (feedforward / Feedback) También existen algunas que tienen conexiones laterales entre neuronas de la misma capa. Estas conexiones se diseñan como excitadores (con peso positivo) o inhibidoras (con peso negativo), estableciendose una competencia entre las neuronas correspondientes.

47. Red neuronal de tipo feedforward .

48. Red neuronal de tipo feedforward .

49. Conexiones con propagación hacia atrás en RNA

50. Red neuronal de tipo recurrente

60. Aprendizaje Por Reforzamiento

61. Aprendizaje por Reforzamiento Se basa en la idea de no disponer de un ejemplo completo del comportamiento deseado, es decir, la función del supervisor se reduce a indicar mediante una señal de refuerzo si la salida de la red se ajusta a la deseada (éxito=1, fracaso=-1) y en función de ello se ajustan los pesos basándose en un mecanismo de probabilidades.

72. Ejemplos de Redes con Aprendizaje Competitivo y Cooperativo LVQ ART

75. La matriz de pesos de la red es:

79. Recordando que la función de transferencia hardlim se define como: a n=Wp+b n

80. Unificación de la regla de aprendizaje

81. El umbral es un peso con una entrada de 1.

82. Perceptron de Múltiples-Neuronas Para actualizar la ith fila de la matriz de pesos: En forma de Matriz:

83. Capacidad de la regla de aprendizaje del Perceptron La regla del Perceptron siempre convergirá a los pesos que cumplan con la clasificación deseada, asumiendo que tales pesos existan. NOTA: Recordar que la longitud del vector de pesos no es importante, lo único importante es su dirección.

84. Limitaciones del Perceptron Frontera de decisión lineal Problemas linealmente No separables

85. UNIDAD VI Redes de propagación hacia delante y aprendizaje supervisado RED ADALINE Adaline simple. Algoritmo LMS .

91. Diferencias entre . . . PERCEPTRON ADALINE Función de Transferencia ESCALON LINEAL Resolución de problemas Linealmente Separables Linealmente Separables Comportamiento con respecto al RUIDO Sensible al Ruido Minimiza el Ruido Algoritmo de aprendizaje Regla de aprendizaje Del Perceptron LMS

92. Red ADALINE a p u r e l i n W p b +   W p b + = = a i p u r e l i n n i   p u r e l i n w T i p b i +   w T i p b i + = = =  w i w i 1  w i 2  w i R  =

93. ADALINE de dos entradas a p u r e l i n n   p u r e l i n w T 1 p b +   w T 1 p b + = = = a w T 1 p b + w 1 1  p 1 w 1 2  p 2 b + + = =

94. Mínimo Error Cuadrático p 1 t 1 { , } p 2 t 2 { , }  p Q t Q { , }    Conjunto Entrenamiento: p q t q Entrada: Objetivo: x w 1 b = z p 1 = a w T 1 p b + = a x T z = F x   E e 2   = E t a –   2   E t x T z –   2   = = Notación: Mean Square Error: Donde: E es un valor esperado

95. Ecuaciones Importantes en el Algoritmo LMS W k 1 +   W k   2  e k   p T k   + = b k 1 +   b k   2  e k   + = En forma de Matriz: Donde:  es el parámetro de aprendizaje máximo w i k 1 +   w i k   2  e i k   p k   + = b i k 1 +   b i k   2  e i k   + =

96. Condiciones para la Estabilidad e i g I 2  R –     1 2   i – 1  = Resumiendo, las condiciones de estabilidad son:  i 0  Ya que , 1 2   i – 1  .  1   i para toda i  0  1  m a x    (donde  i es un eigenvalor de R ) 1 2   i – 1 – 

97. Modelo de una neurona lineal en MATLAB p(1) p(2) p(3) p(R) W(1,1) W(1,R) 1 b n a  a = purelin(w*p+b) a = w*p+b 0 0 1 -1 a a b/w b/w p n a = purelin(n)

98. Regla de Aprendizaje en ADALINE · ADALINE utiliza un aprendizaje OFF LINE con supervisión. · Este aprendizaje es la llamada Regla de Widrow-Hoff ( Regla Delta o Regla del Mínimo Error Cuadrático Medio LMS Least Mean Square)

99. Regla de Widrow-Hoff Consiste en hallar el vector de pesos W deseado, único, que deberá asociar cada vector de entrada con su correspondiente valor de salida correcto o deseado. La regla minimiza el error cuadrático medio definido como: donde: es la función de error R R R a t       p R R R p 1 2 2 1  

100. Esta función de error está definida en el espacio de pesos multidimensional para un conjunto de entradas, y la regla de Widrow-Hoff busca el punto de este espacio donde se encuentra el mínimo global. Con función de activación lineal Con función de activación sigmoidal

101. Se utiliza el método de gradiente decreciente para saber en qué dirección se encuentra el mínimo global de dicha superficie. Las modificaciones que se realizan a los pesos son proporcionales al gradiente decreciente de la función de error, por lo que cada nuevo punto calculado está más próximo al punto mínimo.             j R j w lr w 2 

102. a) ADALINE b) PERCEPTRÓN

103. La regla de Widrow-Hoff es implementada realizando cambios a los pesos en la dirección opuesta en la que el error está incrementando y absorbiendo la constante -2 en lr . En forma de matriz: Transformando a la expresión del bias (considerando que el bias son pesos con entradas de 1): ) ( ) ( ) , ( j p j e lr j i W     T Ep lr W    E lr b   

104. Algoritmo de aprendizaje en ADALINE 1. Se aplica un vector o patrón de entrada P R en las entradas del ADALINE. 2. Se obtiene la salida lineal a R = WP R y se calcula la diferencia con respecto a la salida deseada: E R =T R -a R 3. Se actualizan los pesos: W( t+1 ) = W(t) + lrE R P R 4. Se repiten los pasos 1 al 3 con todos los vectores de entrada. 5. Si el error cuadrático medio es un valor reducido aceptable, termina el proceso de aprendizaje, sino, se repite otra vez desde el paso 1 con todos los patrones.

108. Ejercicio:  1 1.0  2 0.0  3 2.0 =  =  = R E p p T   1 2 - - - p 1 p 1 T 1 2 - - - p 2 p 2 T + = = R 1 2 - - - 1 – 1 1 – 1 – 1 1 – 1 2 - - - 1 1 1 – 1 1 1 – + 1 0 0 0 1 1 – 0 1 – 1 = =  1  m a x - - - - - - - - - - - -  1 2.0 - - - - - - - 0.5 = = p 1 1 – 1 1 – t 1  1 – = =           p 2 1 1 1 – t 2  1 = =           Plátano Manzana

109. Iteración: 1 e 0   t 0   a 0   t 1 a 0   1 – 0 1 – = – = – = – = W 1   W 0   2  e 0   p T 0   + = W 1   0 0 0 2 0.2   1 –   1 – 1 1 – T 0.4 0.4 – 0.4 = + = a 0   W 0   p 0   W 0   p 1 0 0 0 1 – 1 1 – 0 = = = = Plátano

110. Iteración: 2 Manzana a 1   W 1   p 1   W 1   p 2 0.4 0.4 – 0.4 1 1 1 – 0.4 – = = = = e 1   t 1   a 1   t 2 a 1   1 0.4 –   1.4 = – = – = – = W 2   0.4 0.4 – 0.4 2 0.2   1.4   1 1 1 – T 0.96 0.16 0.16 – = + =

111. Iteración: 3 e 2   t 2   a 2   t 1 a 2   1 – 0.64 –   0.36 – = – = – = – = W 3   W 2   2  e 2   p T 2   + 1.1040 0.0160 0.0160 – = = W    1 0 0 = a 2   W 2   p 2   W 2   p 1 0.96 0.16 0.16 – 1 – 1 1 – 0.64 – = = = =