Regla delta

La versión actual de la página aún no ha sido revisada por colaboradores experimentados y puede diferir significativamente de la versión revisada el 22 de septiembre de 2018; las comprobaciones requieren 11 ediciones .

La regla delta es un método de aprendizaje del perceptrón basado en el principio del descenso del gradiente sobre la superficie de error. Su posterior desarrollo condujo a la creación del método de retropropagación .

Regla delta

En realidad, la regla delta se llama la forma matemática de la notación. Sea vector el vector de las señales de entrada y vector el vector de las señales que deberían recibirse del perceptrón bajo la influencia del vector de entrada. Aquí , es el número de neuronas que componen el perceptrón. Las señales de entrada recibidas en las entradas del perceptrón fueron ponderadas y sumadas, dando como resultado un vector de valores de salida del perceptrón. Entonces es posible determinar el vector de error , cuya dimensión coincide con la dimensión del vector de señales de salida. Los componentes del vector de error se definen como la diferencia entre el valor esperado y el real de la señal de salida de la neurona perceptrón: ${\mathbf {X}}={x_{1},x_{2},...x_{r},...x_{m}}$ ${\mathbf {D}}={d_{1},d_{2},...d_{k},...d_{n}}$ $norte$ ${\mathbf {Y}}={y_{1},y_{2},...y_{k},...y_{n}}$ ${\mathbf {\mathrm{E} }}={e_{1},e_{2},...e_{k},...e_{n}}$

{\mathbf {\mathrm{E} =DY))

Con tales notaciones, la fórmula para ajustar el j-ésimo peso de la i-ésima neurona se puede escribir de la siguiente manera:

w_{j}(t+1)=w_{j}(t)+e_{i}x_{j}

El número de señal varía de uno a la dimensión del vector de entrada . El número de neuronas varía de uno al número de neuronas . El valor es el número de la iteración de entrenamiento actual. Así, el peso de la señal de entrada de la neurona cambia en el sentido de disminuir el error en proporción al valor del error total de la neurona. A menudo se introduce un factor de proporcionalidad , por el cual se multiplica la magnitud del error. A este coeficiente se le llama tasa o tasa [1] de aprendizaje . Por lo tanto, la fórmula final para ajustar los pesos es: $j$ $metro$ $i$ $norte$ $t$ $\eta$

w_{j}(t+1)=w_{j}(t)+\eta e_{i}x_{j}

Regla delta generalizada

Con el fin de ampliar la gama de tareas resueltas por el perceptrón, Widrow y Hoff [2] propusieron una función de activación sigmoidea para las neuronas. Esto permitió que el perceptrón operara con señales continuas, pero requirió una modificación del algoritmo de aprendizaje [3] . El algoritmo modificado tiene como objetivo minimizar la función de error de raíz cuadrática media:

\epsilon ={\frac {1}{2}}\sum_{{i=1}}^{{n}}{(d_{i}-y_{i})^{2}}

Esta función está definida por la matriz de pesos . Aquí está el número de la neurona, y es el número de la entrada. La superficie descrita por esta función tiene la forma de un pseudo- paraboloide [4] . La tarea de aprender es encontrar el mínimo global de esta superficie. Una forma de encontrar el mínimo es el método de descenso de gradiente . Los pesos se ajustan en la dirección de la superficie anti-gradiente: $w_{ij}$ $i$ $j$

\Delta w_{{ij}}=-\eta {\frac {\parcial \epsilon }{\parcial w_{{ij))))

Aquí , es el coeficiente de tasa de aprendizaje. $\eta$

La función de error es compleja y depende principalmente de las señales de salida del perceptrón. Según las reglas de derivación de funciones complejas:

{\frac {\\epsilon parcial }{\w_ parcial{{ij))))={\frac {\\epsilon parcial }{\y_ parcial{i))}{\frac {\y_ parcial{i)) {\parcial w_{{ij))))

(*)

La señal de salida de cada neurona está determinada por la fórmula: $y_{yo}$

y_{i}=\nombre del operador {f}(S_{i}),S_{i}=\sum_{{j=1}}^{{m}}{w_{{ij}}x_{j}}

Aquí está el número de entradas del perceptrón, es la señal en la j-ésima entrada y es la función de activación. Entonces obtenemos: $metro$ $x_{j}$ $\nombre del operador {f}(S)$

{\frac {\parcial y_{i}}{\parcial w_{{ij}}}}=({\frac {\parcial \operatorname {f}(S)}{\parcial S)))\mid_{ {S=S_{i}}}{\frac {\parcial S_{i}}{\parcial w_{{ij}}}}=f^{\prime }(S_{i})x_{j}

(**)

Diferenciando la función de error por el valor de la señal de salida, obtenemos:

{\frac {\parcial \epsilon }{\parcial y_{i}}}=-(d_{i}-y_{i})

(***)

Sustituyendo las fórmulas (**) y (***) en la expresión (*), obtenemos una expresión para ajustar el peso de la j-ésima entrada de la i-ésima neurona para cualquier función de activación [5] :

\Delta w_{{ij}}=\eta (d_{i}-y_{i})f^{\prime }(S_{i})x_{j}

A partir de esta fórmula se puede ver que, como función de activación, cuando se usa la regla delta generalizada, la función de activación de las neuronas debe ser continuamente diferenciable a lo largo de todo el eje x. Las funciones de activación con una derivada simple (por ejemplo, una curva logística o una tangente hiperbólica) tienen una ventaja.

Sobre la base de la regla delta, Widrow y Hopf crearon una de las primeras neurocomputadoras de hardware Adalin ( 1960 ).

Notas

↑ Nielsen, Michael A. Redes neuronales y aprendizaje profundo . — 2015-01-01. Archivado desde el original el 6 de septiembre de 2016.
↑ Widrow B., Hoff ME - Circuitos de conmutación adaptativos. Récord de la conferencia IRE WESTCON de 1969. — Nueva York, 1960
↑ L. N. Yasnitsky - Introducción a la inteligencia artificial. - p.34-36
↑ L. N. Yasnitsky - Introducción a la inteligencia artificial. - p.35
↑ L. N. Yasnitsky - Introducción a la inteligencia artificial. - p.36

Véase también

Literatura

Rosenblatt F. Principios de neurodinámica: perceptrones y la teoría de los mecanismos cerebrales. Washington, DC: Libros espartanos (1962).
Russel, Ingrid. "La regla delta". Universidad de Hartford. Archivado desde el original el 4 de marzo de 2016. Consultado el 5 de noviembre de 2012.
Golovko, V. A. Redes neuronales: formación, organización y aplicación: Libro 4: Libro de texto para universidades en la dirección de "Matemáticas y Física Aplicadas" / V. A. Golovko; Nene. edición A. I. Galushkin. - M. : IPRZhR, 2001 . – 256 págs. - (Neurocomputadoras y sus aplicaciones): 5-93108-05-8.
Osovsky S. Redes neuronales para el procesamiento de información (2002)
Hebb, DO La organización del comportamiento: una teoría neuropsicológica. Nueva York (2002) (Edición original - 1949)
Hebb, DO Reflejos e inhibición condicionados e incondicionados. Tesis de maestría inédita, Universidad McGill, Montreal, Quebec, (1932)
Lakhmi C. Jain; NM Martin Fusión de Redes Neuronales, Sistemas Fuzzy y Algoritmos Genéticos: Aplicaciones Industriales. — CRC Press, CRC Press LLC, 1998