Perceptrón con conexiones SA variables

Perceptrón con conexiones SA variables  : perceptrón Rosenblatt con varios elementos R y conexiones SA y AR variables (aprendibles). En el nombre, el énfasis está en la conexión SA, ya que esta es la última restricción eliminada por Rosenblatt al considerar un perceptrón elemental, como resultado de lo cual un sistema de la forma más general con una estructura topológica S -> A -> R se obtiene Este perceptrón es el equivalente del perceptrón multicapa de Rumelhart, aunque el propio Rosenblatt bajo este nombre consideró el caso con solo dos capas de conexiones. Pero esto es suficiente para caracterizar esta subespecie de perceptrones de la misma manera que lo hizo Rumelhart. Para un análisis más complejo de las capacidades de los perceptrones, Rosenblatt procede a los perceptrones de cuatro capas, considerándolos solo perceptrones multicapa .

Regla de información local

Para poder aplicar el método de corrección de errores para entrenar todas las capas del perceptrón, es necesario determinar el error no solo para los elementos R externos, sino también para los elementos A internos. La dificultad radica en el hecho de que si la reacción deseada se da a partir de las condiciones del problema, el estado deseado del elemento A permanece desconocido. Solo se puede argumentar que el estado deseado del elemento A es el estado en el que su actividad contribuye en lugar de dificultar el aprendizaje de una reacción dada por parte del perceptrón [1] . Sería posible analizar el sistema globalmente, pero esto significaría que el sistema de refuerzo conocería la solución de antemano, es decir, no se produciría el aprendizaje real. En realidad , esto es exactamente lo que Bongard propuso hacer, pero tal solución no garantiza la convergencia y requiere más recursos que el entrenamiento iterativo. Por lo tanto, Rosenblatt propuso la regla de información local :

Para cualquier elemento A , el valor del error permisible depende únicamente de la información asociada con su actividad o las señales que le llegan, del peso de sus conexiones de salida y de la distribución del error en su salida en el tiempo t.

En otras palabras, el error de un elemento A solo puede ser determinado por el propio elemento A y aquellos elementos con los que está conectado directamente.

Métodos de enseñanza deterministas

Rosenblatt demostró el siguiente teorema:

Dado un perceptrón de tres capas con conexiones seriales, elementos A y R simples, conexiones SA variables y una clasificación C(W) para la cual se sabe que existe una solución. Entonces puede resultar que la solución no sea alcanzable utilizando un proceso de corrección determinista que obedezca la regla de información local.

Un caso especial de tal proceso de corrección es el método de retropropagación .

Métodos de aprendizaje estocástico

Para mostrar que se puede llegar a una solución con un método no determinista (estocástico), Rosenblatt demostró el siguiente teorema:

Dado un perceptrón de tres capas con enlaces seriales, elementos A y R simples, enlaces SA variables, pesos de enlaces AR acotados y una clasificación C(W) para la cual existe una solución. Entonces, con probabilidad igual a uno, la solución para C(W) se puede obtener en un tiempo finito usando el método de corrección de retroalimentación de errores, siempre que cada estímulo de W se presente necesariamente más de una vez en un intervalo de tiempo finito y que todas las probabilidades , y mayor que 0 y menor que 1.

Por lo tanto, para entrenar más de una capa en una red neuronal y tener una convergencia del 100%, se deben cumplir muchas condiciones. Y tal algoritmo fue propuesto por Rosenblatt bajo el nombre de método de corrección de retropropagación de errores , que no debe confundirse con el método de retropropagación de errores .

Notas

  1. ↑ Rosenblatt, F., pág. 231

Literatura