Perceptrón con retroalimentación

Los perceptrones con retroalimentación  son el tipo más general de perceptrones, algunos de los cuales fueron descritos por F. Rosenblatt. Se diferencian de los perceptrones simples en presencia de retroalimentación. Debido a esto, las capas de elementos que están relativamente lejos de las entradas sensoriales pueden afectar la actividad de las capas ubicadas más cerca de la entrada. Según la clasificación moderna, este tipo de red neuronal pertenece a las redes neuronales recurrentes .

Perceptrones con atención selectiva

Si agregamos retroalimentación con coeficientes de peso constantes (inmutables) de elementos R a elementos A al perceptrón más simple, entonces podemos obtener el tipo de perceptrón más simple con atención selectiva. En la figura, las líneas sólidas indican conexiones con pesos constantes y las líneas punteadas muestran conexiones con pesos variables. La retroalimentación se elige aleatoriamente (en proporciones iguales) con un peso de +1 (excitador) o con un peso de -1 (inhibidor). En este sentido, estas retroalimentaciones se eligen de la misma forma que las conexiones de los elementos S a los elementos A, pero a diferencia de esta primera capa, en la segunda capa hay conexiones de cada elemento R a cada elemento A. En este caso, el tiempo de transmisión de cada conexión es igual a una constante fija , y el estímulo se mantiene en la retina durante un tiempo .

Puede asegurarse de que este tipo de perceptrón es capaz de atención selectiva usando un ejemplo simple. Entrenemos el sistema con las siguientes reacciones:

  1. (r1 = 1, r2 = 0, r3 = 0, r4 = 0) a un triángulo;
  2. (r1 = 0, r2 = 1, r3 = 0, r4 = 0) — por cuadrado;
  3. (r1 = 0, r2 = 0, r3 = 1, r4 = 0) — sobre la posición de la figura en la parte superior de la retina;
  4. (r1 = 0, r2 = 0, r3 = 0, r4 = 1) - sobre la posición de la figura en la parte inferior de la retina.

Después del entrenamiento, comprueba la respuesta a los estímulos:

  1. S1 es un triángulo en la parte superior del campo (r1 = 1, r2 = 0, r3 = 1, r4 = 0) y un cuadrado en la parte inferior (r1 = 0, r2 = 1, r3 = 0, r4 = 1);
  2. S2 es un cuadrado en la parte superior del campo y un triángulo en la parte inferior.

Es necesario que dicho perceptrón proporcione una descripción consistente de la forma y posición de uno de los dos estímulos, sin tener en cuenta el otro, a pesar de que están presentes en la retina al mismo tiempo.

Para que tal tarea sea resuelta por un perceptrón con atención selectiva, en el proceso de aprendizaje es necesario lograr una cierta distribución de coeficientes de peso, que depende del número de elementos A con la respuesta correcta en relación con su numero total. Considere la intersección de un subconjunto de elementos que tienen una respuesta R(1,0,0,0) con un subconjunto que tiene una respuesta R(1,0,1,0), es decir, un triángulo independientemente de la ubicación y un triángulo en la parte superior de la retina Resulta que tal intersección es relativamente grande, ya que tres de los cuatro elementos R están en el mismo estado. Lo mismo ocurre con la combinación de un triángulo independientemente de su ubicación y un triángulo en la parte inferior de la retina. Pero la combinación de R(1,0,0,0) y R(0,1,0,0), es decir, triángulo y cuadrado independientemente de la ubicación, tiene menos intersección ya que solo dos de los cuatro elementos R están en el mismo estado Lo mismo ocurre con la combinación de R (0,0,1,0) y R (0,0,0,1), es decir, cualquiera de las formas de arriba o de abajo.

Debido a esta distribución de coeficientes de peso, durante el reconocimiento ocurrirá lo siguiente. Si resulta que en relación con un par de reacciones (triángulo, cuadrado), el triángulo [señal de salida (1,0,0,0)] será inicialmente dominante, entonces el subconjunto excitado, en el que se introduce el mayor refuerzo , dará la reacción de “arriba”. Esto sucederá debido al hecho de que la combinación "arriba, triángulo" tiene mucho más peso que la combinación "abajo, cuadrado". Si la reacción es (0,1,0,0), aparecerá la tendencia opuesta en el sistema, lo que conducirá a la reacción (0,1,0,1).

Si ahora, en lugar del estímulo S1, se da el estímulo S2, entonces se preferirán las reacciones (1,0,0,1) o (0,1,1,0).

En esencia, este ejemplo ilustra la solución de un problema que puede ser resuelto por un DAP , con la única diferencia de que el perceptrón con atención selectiva tiene dos capas en lugar de una y está entrenado por el método de corrección de errores, y no por multiplicar el matriz directa y traspuesta. Estas diferencias permiten resolver problemas linealmente inseparables, y gracias a ellas la capacidad de información de la red es mucho mayor que la capacidad del DAP. Aquí, en el proceso de operación de la red, un vector seleccionado al azar (mediante atención selectiva) se completa con el estándar estadísticamente más correcto.

Perceptrones de aprendizaje de programas

Este es un grupo de las redes neuronales recurrentes artificiales más complejas en su arquitectura. Rosenblatt dio un esquema teórico de este tipo de redes, pero hasta ahora no ha sido modelado programáticamente. La forma más simple de tal red se presenta basada en perceptrones con atención selectiva, pero de tal manera que la respuesta depende no solo del estímulo actual complejo (cuando se presentan varios estímulos simultáneamente), sino de la secuencia de tales estímulos de un cierta longitud. Para ello, se introduce una segunda capa de elementos asociativos con entrecruzamientos, que pueden formar entre sí varios contornos cerrados.

Véase también

Literatura