Red neuronal de pulso

La red neuronal pulsada (IMNS, ing.  Pulsed neural networks , PNN) o Spike neural network (SNN , ing.  Spiking neural network , SNN) es la tercera generación de redes neuronales artificiales (ANN) [1] , que se diferencia de las binarias (primera generación) y frecuencia/velocidad (segunda generación) ANN en las que las neuronas intercambian pulsos cortos (para neuronas biológicas, alrededor de 1-2 ms) de la misma amplitud (para neuronas biológicas, alrededor de 100 mV). Es el modelo ANN más realista, desde el punto de vista de la fisiología, [2] [3] [4] .

Historia

Orígenes

El primer modelo científico de una red neuronal a ráfagas fue propuesto por Alan Hodgkin y Andrew Huxley en 1952. Este modelo describe cómo se generan y propagan los potenciales de acción . Los impulsos, sin embargo, generalmente no se transmiten directamente entre las neuronas. La comunicación requiere el intercambio de sustancias químicas, llamadas neurotransmisores , en la hendidura sináptica [5] .

Desde el punto de vista de la teoría de la información , el problema es la falta de un modelo que explique cómo se codifica la información y se decodifica una serie de secuencias de pulsos, es decir, potenciales de acción. Para la neurobiología, la pregunta sigue abierta: ¿las neuronas se comunican usando codificación de frecuencia o de tiempo [6] ? Con la ayuda de la codificación temporal, una neurona de impulso puede reemplazar cientos de elementos ocultos de una red neuronal de frecuencia [1] .

Investigación contemporánea

Actualmente, existen dos direcciones de investigación del IMNS [2] :

  1. creación de modelos informáticos que repiten exactamente los modelos de funcionamiento de las neuronas del cerebro real , por lo que será posible tanto explicar los mecanismos de su trabajo como diagnosticar/tratar enfermedades y lesiones del sistema nervioso central ;
  2. creación de modelos informáticos que repiten de forma abstracta los modelos de funcionamiento de las neuronas cerebrales reales, lo que permitirá utilizar todas las ventajas de un cerebro real, como la inmunidad al ruido y la eficiencia energética , a la hora de analizar grandes cantidades de datos.

Dispositivo

Cómo funciona

La red recibe una serie de pulsos en las entradas y produce pulsos en la salida. En todo momento, cada neurona tiene un valor determinado (un análogo del potencial eléctrico en las neuronas biológicas) y, si este valor supera el umbral, entonces la neurona envía un único impulso , tras el cual su propio valor cae a un nivel por debajo de la media. valor (un análogo del proceso de rehabilitación en las neuronas biológicas, llamado período refractario ) a 2-30 ms. Cuando se retira del estado de equilibrio, el potencial de la neurona comienza a tender suavemente al valor promedio. Solo hay dos parámetros de las conexiones de peso de la neurona de impulso: el tiempo de retraso y el valor del peso [7] .

Modelos de neuronas

Los métodos para modelar las neuronas del IMNS se pueden dividir en dos grupos [4] [8] :

  1. modelo de Hodgkin-Huxley ;
  2. modelo Izhikevich ;
  3. modelo de FitzHugh-Nagumo ;
  4. Modelo Hindmarsh-Rose ;
  5. modelo de Morris-Lekar ;
  6. modelo de Wilson-Kovan ;
  7. modelo Galvez-Löcherbach ;
  8. Modelo multicámara ;
  9. Teoría del cable de las dendritas .
  1. método de integración y trabajo ;
  2. El método de "integrar y trabajar" con fugas .

Presentación de información

En las RNA de frecuencia se utiliza una señal que toma un valor que depende de la frecuencia de generación de impulsos por parte de un determinado grupo de neuronas (los pesos de las neuronas, de hecho, son una forma de representación de esta frecuencia) [3] . Sin embargo, la frecuencia del pulso promedio en una secuencia es una representación bastante pobre de la información, ya que diferentes tipos de estimulación pueden conducir a la misma frecuencia del pulso promedio [9] .

Para deshacerse de esta deficiencia, los siguientes tipos de representación de información se utilizan en ANN pulsadas [3] [8] [10] [4] :

  1. fase (temporal): la información sobre la señal viene dada por la posición exacta (o dentro de una determinada ventana) de los impulsos en el tiempo (en relación con algún ritmo de referencia común del cerebro );
  2. sincrónico (posicional/espacial/poblacional): la información sobre la señal la proporciona la actividad sincrónica de varios grupos de neuronas y, como resultado, la aparición sincrónica (o dentro de una ventana determinada) de impulsos en ciertas salidas de la red (por ejemplo, ejemplo, los receptores auditivos de la cóclea que responden a frecuencias altas y bajas (los oídos están en zonas diferentes);
  3. tiempo hasta la aparición del primer pulso: la información sobre la señal se establece en el momento de la aparición del primer pulso en cualquier salida;
  4. ordinal: la información sobre la señal viene dada por el orden en que se reciben los pulsos en las salidas de la red;
  5. intervalo (retraso): la información sobre la señal se establece según la distancia entre los pulsos recibidos en las salidas de la red;
  6. resonante: la información sobre la señal se proporciona mediante una secuencia densa de pulsos (cola), lo que lleva a la aparición de resonancia (los pulsos individuales decaen y no contribuyen a la transmisión de información).

Además, existen tipos de representación de información, que son una forma mixta de varios tipos simples de representación de información, por ejemplo:

  1. espacio-tiempo: la información no solo proviene de una determinada secuencia de impulsos en el tiempo, sino que también debe provenir de un determinado grupo de neuronas;
  2. frecuencia de población: la información viene dada por un aumento en la frecuencia de generación de impulsos por parte de un determinado grupo de neuronas.

Dispositivo

Las arquitecturas IMNS se pueden dividir en los siguientes grupos [8] :

  1. Red neuronal feed-forward (NPR): los datos se transmiten estrictamente en una dirección: desde las entradas hasta las salidas, no hay retroalimentación y el procesamiento puede tener lugar en varias capas;
  2. Red neuronal recurrente (RNS): las neuronas individuales / poblaciones de neuronas interactúan entre sí, es decir, hay retroalimentación. Las ANN de este tipo tienen su propia dinámica y alto poder de cómputo;
  3. Red neuronal mixta  : dentro de la ANN, algunas poblaciones de neuronas pertenecen al tipo NPR y otras al RNN. La interacción entre poblaciones puede ser tanto unidireccional como mutua.
  1. Excitación síncrona del circuito  : es un circuito multicapa en el que la actividad de impulso puede propagarse en forma de una onda síncrona de transmisión de ráfagas de impulsos de una población a la siguiente;
  2. Reservoir computing  : la ANN de reservorio consiste en un reservorio recurrente y neuronas de salida.

Métodos de enseñanza

Los métodos de enseñanza del IMNS se dividen en tres grupos [10] [8] [11] :

  1. Modelo de plasticidad de plasticidad dependiente del tiempo de pico (STDP) [ ; 
  2. Crecientes redes neuronales de picos ; 
  3. regla ABS ( ing.  Artola, Bröcher, Singer (ABS) regla );
  4. regla BCM ( ing.  Bienenstock, Cooper, Munro (BCM) regla );
  5. Relación entre las reglas BCM  y STDP ;
  6. Aprendizaje general no supervisado .  _
  1. SpikeProp ( Inglés  SpikeProp );
  2. Métodos de aprendizaje profundo ( ing.  Aprendizaje profundo );
  3. Método Supervisado Remoto ( ReSuMe  )
  4. FreqProp ( Inglés  FreqProp );
  5. Algoritmo biológicamente realista asociativo basado en errores locales ( LEABRA ; 
  6. Aprendizaje hebbiano supervisado ._ _ 
  1. El método de impulso del actor y el crítico ( ing.  Spiking actor-crítico );
  2. Aprendizaje por refuerzo con la ayuda de un modelo STDP dimensionalmente gratificante ( RL a través de STDP modulado por recompensa ) . 

Características cualitativas

Beneficios

Las ANN de pulso tienen una serie de ventajas sobre las redes neuronales de generaciones anteriores [12] :

  1. ImNS son dinámicos, lo que significa que son excelentes para trabajar con procesos dinámicos (reconocimiento de voz y de imagen dinámico) [2] ;
  2. ImNS tiene multitarea, porque los datos de entrada se procesan en una red neuronal con retroalimentación , y se pueden entrenar diferentes grupos de neuronas de lectura para resolver diferentes problemas;
  3. ImNS es capaz de realizar un reconocimiento con previsión (es decir, no es necesario tener información completa sobre el objeto o conocer el resultado del proceso);
  4. El IMNS es fácil de entrenar, ya que es suficiente entrenar solo las neuronas de lectura de salida;
  5. Los IMNS han aumentado la productividad del procesamiento de la información y la inmunidad al ruido, ya que utilizan la representación temporal de la información;
  6. La imNS requiere un número menor de neuronas, ya que cada neurona de la red neuronal de impulso reemplaza a dos neuronas ( excitatorias e inhibitorias ) de la RNA clásica;
  7. Las ImNS tienen una alta velocidad de operación y un gran potencial de paralelización, ya que para la transmisión de un impulso es necesario enviar 1 bit, y no un valor continuo, como en las ANN de frecuencia [13] ;
  8. ImNS puede ser entrenado en el proceso de trabajo [14] .

Desventajas

  1. No es apropiado utilizar IMNS en sistemas con un pequeño número de neuronas;
  2. No existe un algoritmo de aprendizaje perfecto.

Implementaciones

Software

Software que se utiliza principalmente para simular redes neuronales de impulso y que utilizan los biólogos para estudiar su funcionamiento, propiedades y características. Le permite modelar con un alto nivel de detalle y precisión, pero requiere mucho tiempo de simulación .

Software que se puede utilizar para resolver problemas reales en lugar de teóricos. El modelado en ellos es muy rápido, pero no permite modelar modelos de neuronas complejos, es decir, biológicamente realistas.

Software lo suficientemente eficiente como para ejecutar simulaciones rápidamente, a veces incluso en tiempo real, pero capaz de utilizar modelos neuronales detallados y biológicamente plausibles. Todo esto es muy conveniente para las tareas de procesamiento de información.

Hardware

Usando la arquitectura de usuario existente:

Utilizando su propia arquitectura especializada:

Aplicación

Prótesis

Ya existen neuroprótesis visuales y auditivas que utilizan secuencias de impulsos para enviar señales a la corteza visual y devolver a los pacientes la capacidad de navegar en el espacio, y se está trabajando activamente en prótesis motoras mecánicas. Además, las secuencias de pulsos pueden introducirse en el cerebro a través de electrodos implantados en él y, por lo tanto, eliminar los síntomas de la enfermedad de Parkinson , distonía , dolor crónico, MDP y esquizofrenia [2] .

Robótica

Brain Corporation de San Diego desarrolla robots que utilizan IMNS, y SyNAPSE crea sistemas y procesadores neuromórficos [2] [8] .

Visión artificial

Hay perspectivas para el uso de IMNS en visión por computadora (análisis automático de información de video). El neurochip IBM TrueNorth Digital incluye un millón de neuronas programables y 256 millones de sinapsis programables para simular neuronas en la corteza visual . Este neurochip consta de 4096 núcleos, contiene 5.400 millones de transistores , pero al mismo tiempo tiene una gran eficiencia energética: solo 70 milivatios [2] .

Telecomunicaciones

Qualcomm está investigando la posibilidad de utilizar IMNS en dispositivos de telecomunicaciones [2] .

Notas

  1. ↑ 12Maas , Wolfgang . Redes de neuronas en punta: la tercera generación de modelos de redes neuronales  (inglés)  // Redes neuronales: revista. - 1997. - vol. 10 _ - Pág. 1659-1671 . - doi : 10.1016/S0893-6080(97)00011-7 .
  2. ↑ 1 2 3 4 5 6 7 ¿Cómo pasó la investigación de redes neuronales del laboratorio a la empresa? . Consultado el 13 de octubre de 2016. Archivado desde el original el 28 de agosto de 2016.
  3. ↑ 1 2 3 Autoorganización de las redes neuronales de impulso . Consultado el 16 de octubre de 2016. Archivado desde el original el 28 de agosto de 2016.
  4. ↑ 1 2 3 Gerstner, Wulfram and Kistler, Werner M. Spiking Neuron Models: Single Neurons, Populations, Plasticity. — Cambridge, Reino Unido: Prensa universitaria de Cambridge, 2002.
  5. ↑ Hodgkin, Alan L.; Huxley., Andrew F. Una descripción cuantitativa de la corriente de membrana y su aplicación a la conducción y excitación en los nervios  (inglés)  // The Journal of Physiology : diario. - 1952. - vol. 117 . - Pág. 500-544 .
  6. ↑ Wolfram Gerstner. Spiking Neurons // Redes neuronales  pulsadas (neopr.) / Wolfgang Maass; Christopher M. Obispo. - MIT Press , 2001. - ISBN 0-262-63221-7 .
  7. ↑ Mikhail Viktorovich Golovinov, Sobre el reconocimiento automático de voz (enlace inaccesible) . Consultado el 16 de octubre de 2016. Archivado desde el original el 11 de junio de 2015. 
  8. ↑ 1 2 3 4 5 Ponulak, Filip; Kasinski, Andrzej. Introducción a las redes neuronales de spiking: procesamiento de información, aprendizaje y aplicaciones  // Acta neurobiologiaeis  experimental : diario. - 2010. - Vol. 71 . - Pág. 409-433 .
  9. ↑ Borisyuk G. N.; Borisyuk R. M.; Kazanovich Ya.B.; Ivanitsky G.R. Modelos de la dinámica de la actividad neuronal en el procesamiento de información por parte del cerebro: los resultados de la "década"  // Uspekhi fizicheskikh nauk  : zhurnal. - Academia Rusa de Ciencias , 2002 . - T. 172 . - S. 1189-1214 . - doi : 10.3367/UFNr.0172.200210d.1189 .
  10. ↑ 1 2 Kodenko Nikita Igorevich, Métodos para entrenar redes neuronales de impulso
  11. ↑ Bekolay, Trevor. Aprendizaje en redes neuronales de picos a gran escala  (neopr.) . — 2011.
  12. ↑ Kolesnitsky O. K., Bokotsey I. V., Yaremchuk S. S. Implementación de hardware de elementos de redes neuronales de impulso utilizando dispositivos bispin, Parte 1 // XII Conferencia científica y técnica de toda Rusia "Neuroinformática". - Moscú: MEPhI, 2010. - S. 122-127.
  13. ↑ Sinyavsky Oleg Yurievich. Entrenamiento de redes neuronales de puntas basado en la minimización de sus características de entropía en los problemas de análisis, memorización y procesamiento adaptativo de información espacio-temporal. — Moscú, 2011.
  14. ↑ Sknar II El concepto de construir una red neuronal artificial biológicamente plausible // Tecnologías de modelado neurodifuso en economía / A. V. Matviychuk. - Kiev: KNEU, 2014. - T. 3. - S. 188-218.
  15. ↑ Hoja de ruta p.11 "Dadas las complejidades y los problemas conceptuales de la conciencia, no examinaremos los criterios 6abc, pero principalmente examinaremos el cumplimiento de los criterios 1-5".