Excepción (redes neuronales)

La versión actual de la página aún no ha sido revisada por colaboradores experimentados y puede diferir significativamente de la versión revisada el 31 de enero de 2020; las comprobaciones requieren 5 ediciones .

Excepción o abandono (del inglés  dropout ): un método de regularización de redes neuronales artificiales , diseñado para reducir el reentrenamiento de la red al evitar la coadaptación compleja de neuronas individuales en datos de entrenamiento durante el entrenamiento. [una]

El término "abandono" (eliminación, eyección) caracteriza la exclusión de un determinado porcentaje (por ejemplo, el 30 %) de neuronas aleatorias (ubicadas en capas ocultas y visibles) en diferentes iteraciones (épocas) durante el entrenamiento de la red neuronal. Esta es una forma muy eficiente de promediar modelos dentro de una red neuronal. Como resultado, las neuronas más entrenadas obtienen más peso en la red. [2] [3] Esta técnica aumenta significativamente la tasa de aprendizaje, la calidad del entrenamiento en datos de entrenamiento y también mejora la calidad de las predicciones del modelo en nuevos datos de prueba. [una]

Véase también

Enlace

Notas

  1. 1 2 Hinton, Geoffrey E.; Srivastava, Nitish; Krizhevsky, Alex; Sutskever, Ilya & Salakhutdinov, Ruslan R. (2012), Mejora de las redes neuronales al prevenir la coadaptación de detectores de características, archivo iv : 1207.0580 [cs.NE]. 
  2. Abandono: una forma sencilla de evitar el sobreajuste de las redes neuronales . Consultado el 26 de julio de 2015. Archivado desde el original el 5 de diciembre de 2019.
  3. Warde-Farley, David; Goodfellow, Ian J.; Courville, Aaron & Bengio, Yoshua (2013-12-20), Un análisis empírico de abandono en redes lineales por partes, arΧiv : 1312.6197 [stat.ML].