Aprendizaje profundo ( aprendizaje profundo ; aprendizaje profundo ing. ): un conjunto de métodos de aprendizaje automático ( con un maestro , con participación parcial de un maestro , sin maestro , con refuerzo ) basado en representaciones de aprendizaje (aprendizaje de características / representación ing. ), y algoritmos no especializados bajo tareas específicas. Muchos métodos de aprendizaje profundo se conocían en la década de 1980 (e incluso antes [1] ), pero los resultados no fueron impresionantes [2] hasta que los avances en la teoría de las redes neuronales artificiales (entrenamiento previo de redes neuronales utilizando un caso especial de un modelo gráfico no direccional, la llamada máquina limitada Boltzmann ) y la potencia informática de mediados de la década de 2000 (incluidos los que utilizan aceleradores de gráficos , matrices de puertas programables por el usuario y diversas formas de procesadores neuronales ) no permitieron la creación de tecnologías complejas. arquitecturas de redes neuronales que tengan un rendimiento suficiente y permitan resolver una amplia gama de problemas que antes no podían ser resueltos de manera efectiva, por ejemplo, en visión por computadora , traducción automática , reconocimiento de voz , y la calidad de la solución en muchos casos ahora es comparable, y en algunos casos supera la eficiencia humana [3] .
A pesar de que el término " aprendizaje profundo " apareció en la comunidad científica de aprendizaje automático recién en 1986 después del trabajo de Rina Dekhter [4] , el primer algoritmo de trabajo general para perceptrones multicapa de avance profundo se publicó en el libro de Soviet científicos Alexei Grigorievich Ivakhnenko y Valentin Grigorievich Lapa "Dispositivos predictivos cibernéticos", allá por 1965 [5]
Otras arquitecturas profundas, especialmente las especializadas en el reconocimiento de patrones , tienen su origen en el neocognitrón desarrollado por Kunihiko Fukushima.en 1980. En 1989, Jan LeCun logró usar el algoritmo de retropropagación para entrenar redes neuronales profundas para resolver el problema de reconocer códigos postales escritos a mano [6] . A pesar de la experiencia exitosa, tomó tres días entrenar el modelo, lo que limitó significativamente la aplicabilidad de este método. La baja tasa de aprendizaje está asociada con muchos factores, incluido el problema de los gradientes que se desvanecen debido a la gran dispersión en los valores de los parámetros entrenables, que fue analizado en 1991 por Jörgen Schmidhuber y Sepp Hochreiter. Debido a estos problemas, las redes neuronales dieron paso a las máquinas vectoriales en la década de 1990 .
En 1991, estos sistemas se utilizaron para reconocer dígitos escritos a mano en 2D aislados, y el reconocimiento de objetos en 3D se logró haciendo coincidir imágenes en 2D con un modelo de objeto en 3D hecho a mano. En 1992, se creó un modelo de cresceptrón [7] [8] [9] para el reconocimiento de objetos tridimensionales en escenas desordenadas.
En 1994, André de Carvalho, junto con Mike Fairhurst y David Bisset, publicaron los resultados experimentales de una red neuronal booleana multicapa, también conocida como red neuronal ingrávida, que consiste en un módulo de red neuronal autoorganizado de tres capas para la extracción de características ( SOFT) y luego una clasificación de módulo de red neuronal en capas (GSN). Cada módulo se sometió a un entrenamiento independiente. Cada capa del módulo recuperó objetos con una complejidad creciente en relación con la capa anterior. [diez]
En 1995, Brendan Frey demostró que era posible entrenar (en dos días) una red que contenía seis capas completamente conectadas y varios cientos de unidades ocultas utilizando un algoritmo de sueño-vigilia desarrollado con Peter Dayan y Hinton [11] . Muchos factores contribuyen a la velocidad lenta, incluido el problema del gradiente de fuga analizado en 1991 por Sepp Hochreiter [12] [13] .
Los modelos más simples que utilizan el trabajo manual específico de la tarea, como los filtros Gabor y las máquinas de vectores de soporte (SVM), fueron opciones populares en las décadas de 1990 y 2000 debido al costo computacional de las redes neuronales artificiales (ANN). .ANN) y la falta de comprensión de cómo el cerebro vincula sus redes biológicas.
Tanto el aprendizaje superficial como el profundo (p. ej., redes recurrentes), las ANN se han estudiado durante muchos años [14] [15] [16] . Estos métodos nunca han superado los modelos heterogéneos mixtos gaussianos y de Markov ocultos basados en modelos de habla generativa entrenados discriminatoriamente [17] . Se analizaron las principales dificultades, incluida la reducción del gradiente [12] y la débil estructura de correlación temporal en los modelos predictivos neurales [18] [19] . Las dificultades adicionales fueron la falta de datos de entrenamiento y el poder de cómputo limitado.
El aprendizaje profundo ganó popularidad a mediados de la década de 2000 cuando todo se unió: las computadoras se volvieron lo suficientemente poderosas para entrenar grandes redes neuronales (aprendieron a delegar cálculos a las GPU , lo que aceleró el proceso de aprendizaje en un orden de magnitud), los conjuntos de datos se volvieron lo suficientemente grandes como para entrenar grandes redes tenía sentido, y se produjo otro avance en la teoría de las redes neuronales artificiales: artículos de Hinton , Osinderero y Tae [20] , así como de Bengio [21] , en los que los autores demostraron que es posible preentrenar eficazmente una red neuronal multicapa si cada capa se entrena por separado usando una máquina Boltzmann limitada y luego se vuelve a entrenar usando el método de retropropagación .
En 2012, un equipo dirigido por George E. Dahl ganó el Desafío de actividad molecular de Merck utilizando redes neuronales profundas multitarea para predecir el objetivo biomolecular de un solo fármaco [22] . En 2014, el grupo de Hochreiter utilizó el aprendizaje profundo para identificar los efectos no deseados y tóxicos de los productos químicos ambientales en nutrientes, productos para el hogar y medicamentos, y ganó el "Desafío de datos Tox21" de los Institutos Nacionales de Salud de EE. UU. , Administración de Alimentos y Medicamentos de EE. UU. calidad de alimentos y medicamentos y NCATS [23] .
Se sintió un desarrollo significativo en el reconocimiento de imágenes u objetos entre 2011 y 2012. Si bien las redes neuronales convolucionales retropropagadas (CNN) han existido durante décadas, y las GPU han estado implementando redes neuronales durante muchos años, incluidas las CNN, se han utilizado implementaciones rápidas de CNN en la GPU para avanzar en la visión por computadora. En 2011, este enfoque logró un rendimiento sobrehumano por primera vez en una competencia de reconocimiento de patrones visuales. También en 2011 ganó el concurso de caligrafía ICDAR y en mayo de 2012 el concurso de segmentación de imágenes ISBI [24] . Hasta 2011, las CNN no jugaron un papel importante en las conferencias de visión por computadora, pero en junio de 2012, una presentación de Ciresan [25] en la conferencia insignia de CVPR mostró cómo la máxima integración de CNN en una GPU puede mejorar significativamente muchos resultados de referencia. En octubre de 2012, Krizhevsky [26] desarrolló un sistema similar , cuyo equipo ganó la competencia ImageNet a gran escala por un margen significativo sobre los métodos de aprendizaje automático de superficie. En noviembre de 2012, el equipo de Ciresan también ganó el concurso ICPR de análisis de imágenes médicas grandes para la detección del cáncer y, al año siguiente, el Gran Desafío MICCAI sobre el mismo tema [27] . En 2013 y 2014, la tasa de error en la tarea de ImageNet con aprendizaje profundo se redujo aún más debido a una tendencia similar en el reconocimiento de voz a gran escala. Steven Wolfram publicó estas mejoras como parte del Proyecto de identificación de imágenes [28] .
La clasificación de imágenes se amplió luego a la tarea más compleja de generar descripciones (títulos) para imágenes, a menudo como una combinación de CNN y LSTM [29] [30] [31] [32] .
Algunos investigadores creen que la victoria de ImageNet en octubre de 2012 marcó el comienzo de una "revolución del aprendizaje profundo" que cambió la industria de la IA [33] .
En marzo de 2019, Yoshua Bengio , Geoffrey Hinton y Yann LeCun recibieron el Premio Turing por avances conceptuales y de ingeniería que han hecho de las redes neuronales profundas un componente crítico de la informática.
Las redes neuronales artificiales (ANN) son sistemas computacionales basados en los principios de las redes neuronales biológicas que componen el cerebro animal. Dichos sistemas aprenden (mejoran gradualmente sus habilidades) a realizar tareas, generalmente sin estar programados para resolver tareas específicas. Por ejemplo, en el reconocimiento de imágenes de gatos, pueden aprender a reconocer imágenes que contienen gatos analizando ejemplos de imágenes que se han etiquetado manualmente como "gato" o "sin gato" y utilizando los resultados del análisis para identificar gatos en otras imágenes. Las ANN han encontrado su mayor uso en aplicaciones de software que son difíciles de expresar con un algoritmo informático tradicional que utiliza programación basada en reglas .
Las ANN se basan en un conjunto de unidades conectadas llamadas neuronas artificiales (similares a las neuronas biológicas en el cerebro biológico). Cada conexión (sinapsis) entre neuronas puede transmitir una señal a otra neurona. La neurona receptora (postsináptica) puede procesar la(s) señal(es) y luego enviar señales a las neuronas conectadas a ella. Las neuronas pueden tener un estado, generalmente representado por números reales, generalmente entre 0 y 1. Las neuronas y las sinapsis también pueden tener pesos que cambian durante el aprendizaje, lo que puede aumentar o disminuir la fuerza de la señal que envía.
Por lo general, las neuronas se organizan en capas. Diferentes capas pueden realizar diferentes tipos de transformaciones. Las señales viajan desde la primera (entrada) hasta la última capa (salida), posiblemente después de pasar por las capas varias veces.
El objetivo original del enfoque de red neuronal era resolver problemas de la misma manera que lo hace el cerebro humano. Con el tiempo, la atención se ha centrado en la selección de ciertas habilidades intelectuales, lo que ha llevado a desviaciones de la biología, como la retropropagación, o la transmisión de información en dirección opuesta y la creación de una red para reflejar esta información.
Las redes neuronales se utilizan para una variedad de tareas, que incluyen visión artificial, reconocimiento de voz, traducción automática, filtrado de redes sociales, videojuegos y diagnósticos médicos.
A partir de 2017, las redes neuronales suelen tener de unos pocos miles a unos pocos millones de unidades y millones de conexiones. A pesar de que este número es varios órdenes de magnitud menor que el número de neuronas en el cerebro humano, estas redes pueden realizar muchas tareas a un nivel que excede las capacidades de los humanos (por ejemplo, reconocimiento facial, jugar al go ) [34] .
Una red neuronal profunda (DNN, DNN - Red neuronal profunda) es una red neuronal artificial (ANN) con varias capas entre las capas de entrada y salida [35] [36] . El GNN encuentra el método de transformación matemática correcto para convertir la entrada en una salida, independientemente de si la correlación es lineal o no lineal . La red se mueve a través de las capas, calculando la probabilidad de cada salida. Por ejemplo, un DNN que está entrenado para reconocer razas de perros recorrerá una imagen dada y calculará la probabilidad de que un perro en la imagen pertenezca a una raza en particular. El usuario puede ver los resultados y seleccionar las probabilidades que debe mostrar la red (por encima de un cierto umbral, por ejemplo) y devolver una etiqueta sugerida a la red. Cada transformación matemática se considera una capa, y las GNN complejas tienen muchas capas, de ahí el nombre de redes "profundas" o "profundas".
Las GNN pueden modelar relaciones no lineales complejas. Las arquitecturas GNN generan modelos compositivos en los que un objeto se expresa como una composición multinivel de primitivas [37] . Las capas adicionales permiten que los elementos se compongan a partir de niveles más bajos, potencialmente modelando datos complejos con menos unidades que una red fina con métricas similares [35] .
La arquitectura profunda incluye muchas variaciones de varios enfoques básicos. Cada arquitectura ha tenido éxito en ciertas áreas. No siempre es posible comparar el rendimiento de múltiples arquitecturas a menos que hayan sido evaluadas en los mismos conjuntos de datos.
Las GNN suelen ser redes de avance en las que los datos se transfieren desde una capa de entrada a una capa de salida sin retroalimentación. Primero, la GNN crea un mapa de neuronas virtuales y asigna valores numéricos aleatorios o "pesos" a las conexiones entre ellas. Los pesos y los datos de entrada se multiplican y devuelven una señal de salida de 0 a 1. Si la red no reconoce con precisión un patrón en particular, el algoritmo ajustará los pesos hasta que determine los coeficientes que procesan correctamente los datos. [38]
El aprendizaje profundo se caracteriza como una clase de algoritmos de aprendizaje automático que [39] :
Todas las definiciones afirman
La composición de capas no lineales específicas depende del problema que se está resolviendo. Se utilizan tanto capas ocultas de la red neuronal como capas de transformaciones lógicas complejas [40] . El sistema puede incluir variables latentes organizadas en capas en modelos generativos profundos, como nodos en una red profunda de confianza y una máquina de Boltzmann restringida profunda .
Los algoritmos de aprendizaje profundo se oponen a los algoritmos de aprendizaje superficial en términos de la cantidad de transformaciones parametrizadas que encuentra la señal a medida que se propaga desde la capa de entrada a la capa de salida, donde una transformación parametrizada se considera una unidad de procesamiento de datos que tiene parámetros entrenables como como pesos o umbrales [41] . La cadena de transformaciones de entrada a salida se llama CAP - mediante la transferencia de responsabilidad ( ruta de asignación de créditos en inglés , CAP ). Los CAP describen posibles relaciones causales a lo largo de la red desde la entrada hasta la salida, y la ruta en diferentes ramas puede tener diferentes longitudes. Para una red neuronal feedforward, la profundidad del CAP no difiere de la profundidad de la red y es igual al número de capas ocultas más una (la capa de salida también está parametrizada). Para redes neuronales recurrentes , en las que la señal puede saltar a través de capas sin pasar por las intermedias, CAP tiene una longitud potencialmente ilimitada debido a la retroalimentación. No existe un umbral universalmente acordado para la profundidad de división del aprendizaje superficial del aprendizaje profundo, pero generalmente se considera que el aprendizaje profundo se caracteriza por múltiples capas no lineales (CAP> 2). Jorgen Schmidhuber también destaca el "aprendizaje muy profundo" cuando CAP > 10 [41] .
El aprendizaje profundo es un algoritmo de aprendizaje automático para modelar abstracciones de alto nivel utilizando múltiples transformaciones no lineales [39] [40] [41] [42] [43] .
En primer lugar, el aprendizaje profundo incluye los siguientes métodos y sus variaciones:
Al combinar estos métodos, se crean sistemas complejos que corresponden a varias tareas de inteligencia artificial .
El aprendizaje profundo es una selección validada de una amplia familia de métodos de aprendizaje automático para representar los datos que mejor se adaptan a la naturaleza del problema. Una imagen, por ejemplo, se puede representar de muchas maneras, como un vector de intensidad de valores por píxel, o (de una forma más abstracta) como un conjunto de primitivas, regiones de cierta forma, etc. Representaciones de datos exitosas facilitar la resolución de problemas específicos, por ejemplo, reconocimiento facial y expresiones faciales [44] ). En los sistemas de aprendizaje profundo, automatiza el proceso de selección y ajuste de características, realizando el aprendizaje de características sin un maestro o con la participación parcial de un maestro , utilizando algoritmos eficientes y extracción jerárquica de características [45] para esto .
La investigación en esta área ha mejorado los modelos para trabajar con grandes volúmenes de datos sin etiquetar. Han surgido algunos enfoques a partir de los avances en el campo de la neurociencia , los avances en la interpretación del procesamiento de la información, la construcción de modelos de comunicación en el sistema nervioso , como la codificación neuronal asociada con la determinación de la relación entre el estímulo y las respuestas neuronales, y la relación de la actividad eléctrica entre neuronas en el cerebro [46] .
Los sistemas de aprendizaje profundo han encontrado aplicación en áreas como la visión por computadora , el reconocimiento de voz , el procesamiento del lenguaje natural , el reconocimiento de audio, la bioinformática , donde se demostraron resultados significativamente mejores que los anteriores para una serie de tareas.
A pesar del éxito del uso del aprendizaje profundo, todavía tiene una limitación fundamental: los modelos de aprendizaje profundo están limitados en lo que pueden representar, y la mayoría de los programas no se pueden expresar como una transformación geométrica continua de una variedad de datos [47] .
Sin embargo, sigue existiendo la noción escéptica de que el aprendizaje profundo no es más que una palabra de moda o un cambio de marca para las redes neuronales [48] [49] .
| Aprendizaje automático y minería de datos | |
|---|---|
| Tareas | |
| Aprendiendo con un maestro | |
| análisis de conglomerados | |
| Reducción de dimensionalidad | |
| Pronóstico estructural | |
| Detección de anomalías | |
| Graficar modelos probabilísticos | |
| Redes neuronales | |
| Aprendizaje reforzado |
|
| Teoría | |
| revistas y congresos |
|