Función de activación

En las redes neuronales artificiales , la función de activación de una neurona determina la señal de salida, que está determinada por una señal de entrada o un conjunto de señales de entrada. Se puede pensar en un chip de computadora estándar como una red digital de funciones de activación que pueden estar "ENCENDIDAS" (1) o "APAGADAS" (0) dependiendo de la entrada. Esto es similar al comportamiento de un perceptrón lineal en las redes neuronales . Sin embargo, solo las funciones de activación no lineales permiten que tales redes resuelvan problemas no triviales usando una pequeña cantidad de nodos. En las redes neuronales artificiales , esta función también se denomina función de transferencia .

Funciones

En las redes neuronales biológicas , la función de activación suele ser una abstracción que representa la velocidad a la que se dispara un potencial de acción en una célula [1] . En su forma más simple, esta función es binaria , es decir, una neurona dispara o no dispara. La función parece , donde está la función de paso de Heaviside . En este caso, necesita usar muchas neuronas para cálculos más allá de la separación lineal de categorías. ${\ estilo de visualización \ phi (v_ {i}) = U (v_ {i})}$ $tu$

Se puede usar una línea recta con una pendiente positiva para representar el aumento en la velocidad de excitación a medida que aumenta la señal de entrada. Tal función tendría la forma , donde es la pendiente de la línea . Esta función de activación es lineal y por lo tanto tiene los mismos problemas que la función binaria. Además, las redes construidas usando tal modelo tienen una convergencia inestable , ya que la excitación de las entradas prioritarias de las neuronas tiende a un aumento ilimitado, ya que esta función no es normalizable . ${\displaystyle \phi (v_{i})=\mu v_{i))$ $\mu$

Todos los problemas mencionados anteriormente se pueden resolver con una función de activación sigmoidea normalizable. Uno de los modelos realistas permanece en el estado cero hasta que llega una señal de entrada, momento en el cual la tasa de excitación inicialmente aumenta rápidamente, pero gradualmente alcanza una asíntota de tasa de excitación del 100%. Matemáticamente, esto se ve como , donde la tangente hiperbólica puede ser reemplazada por cualquier sigmoide . Este comportamiento en realidad se refleja en la neurona, ya que las neuronas no pueden disparar físicamente más rápido que cierta velocidad. Este modelo, sin embargo, tiene varios problemas en las redes de computadoras porque la función no es diferenciable , lo cual es necesario para calcular la retroalimentación del error de aprendizaje . $\phi (v_{i})=U(v_{i})\mathrm {th} \,(v_{i})$

El último modelo que se utiliza en los perceptrones multicapa es la función de activación sigmoidea en forma de tangente hiperbólica. Se utilizan comúnmente dos tipos de esta función: , cuya imagen se normaliza al intervalo [-1, 1], y , desplazada verticalmente para normalizar de 0 a 1. El último modelo se considera biológicamente más realista, pero tiene dificultades teóricas y experimentales. con algunos tipos de errores de cálculo. $\phi (v_{i})=\mathrm {th} \,(v_{i})$ ${\displaystyle \phi (v_{i})=(1+\exp(-v_{i}))^{-1))$

Estructuras alternativas

En las redes RBF se utiliza una clase especial de funciones de activación conocidas como funciones de base radial (RBF) , que son extremadamente eficientes como aproximadores de funciones de propósito general. Estas funciones de activación pueden tomar muchas formas, pero generalmente se toma una de las siguientes tres funciones:

Gaussiano: $\,\phi (v_{i})=\exp \left(-{\frac {\|v_{i}-c_{i}\|^{2}}{2\sigma ^{2} }}\Correcto)$
Multiquadratic ( ing. Multiquadratics ): ${\displaystyle \,\phi (v_{i})={\sqrt {\|v_{i}-c_{i}\|^{2}+a^{2))))$
Multicuadrática inversa ( Multiquadratics inversa en inglés ): $\,\phi (v_{i})=(\|v_{i}-c_{i}\|^{2}+a^{2})^{-1/2}$

donde es un vector que representa el centro de la función y y son parámetros que afectan la divergencia del radio. $c_{yo}$ $a$ $\sigma$

Las máquinas de vectores de soporte (SVM) pueden usar de manera efectiva una clase de funciones de activación que incluye sigmoides y RBF. En este caso, la entrada se transforma para reflejar el hiperplano del límite de decisión en función de varias entradas de entrenamiento denominadas vectores de soporte . La función de activación para el nivel cerrado de estas máquinas se denomina núcleo interno del producto . Los vectores de soporte se representan como centros en el RBF con un núcleo igual a la función de activación, pero toman la única forma en el perceptrón $X$ $K(v_{i},x)=\phi (v_{i})$

\,\phi (v_{i})=\mathrm {th} \,\left(\beta _{1}+\beta _{0}\sum _{j}v_{i,j}x_ {j}\derecho)

donde para la convergencia y debe satisfacer ciertas condiciones. Estas máquinas pueden aceptar funciones de activación polinomial de cualquier orden ${\ estilo de visualización \ beta _ {0))$ $\beta_{1}$

{\displaystyle \,\phi (v_{i})=\left(1+\sum _{j}v_{i,j}x_{j}\right)^{p))

[2] .

Las funciones de activación son de los siguientes tipos:

función de identidad
función de paso binario
Función de paso bipolar [3]
Función sigmoidea
- Función sigmoidea binaria
- Función sigmoidea bipolar
Función de elevación [4]

Comparación de funciones de activación

Algunas propiedades deseables de las funciones de activación:

No linealidad: si la función de activación no es lineal, se puede demostrar que una red neuronal de dos niveles será un aproximador de función universal [5] . La función de activación de identidad no satisface esta propiedad. Si varias capas usan la misma función de activación, toda la red es equivalente a un modelo de una sola capa.
Diferenciabilidad continua: esta propiedad es deseable (RELU no es continuamente diferenciable y tiene algunos problemas con la optimización basada en el descenso de gradiente, pero sigue siendo una posibilidad válida) para proporcionar métodos de optimización basados en el descenso de gradiente. La función de activación de paso binario no es diferenciable en el punto 0 y su derivada es 0 en todos los demás puntos, por lo que los métodos de descenso de gradiente no le dan ningún éxito [6] .
Rango: si el conjunto de valores de la función de activación es limitado, los métodos de aprendizaje de gradientes son más estables porque las representaciones de patrones solo afectan significativamente a un conjunto limitado de pesos de enlace. Si el rango es infinito, el aprendizaje tiende a ser más eficiente, ya que las representaciones de referencia afectan significativamente a la mayoría de los pesos. En este último caso, normalmente se necesita una tasa de aprendizaje más lenta.
Monotonicidad: si la función de activación es monótona, se garantiza que la superficie de error asociada con el modelo de un nivel sea convexa [7] .
Funciones suaves con derivada monótona – Se muestra que en algunos casos brindan un mayor grado de generalidad.
Aproxima la función de identidad cerca del origen: si las funciones de activación tienen esta propiedad, la red neuronal se entrenará de manera eficiente si sus pesos se inicializan con valores aleatorios pequeños. Si la función de activación no aproxima la identidad cerca del origen, se debe tener cuidado al inicializar los pesos [8] . En la siguiente tabla, las funciones de activación que tienen y son continuas en el punto 0 se etiquetan como que tienen esta propiedad. $f(0)=0$ ${\ estilo de visualización f' (0) = 1}$ $F'$

La siguiente tabla compara las propiedades de algunas funciones de activación, que son funciones de una sola x - convolución del nivel o niveles anteriores:

Nombre	La ecuacion	Derivada (con respecto a x )	Rango de valores	orden de suavidad	Monótono	Derivado monotónico	Aproxima la función identidad cerca del origen
idéntico	$f(x)=x$	${\ estilo de visualización f' (x) = 1}$	$(-\infty,\infty)$	$C^\infty$	Sí	Sí	Sí
un solo paso	$f(x)={\begin{casos}0&x<0\\1&x\geqslant 0\end{casos))$	$f'(x)={\begin{casos}0&x\neq 0\\?&x=0\end{casos))$	$\{0,1\}$	${\ estilo de visualización C^{-1}}$	Sí	No	No
Logística (sigmoide o paso suave)	${\displaystyle f(x)=\sigma (x)={\frac {1}{1+e^{-x))))$ [una]	${\ Displaystyle f'(x)=f(x)(1-f(x))}$	$(0.1)$	$C^\infty$	Sí	No	No
el	$f(x)=\mathrm {th} \,(x)={\frac {(e^{x}-e^{-x})}{(e^{x}+e^{- X})}}$	${\ Displaystyle f'(x)=1-f(x)^{2))$	$(-1.1)$	$C^\infty$	Sí	No	Sí
arctg	$f(x)=\mathrm {tg} \,^{-1}(x)$	$f'(x)={\frac{1}{x^{2}+1))$	$\left(-{\frac {\pi }{2)),{\frac {\pi }{2))\right)$	$C^\infty$	Sí	No	Sí
Señal suave [9] [10]	$f(x)={\frac{x}{1+\|x\|}}$	${\displaystyle f'(x)={\frac {1}{(1+\|x\|)^{2))))$	$(-1.1)$	$c ^ 1$	Sí	No	Sí
Unidad de raíz cuadrada inversa ( ISRU ) [11]	$f(x)={\frac {x}{\sqrt {1+\alpha x^{2))))$	${\displaystyle f'(x)=\left({\frac {1}{\sqrt {1+\alpha x^{2))))\right)^{3))$	$\left(-{\frac {1}{\sqrt {\alpha }}},{\frac {1}{\sqrt {\alpha }}}\right)$	$C^\infty$	Sí	No	Sí
Rectificador lineal (o medio elemento lineal) ( ing. Unidad lineal rectificada , ReLU) [12] [13]	$f(x)={\begin{casos}0&x<0\\x&x\geqslant 0\end{casos))$	$f'(x)={\begin{casos}0&x<0\\1&x\geqslant 0\end{casos))$	$[0,\infty)$	$C^{0}$	Sí	Sí	No
Unidad lineal rectificada con fugas , Leaky ReLU [ 14]	$f(x)={\begin{casos}0.01x&x<0\\x&x\geqslant 0\end{casos))$	$f'(x)={\begin{casos}0,01&x<0\\1&x\geqslant 0\end{casos))$	$(-\infty,\infty)$	$C^{0}$	Sí	Sí	No
Unidad lineal rectificada paramétrica ( PReLU ) [15]	$f(\alpha,x)={\begin{casos}\alpha x&x<0\\x&x\geqslant 0\end{casos))$	$f'(\alpha ,x)={\begin{casos}\alpha &x<0\\1&x\geqslant 0\end{casos))$	$(-\infty,\infty)$ [2]	$C^{0}$	si, cuando $\alpha \geqslant 0$	Sí	si, cuando $\alpha=1$
Unidad lineal rectificada con fugas aleatoria ( RReLU ) [16]	$f(\alpha,x)={\begin{casos}\alpha x&x<0\\x&x\geqslant 0\end{casos))$ [3]	$f'(\alpha ,x)={\begin{casos}\alpha &x<0\\1&x\geqslant 0\end{casos))$	$(-\infty,\infty)$	$C^{0}$	Sí	Sí	No
Unidad lineal exponencial ( ELU ) [17]	$f(\alpha,x)={\begin{casos}\alpha (e^{x}-1)&x<0\\x&x\geqslant 0\end{casos))$	$f'(\alpha ,x)={\begin{casos}f(\alpha ,x)+\alpha &x<0\\1&x\geqslant 0\end{casos))$	${\ estilo de visualización (- \ alfa, \ infinito)}$	${\begin{casos}C_{1}&\alpha =1\\C_{0}&\alpha \neq 1\end{casos))$	si, cuando $\alpha \geqslant 0$	si, cuando $0\leqslant \alpha \leqslant 1$	si, cuando $\alpha=1$
Unidad lineal exponencial escalada ( SELU ) [18]	$f(\alpha,x)=\lambda {\begin{casos}\alpha (e^{x}-1)&x<0\\x&x\geqslant 0\end{casos))$ con y ${\ estilo de visualización \ lambda = 1,0507}$ ${\ estilo de visualización \ alfa = 1,67326}$	$f'(\alpha ,x)=\lambda {\begin{casos}\alpha (e^{x})&x<0\\1&x\geqslant 0\end{casos))$	${\ estilo de visualización (- \ lambda \ alfa, \ infinito)}$	$C^{0}$	Sí	No	No
Rectificador S lineal (unidad de activación lineal rectificada en forma de S , SReLU ) [19]	$f_{t_{l},a_{l},t_{r},a_{r))(x)={\begin{casos}t_{l}+a_{l}(x-t_{l })&x\leqslant t_{l}\\x&t_{l}<x<t_{r}\\t_{r}+a_{r}(x-t_{r})&x\geqslant t_{r}\end {casos}}$ ${\displaystyle t_{l},a_{l},t_{r},a_{r))$ son parámetros.	$f'_{t_{l},a_{l},t_{r},a_{r))(x)={\begin{casos}a_{l}&x\leqslant t_{l}\\ 1&t_{l}<x<t_{r}\\a_{r}&x\geqslant t_{r}\end{casos}}$	$(-\infty,\infty)$	$C^{0}$	No	No	No
Unidad lineal de raíz cuadrada inversa ( ISRLU ) [11]	$f(x)={\begin{casos}{\frac {x}{\sqrt {1+\alpha x^{2))))&x<0\\x&x\geqslant 0\end{casos} }$	$f'(x)={\begin{casos}\left({\frac {1}{\sqrt {1+\alpha x^{2))))\right)^{3}&x<0 \\1&x\geqslant 0\end{casos}}$	$\left(-{\frac {1}{\sqrt {\alpha }}},\infty \right)$	$C^{2}$	Sí	Sí	Sí
Adaptativo lineal por partes ( APL ) [ 20]	$f(x)=\max(0,x)+\sum _{s=1}^{S}a_{i}^{s}\max(0,-x+b_{i}^{ s})$	$f'(x)=H(x)-\sum _{s=1}^{S}a_{i}^{s}H(-x+b_{i}^{s})$ [cuatro]	$(-\infty,\infty)$	$C^{0}$	No	No	No
Más suave [21]	${\ estilo de visualización f (x) = \ ln (1 + e ^ {x})}$	${\displaystyle f'(x)={\frac {1}{1+e^{-x))))$	${\ estilo de visualización (0, \ infinito)}$	$C^\infty$	Sí	Sí	No
Función de identidad doblada ( eng. identidad doblada )	$f(x)={\frac {{\sqrt {x^{2}+1}}-1}{2}}+x$	$f'(x)={\frac {x}{2{\sqrt {x^{2}+1))))+1$	$(-\infty,\infty)$	$C^\infty$	Sí	Sí	Sí
Unidad lineal ponderada sigmoidea ( SiLU ) [22]	${\ Displaystyle f (x) = x \ cdot \ sigma (x)}$ [5]	$f'(x)=f(x)+\sigma (x)(1-f(x))$ [6]	${\ estilo de visualización [\ aproximadamente -0,28, \ infinito)}$	$C^\infty$	No	No	No
Exponencial suave [23]	$f(\alpha ,x)={\begin{cases}-{\frac {\ln(1-\alpha (x+\alpha ))}{\alpha }}&\alpha <0\\x&\ alfa =0\\{\frac {e^{\alpha x}-1}{\alpha }}+\alpha &\alpha >0\end{casos}}$	$f'(\alpha ,x)={\begin{casos}{\frac {1}{1-\alpha (\alpha +x)))&\alpha <0\\e^{\alpha x }&\alpha \geqslant 0\end{casos}}$	$(-\infty,\infty)$	$C^\infty$	Sí	Sí	si, cuando $\ alfa = 0$
Sinusoide [24]	${\ estilo de visualización f (x) = \ sin (x)}$	$f'(x)=\cos(x)$	$[-1,1]$	$C^\infty$	No	No	Sí
Sinc	$f(x)={\begin{casos}1&x=0\\{\frac {\sin(x)}{x}}&x\neq 0\end{casos}}$	$f'(x)={\begin{casos}0&x=0\\{\frac {\cos(x)}{x}}-{\frac {\sin(x)}{x^{2 }}}&x\neq 0\end{casos}}$	${\ estilo de visualización [\ aproximadamente -0.217234.1]}$	$C^\infty$	No	No	No
gaussiano	$f(x)=e^{-x^{2))$	$f'(x)=-2xe^{-x^{2))$	$(0,1]$	$C^\infty$	No	No	No

↑ Aquí,Hes lafunción escalón de Heaviside. ↑ αes una variable estocástica tomada de ladistribución uniformeen el momento del entrenamiento, cuyo valor se fija igual a la media de ladistribuciónen el momento de la prueba. ↑ ↑ ↑ Aquíestá lafunción logística.

\sigma

La siguiente tabla enumera las funciones de activación que no son funciones de una sola x - convolución del nivel o niveles anteriores:

Nombre	La ecuacion	Derivados	Rango de valores	Grado de suavidad
softmax	$f_{i}({\vec {x)))={\frac {e^{x_{i))}{\sum _{j=1}^{J}e^{x_{j} }}}$ para i = 1, …, J	${\frac {\parcial f_{i}({\vec {x)))}{\parcial x_{j))}=f_{i}({\vec {x)))(\delta _ {ij}-f_{j}({\vec {x))))$ [7]	$(0.1)$	$C^\infty$
Salida máxima [25]	$f({\vec {x)))=\max _{i}x_{i}$	${\frac {\parcial f}{\parcial x_{j))}={\begin{cases}1&j={\underset {i}{\operatorname {argmax} }}\,x_{i}\ \0&j\neq {\underset {i}{\operatorname {argmax} }}\,x_{i}\end{casos}}$	$(-\infty,\infty)$	$C^{0}$

↑ Denotael símbolo de Kronecker aquí. $\delta _{{ij}}$

Véase también

función logística
Rectificador (redes neuronales)
Resiliencia (teoría del aprendizaje)
softmax

Notas

↑ Hodgkin, Huxley, 1952 , pág. 500–544.
↑ Haykin, 1999 .
↑ Bipolar: toma el valor -1 antes del origen y 1 después, a diferencia de la función de paso binario, que toma el valor 0 antes del origen).
↑ La función de elevación toma el valor 0 antes del origen y es lineal después.
↑ Cybenko, 2006 , pág. 303.
↑ Snyman, 2005 .
↑ Wu, 2009 , pág. 3432–3441.
↑ Sussillo, David & Abbott, LF (2014-12-19), Inicialización de paseo aleatorio para entrenar redes muy profundas de realimentación, arΧiv : 1412.6558 [cs.NE].
↑ James Bergstra, Guillaume Desjardins, Pascal Lamblin, Yoshua Bengio. Los polinomios cuadráticos aprenden mejores características de imagen". Informe técnico 1337 (enlace no disponible) . Département d'Informatique et de Recherche Opérationnelle, Université de Montréal (2009). Fecha de acceso: 30 de septiembre de 2018. Archivado desde el original el 25 de septiembre de 2018. (indefinido)
↑ Glorot, Bengio, 2010 .
↑ 1 2 Carlile, Brad; Delamarter, Guy; Kinney, Pablo; Marti, Akiko y Whitney, Brian (2017-11-09), Mejora del aprendizaje profundo mediante unidades lineales de raíz cuadrada inversa (ISRLU), arΧiv : 1710.09967 [cs.LG].
↑ Por analogía con un diodo, pasa corriente (sin cambiarla) en una dirección y no la pasa en la otra.
↑ Nair, Hinton, 2010 , pág. 807–814.
↑ Maas, Hannun, Ng, 2013 .
↑ He, Zhang, Ren, dom, 2015 .
↑ Xu, Wang, Chen, Li, 2015 .
↑ Clevert, Djork-Arne; Unterthiner, Thomas & Hochreiter, Sepp (2015-11-23), Aprendizaje de red profundo rápido y preciso mediante unidades lineales exponenciales (ELU), arΧiv : 1511.07289 [cs.LG].
↑ Klambauer, Unterthiner, Mayr, Hochreiter, 2017 .
↑ Jin, Xiaojie; Xu, Chunyán; Feng, Jiashi; Wei, Yunchao; Xiong, Junjun & Yan, Shuicheng (2015-12-22), Aprendizaje profundo con unidades de activación lineal rectificadas en forma de S, arΧiv : 1512.07030 [cs.CV].
↑ Bosque Agostinelli; Mateo Hoffman; Peter Sadowski y Pierre Baldi (21 de diciembre de 2014), Funciones de activación de aprendizaje para mejorar las redes neuronales profundas, arΧiv : 1412.6830 [cs.NE].
↑ Xavier Glorot, Antoine Bordes, Yoshua Bengio. Redes neuronales de rectificador disperso profundo . Congreso Internacional de Inteligencia Artificial y Estadística (2011). Consultado el 30 de septiembre de 2018. Archivado desde el original el 19 de junio de 2018. (indefinido)
↑ Ala de duende, Uchibe, Doya, 2018 .
↑ Godfrey, Gashler, 2016 , pág. 481–486.
↑ Gashler, Ashmore, 2014 .
↑ Goodfellow, Warde-Farley, Mirza, Courville, Bengio, 2013 , pág. 1319–1327.

Literatura

Hodgkin AL, Huxley AF Una descripción cuantitativa de la corriente de membrana y su aplicación a la conducción y excitación en los nervios // The Journal of Physiology. - 1952. - T. 117 , núm. 4 . — S. 500–544 . —PMID 12991237 .
Simón S. Haykin. [ [8] en Google Books Neural Networks: A Comprehensive Foundation]. - Prentice Hall, 1999. - ISBN 978-0-13-273350-2 .
Cybenko GV [ [9] en Google Books Aproximación por superposiciones de una función sigmoidal] // Matemáticas de control, señales y sistemas / Jan H. van Schuppen. - Springer Internacional, 2006. - Pág. 303.
Jan Snyman. [ [10] en Google Books Optimización matemática práctica: una introducción a la teoría básica de optimización y algoritmos basados en gradientes clásicos y nuevos]. - Springer Science & Business Media, 2005. - ISBN 978-0-387-24348-1 .
Huaiqin Wu. Análisis de estabilidad global de una clase general de redes neuronales discontinuas con funciones de activación de crecimiento lineal // Ciencias de la información. - 2009. - T. 179 , nº. 19 _ — S. 3432–3441 . -doi : 10.1016/ j.ins.2009.06.006 .
Xavier Glorot, Yoshua Bengio. Comprender la dificultad de entrenar redes neuronales feedforward profundas // Conferencia internacional sobre inteligencia artificial y estadísticas (AISTATS'10). - Sociedad de Inteligencia Artificial y Estadística, 2010.
Vinod Nair, Geoffrey E. Hinton. Las unidades lineales rectificadas mejoran las máquinas de Boltzmann restringidas // 27th International Conference on International Conference on Machine Learning. - EE.UU.: Omnipress, 2010. - S. 807-814. — (ICML'10). — ISBN 9781605589077 .
Andrew L. Maas, Awni Y. Hannun, Andrew Y. Ng. Las no linealidades del rectificador mejoran los modelos acústicos de redes neuronales // Proc. ICML. - 2013. - junio ( vol. 30 , número 1 ).
Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun. Actas ICCV'15 Actas de la Conferencia Internacional IEEE sobre Visión por Computador (ICCV) de 2015. - Washington: IEEE Computer Society, 2015. - págs. 1026-1034 . — ISBN 978-1-4673-8391-2 .
Bing Xu, Naiyan Wang, Tianqi Chen, Mu Li. Evaluación Empírica de Activaciones Rectificadas en Red Convolucional // Visión por Computador y Reconocimiento de Patrones. — 2015.
Günter Klambauer, Thomas Unterthiner, Andreas Mayr, Sepp Hochreiter. Redes neuronales de autonormalización // Avances en los sistemas de procesamiento de información neuronal. - 2017. - Junio ( vol. 30 , número 2017 ). — . -arXiv : 1706.02515 . _
Stefan Elfwing, Eiji Uchibe, Kenji Doya. Unidades lineales ponderadas sigmoideas para la aproximación de funciones de redes neuronales en el aprendizaje por refuerzo // Redes neuronales. — 2018.
Luke B. Godfrey, Michael S. Gashler. Un continuo entre funciones logarítmicas, lineales y exponenciales, y su potencial para mejorar la generalización en redes neuronales // 7ª Conferencia Internacional Conjunta sobre Descubrimiento del Conocimiento, Ingeniería del Conocimiento y Gestión del Conocimiento: KDIR. - 2016. - febrero ( vol. 1602 ). - . -arXiv : 1602.01321 . _
Michael S. Gashler, Stephen C. Ashmore. Entrenamiento de redes neuronales profundas de Fourier para adaptarse a datos de series temporales // Conferencia internacional sobre computación inteligente. - Springrt, Cham, 2014. - P. 48-55.
Ian J. Goodfellow, David Warde-Farley, Mehdi Mirza, Aaron Courville, Yoshua Bengio. Redes Maxout // Actas del taller y la conferencia de JMLR. - 2013. - T. 28 , núm. 3 . - S. 1319-1327 . - . -arXiv : 1302.4389 . _

Aprendizaje automático y minería de datos
Tareas	Problema de clasificación Aprender sin un maestro Aprendizaje asistido por profesores Análisis de regresión AutoML reglas de asociación Extracción de características entrenamiento de rasgos Entrenamiento de clasificación Derivación gramatical Aprender en línea
Aprendiendo con un maestro	método del k-vecino más cercano Clasificador bayesiano ingenuo árbol de decisión Máquinas de vectores soporte Regresión lineal Regresión logística perceptrón conjuntos de modelos Harpillera impulsar bosque aleatorio Método de vector relevante
análisis de conglomerados	método k-medias método de agrupamiento difuso Agrupación jerárquica algoritmo EM ABEDUL CURAR DBSCAN ÓPTICA Desplazamiento medio
Reducción de dimensionalidad	Análisis factorial Método de componentes principales CCA ICA LDA Expansión de matriz no negativa t-SNE
Pronóstico estructural	Graficar modelo probabilístico red bayesiana Modelo oculto de Markov FRC
Detección de anomalías	método del k-vecino más cercano Nivel de emisión local
Graficar modelos probabilísticos	red bayesiana Red de Markov Modelo oculto de Markov
Redes neuronales	Máquina Boltzmann limitada mapa autoorganizado Función de activación Sigmoideo softmax Funcion de base radial Método de propagación hacia atrás Aprendizaje profundo perceptrón multicapa Red neuronal recurrente memoria a corto plazo Bloque recurrente controlado Red neuronal convolucional U-red Codificador automático
Aprendizaje reforzado	proceso de Markov Ecuación de Bellman Algoritmo codicioso Q-aprendizaje SARAS Diferencia temporal (DT)
Teoría	Teoría de Vapnik-Chervonenkis Dilema de dispersión de sesgo Teoría del aprendizaje computacional Minimización empírica del riesgo El aprendizaje de Occam aprendizaje PAC Teoría del aprendizaje estadístico
revistas y congresos	NeurIPS ICML ML JMLR ArXiv:cs.LG