Regularización (matemáticas)

La regularización en estadística , aprendizaje automático , teoría del problema inverso es un método para agregar algunas restricciones adicionales a una condición para resolver un problema mal planteado o evitar el sobreajuste . Esta información a menudo viene en forma de penalización por la complejidad del modelo. Por ejemplo, pueden ser restricciones en la suavidad de la función resultante o restricciones en la norma del espacio vectorial .

Desde un punto de vista bayesiano , muchos métodos de regularización corresponden a agregar algunas distribuciones previas a los parámetros del modelo.

Algunos tipos de regularización:

-regularización ( eng. regresión de lazo ), o regularización a través de la distancia de Manhattan : $L_{1}=\sum_{i}{(y_{i}-y(t_{i}))}^{2}+\lambda \sum_{i}{|a_{i}|}$ .
$L_{2}$ - regularización , o regularización de Tikhonov (en la literatura inglesa, regresión de cresta o regularización de Tikhonov ), para ecuaciones integrales, le permite equilibrar entre el cumplimiento de datos y una norma de solución pequeña: $L_{2}=\sum_{i}{(y_{i}-y(t_{i}))}^{2}+\lambda \sum_{i}{a_{i}}^{2}$ .

El sobreajuste en la mayoría de los casos se manifiesta en el hecho de que los polinomios resultantes tienen coeficientes demasiado grandes. En consecuencia, es necesario agregar una penalización por coeficientes demasiado grandes a la función objetivo .

No existe solución para la optimización multicriterio o para la optimización en la que el dominio de la función objetivo es un espacio en el que no existe un orden lineal , o es difícil introducirlo. Casi siempre hay puntos en el dominio de la función que se está optimizando y que satisfacen las restricciones, pero los valores en los puntos son incomparables. Para encontrar todos los puntos en la curva de Pareto , use la escalarización [1] . En optimización, la regularización es una técnica de escalarización general para un problema de optimización de dos criterios [2] . Variando el parámetro lambda -el elemento que debe ser mayor que cero en el cono dual con respecto al cual se define el orden- se pueden obtener diferentes puntos de la curva de Pareto .

Notas

↑ Boyd y Vandenberghe 2004 , pág. 178.
↑ Boyd y Vandenberghe 2004 , pág. 306.

Literatura

Boyd S., Vandenberghe L. Optimización convexa . - Reino Unido: Cambridge University Press, 2004. - 716 p. - (Berichte über verteilte messysteme). — ISBN 9780521833783 .

Aprendizaje automático y minería de datos
Tareas	Problema de clasificación Aprender sin un maestro Aprendizaje asistido por profesores Análisis de regresión AutoML reglas de asociación Extracción de características entrenamiento de rasgos Entrenamiento de clasificación Derivación gramatical Aprender en línea
Aprendiendo con un maestro	método del k-vecino más cercano Clasificador bayesiano ingenuo árbol de decisión Máquinas de vectores soporte Regresión lineal Regresión logística perceptrón conjuntos de modelos Harpillera impulsar bosque aleatorio Método de vector relevante
análisis de conglomerados	método k-medias método de agrupamiento difuso Agrupación jerárquica algoritmo EM ABEDUL CURAR DBSCAN ÓPTICA Desplazamiento medio
Reducción de dimensionalidad	Análisis factorial Método de componentes principales CCA ACI LDA Expansión de matriz no negativa t-SNE
Pronóstico estructural	Graficar modelo probabilístico red bayesiana Modelo oculto de Markov FRC
Detección de anomalías	método del k-vecino más cercano Nivel de emisión local
Graficar modelos probabilísticos	red bayesiana Red de Markov Modelo oculto de Markov
Redes neuronales	Máquina Boltzmann limitada mapa autoorganizado Función de activación Sigmoideo softmax Funcion de base radial Método de propagación hacia atrás Aprendizaje profundo perceptrón multicapa Red neuronal recurrente memoria a corto plazo Bloque recurrente controlado Red neuronal convolucional U-red Codificador automático
Aprendizaje reforzado	proceso de Markov Ecuación de Bellman Algoritmo codicioso Q-aprendizaje SARAS Diferencia temporal (DT)
Teoría	Teoría de Vapnik-Chervonenkis Dilema de dispersión de sesgo Teoría del aprendizaje computacional Minimización empírica del riesgo El aprendizaje de Occam aprendizaje PAC Teoría del aprendizaje estadístico
revistas y congresos	NeurIPS ICML ML JMLR ArXiv:cs.LG