Adaboost

La versión actual de la página aún no ha sido revisada por colaboradores experimentados y puede diferir significativamente de la versión revisada el 2 de agosto de 2019; las comprobaciones requieren 3 ediciones .

AdaBoost (abreviatura de Adaptive Boosting ) es un algoritmo de aprendizaje automático propuesto por Yoav Freund y Robert Shapire . Este algoritmo se puede utilizar junto con varios algoritmos de clasificación para mejorar su rendimiento. El algoritmo fortalece los clasificadores combinándolos en un "comité" ( conjunto ). AdaBoost es adaptativo en el sentido de que cada comité clasificador siguiente se basa en objetos que fueron clasificados incorrectamente por comités anteriores. AdaBoost es sensible al ruido de datos y los valores atípicos . Sin embargo, es menos propenso al sobreajuste en comparación con otros algoritmos de aprendizaje automático.

AdaBoost llama a los clasificadores débiles en un bucle . Después de cada llamada, se actualiza la distribución de pesos , que corresponden a la importancia de cada uno de los objetos del conjunto de entrenamiento para la clasificación. En cada iteración, los pesos de cada objeto mal clasificado aumentan, por lo que el nuevo comité clasificador "enfoca su atención" en estos objetos. $t=1,\ldots,T$ $D_{{t}}$

Algoritmo para el problema de construcción de un clasificador binario

dado: donde $(x_{{1}},y_{{1}}),\ldots,(x_{{m}},y_{{m}})$ $x_{{i}}\en X,\,y_{{i}}\en Y=\{-1,+1\}$

Inicializar $D_{{1}}(i)={\frac {1}{m}},i=1,\ldots,m.$

para cada uno : $t=1,\ldots,T$

Encuentre un clasificador que minimice el error de clasificación ponderado: , donde $h_{{t}}:X\a \{-1,+1\}$ $h_{{t}}=\arg \min_{{h_{{j}}\in {\mathcal {H}}}}\epsilon_{{j}}$ $\epsilon _{{j}}=\sum _{{i=1}}^{{m}}D_{{t}}(i)[y_{i}\neq h_{{j}}(x_{ {i}})]$
Si el valor es , entonces nos detenemos. $\epsilon_{{t}}\geqslant 0.5$
Elegimos , por lo general, dónde está el error del clasificador ponderado . $\alpha _{{t}}\in {\mathbf {R}}$ $\alpha _{{t))={\frac {1}{2}}{\textrm {ln}}{\frac {1-\epsilon_{{t}}}{\epsilon_{{t}} }}$ $\epsilon_{{t}}$ $h_{{t}}$
Actualizar:

D_{{t+1}}(i)={\frac {D_{{t}}(i)\,e^{{-\alpha _{{t}}y_{{i}}h_{{t }}(x_{{i}})}}}{Z_{{t}}}}

donde es un parámetro de normalización (elegido para ser una distribución de probabilidad , es decir, ).

Z_{{t}}

D_{{t+1}}

\sum_{{i=1}}^{{m}}D_{{t+1}}(i)=1

Construimos el clasificador resultante:

H(x)={\textrm {signo}}\left(\sum_{{t=1}}^{{T}}\alpha_{{t}}h_{{t}}(x)\right )

La expresión de actualización de distribución debe construirse de tal manera que se cumpla la siguiente condición: $D_{{t}}$

e^{{-\alpha _{{t}}y_{{i}}h_{{t}}(x_{{i}})))}{\begin{casos}<1,&y(i)= h_ {{t}}(x_{{i}})\\>1,&y(i)\neq h_{{t}}(x_{{i}})\end{casos}}

Así, después de elegir el clasificador óptimo para la distribución , los objetos que el clasificador identifica correctamente tienen pesos menores que aquellos que se identifican incorrectamente. Por lo tanto, cuando el algoritmo pruebe los clasificadores en la distribución , elegirá el clasificador que sea mejor para identificar objetos que el clasificador anterior no reconoció. $h_{{t}}$ $D_{{t}}$ $x_{yo}$ $h_{{t}}$ $D_{{t+1}}$

Enlaces

AdaBoost (inglés) Presentación dedicada a Adaboost.
Una breve introducción al impulso Introducción a Adaboost , Freund y Schapire, 1999
Una generalización teórica de la decisión del aprendizaje en línea y una aplicación para impulsar Journal of Computer and System Sciences , no. 55. 1997 (inglés) (Trabajo original de Yoav Freund y Robert E.Schapire, donde se propuso por primera vez Adaboost).
Un applet que demuestra AdaBoost
Sistemas basados en conjuntos en la toma de decisiones, R. Polikar, IEEE Circuits and Systems Magazine, vol.6, no.3, pp. 21-45, 2006 (enlace no disponible) (ing.) Tutorial que brinda una descripción general de AdaBoost, incluidos pseudocódigo, diagramas de algoritmos, problemas de implementación y otros algoritmos de reconocimiento de patrones .
Una implementación de Matlab de AdaBoost
Regresión logística aditiva: una visión estadística del impulso. Jerome Friedman, Trevor Hastie, Robert Tibshirani Discute los aspectos probabilísticos de AdaBoost, describe GentleBoost.
Boosting - Impulso de clasificadores simples. Alexander Vezhnevets, Vladimir Vezhnevets. Computación Gráfica y Multimedia . Número 2(12)/2006.

Aprendizaje automático y minería de datos
Tareas	Problema de clasificación Aprender sin un maestro Aprendizaje asistido por profesores Análisis de regresión AutoML reglas de asociación Extracción de características entrenamiento de rasgos Entrenamiento de clasificación Derivación gramatical Aprender en línea
Aprendiendo con un maestro	método del k-vecino más cercano Clasificador bayesiano ingenuo árbol de decisión Máquinas de vectores soporte Regresión lineal Regresión logística perceptrón conjuntos de modelos Harpillera impulsar bosque aleatorio Método de vector relevante
análisis de conglomerados	método k-medias método de agrupamiento difuso Agrupación jerárquica algoritmo EM ABEDUL CURAR DBSCAN ÓPTICA Desplazamiento medio
Reducción de dimensionalidad	Análisis factorial Método de componentes principales CCA ACI LDA Expansión de matriz no negativa t-SNE
Pronóstico estructural	Graficar modelo probabilístico red bayesiana Modelo oculto de Markov FRC
Detección de anomalías	método del k-vecino más cercano Nivel de emisión local
Graficar modelos probabilísticos	red bayesiana Red de Markov Modelo oculto de Markov
Redes neuronales	Máquina Boltzmann limitada mapa autoorganizado Función de activación Sigmoideo softmax Funcion de base radial Método de propagación hacia atrás Aprendizaje profundo perceptrón multicapa Red neuronal recurrente memoria a corto plazo Bloque recurrente controlado Red neuronal convolucional U-red Codificador automático
Aprendizaje reforzado	proceso de Markov Ecuación de Bellman Algoritmo codicioso Q-aprendizaje SARAS Diferencia temporal (DT)
Teoría	Teoría de Vapnik-Chervonenkis Dilema de dispersión de sesgo Teoría del aprendizaje computacional Minimización empírica del riesgo El aprendizaje de Occam aprendizaje PAC Teoría del aprendizaje estadístico
revistas y congresos	NeurIPS ICML ML JMLR ArXiv:cs.LG