Harpillera

La agregación Bootstrap , o embolsado , es un metaalgoritmo de aprendizaje automático compositivo diseñado para mejorar la estabilidad y precisión de los algoritmos de aprendizaje automático utilizados en la clasificación y regresión estadística . El algoritmo también reduce la varianza y ayuda a evitar el sobreajuste . Si bien generalmente se aplica a métodos de aprendizaje automático basados en árboles de decisión , se puede usar con cualquier tipo de método. El embolsado es un tipo particular de promedio de modelo .

Descripción de la tecnología

Si se proporciona un conjunto de entrenamiento estándar $D$ de tamaño n , el embolsado genera m nuevos conjuntos de entrenamiento , cada uno de tamaño n′ , mediante el muestreo de D uniformemente y retrocediendo . Con el retroceso, algunas observaciones pueden repetirse en cada . Si n ′= n , entonces para n grande se espera que el conjunto tenga una (1 - 1/ e ) (≈63.2 %) proporción de instancias únicas de D , siendo el resto repeticiones [1] . Este tipo de muestreo se conoce como muestreo bootstrap . Estos m modelos se suavizan utilizando las m muestras de arranque anteriores y se combinan mediante el promedio (para la regresión) o la votación (para la clasificación). $D_{yo}$ $D_{yo}$ $D_{yo}$

El embolsado conduce a "mejoras para procedimientos inestables" [2] , que incluyen, por ejemplo, redes neuronales artificiales , árboles de clasificación y regresión, y selección de subconjuntos en regresión lineal [3] . Una aplicación interesante de embolsado que muestra una mejora en el procesamiento de imágenes se muestra en artículos de Sahu, Apley y otros [4] [5] . Por otro lado, el método puede degradar ligeramente el rendimiento de los métodos estables, como los vecinos más cercanos de K [2] .

Ejemplo: Dependencia de la temperatura de la concentración de ozono

Para ilustrar los principios básicos del embolsado, a continuación se presenta un análisis de la relación entre el ozono y la temperatura (datos tomados del libro de Russevy Leroy [6] . El análisis se realizó en el lenguaje de programación R ).

La relación entre la temperatura y el ozono en este conjunto de datos obviamente no es lineal. Para describir esta relación se utilizaron suavizadores LOESS(con un ancho de banda de 0,5). En lugar de construir un suavizador único a partir de todo el conjunto de datos, se extrajeron 100 muestras de datos de arranque . Cada muestra es diferente del conjunto de datos original, pero siguen siendo iguales en distribución y varianza. Para cada muestra de bootstrap, se aplicó el suavizante LOESS. Luego se hace una predicción a partir de los datos basados en estos 100 suavizamientos. Los primeros 10 suavizados se muestran como líneas grises en la siguiente figura. Las líneas parecen ser muy onduladas y sufren de sobreajuste de datos: el resultado de la banda es demasiado pequeño.

Tomando el promedio de 100 suavizadores que se aplicaron a los subconjuntos del conjunto de datos original, obtenemos el predictor compuesto (línea roja). Está claro que la media es más robusta y no tan propensa al sobreajuste .

Historia

El embolsado (del inglés Bagging = Bootstrap aggregating ) fue propuesto por Leo Breiman en 1994 para mejorar la clasificación mediante la combinación de la clasificación de conjuntos de entrenamiento generados aleatoriamente. Ver Informe Técnico #421 [3] .

Véase también

Notas

↑ Aslam, Popa, Rivest, 2007 .
↑ 1 2 Breiman, 1996 , pág. 123–140.
↑ 1 2 Breiman, 1994 .
↑ Sahu, Runger, Apley, 2011 , pág. 1-7.
↑ Shinde, Sahu, Apley, Runger, 2014 .
↑ Rousseeuw, Leroy, 1987 , p. 84-93.

Literatura

Rousseeuw PJ, Leroy AM Regresión robusta y detección de valores atípicos. - Nueva York, Chichester, Brisbane, Toronto, Singapure: John Willey & Sons, 1987. - ISBN 0-471-85233-3 .
Javed A. Aslam, Raluca A. Popa, Ronald L. Rivest. Sobre la estimación del tamaño y la confianza de una auditoría estadística // Actas del taller de tecnología de votación electrónica (EVT '07) . — Boston, MA, 2007.
Sahu A., Runger G., Apley D. Eliminación de ruido de imágenes con un enfoque de componente principal del núcleo multifase y una versión de conjunto // Taller de reconocimiento de patrones de imágenes aplicadas de IEEE. - 2011. - S. 1-7.
Amit Shinde, Anshuman Sahu, Daniel Apley, George Runger. Preimágenes para patrones de variación de Kernel PCA y Bagging // IIE Transactions. - 2014. - T. 46 , núm. 5 .
Leo Breman. Predictores de embolsado // Machine Learning . - 1996. - T. 24 , núm. 2 . — S. 123–140 . -doi : 10.1007/ BF00058655 .
Predictores de embolsado de Breiman L. . Informe técnico No. 421. - 1994.
Alfaro E., Gámez M., García N. adabag: Un paquete R para clasificación con AdaBoost.M1, AdaBoost-SAMME y Bagging . — 2012.

Aprendizaje automático y minería de datos
Tareas	Problema de clasificación Aprender sin un maestro Aprendizaje asistido por profesores Análisis de regresión AutoML reglas de asociación Extracción de características entrenamiento de rasgos Entrenamiento de clasificación Derivación gramatical Aprender en línea
Aprendiendo con un maestro	método del k-vecino más cercano Clasificador bayesiano ingenuo árbol de decisión Máquinas de vectores soporte Regresión lineal Regresión logística perceptrón conjuntos de modelos Harpillera impulsar bosque aleatorio Método de vector relevante
análisis de conglomerados	método k-medias método de agrupamiento difuso Agrupación jerárquica algoritmo EM ABEDUL CURAR DBSCAN ÓPTICA Desplazamiento medio
Reducción de dimensionalidad	Análisis factorial Método de componentes principales CCA ICA LDA Expansión de matriz no negativa t-SNE
Pronóstico estructural	Graficar modelo probabilístico red bayesiana Modelo oculto de Markov FRC
Detección de anomalías	método del k-vecino más cercano Nivel de emisión local
Graficar modelos probabilísticos	red bayesiana Red de Markov Modelo oculto de Markov
Redes neuronales	Máquina Boltzmann limitada mapa autoorganizado Función de activación Sigmoideo softmax Funcion de base radial Método de propagación hacia atrás Aprendizaje profundo perceptrón multicapa Red neuronal recurrente memoria a corto plazo Bloque recurrente controlado Red neuronal convolucional U-red Codificador automático
Aprendizaje reforzado	proceso de Markov Ecuación de Bellman Algoritmo codicioso Q-aprendizaje SARAS Diferencia temporal (DT)
Teoría	Teoría de Vapnik-Chervonenkis Dilema de dispersión de sesgo Teoría del aprendizaje computacional Minimización empírica del riesgo El aprendizaje de Occam aprendizaje PAC Teoría del aprendizaje estadístico
revistas y congresos	NeurIPS ICML ML JMLR ArXiv:cs.LG