Entrenamiento de árboles de decisión

El entrenamiento del árbol de decisión usa el árbol de decisión (como un modelo predictivo ) para pasar de observaciones sobre objetos (representados en ramas) a inferencias sobre valores objetivo de objetos (representados en hojas). Este aprendizaje es uno de los enfoques de modelado de predicción utilizados en estadísticas , minería de datos y aprendizaje automático . Los modelos de árbol en los que la variable de destino puede tomar un conjunto discreto de valores se denominan árboles de clasificación . En estas estructuras de árbol, las hojas representan etiquetas de clase y las ramas representan conjunciones de características que conducen a esas etiquetas de clase. Los árboles de decisión en los que la variable objetivo puede tomar valores continuos (normalmente números reales ) se denominan árboles de regresión .

En el análisis de decisiones, se puede usar un árbol de decisiones para representar visual y explícitamente la toma de decisiones . En la minería de datos , un árbol de decisión describe los datos (pero el árbol de clasificación resultante puede ser una entrada para la toma de decisiones ). Esta página trata sobre los árboles de decisión en la minería de datos .

Discusión

El entrenamiento de árboles de decisión es una técnica comúnmente utilizada en la minería de datos [1] . El objetivo es crear un modelo que prediga el valor de una variable objetivo en función de algunas variables de entrada. Un ejemplo se muestra en el diagrama de la derecha. Cada nodo interno corresponde a una de las variables de entrada. Hay ventajas para los niños para cada valor posible de esta variable de entrada. Cada hoja representa el valor de la variable objetivo, que está determinada por los valores de las variables de entrada desde la raíz hasta la hoja.

Un árbol de decisión es una representación simple para ejemplos de clasificación. Para esta sección, suponga que todas las características de entrada son conjuntos discretos finitos y que hay una sola característica de destino denominada "clasificación". Cada elemento de la clasificación se denomina clase . Un árbol de decisión o árbol de clasificación es un árbol en el que cada nodo interno (no hoja) está etiquetado con una característica de entrada. Los arcos que salen del nodo etiquetado por el parámetro de entrada se etiquetan con todos los valores posibles de la característica de salida, o el arco conduce a un nodo de decisión subordinado con una característica de entrada diferente. Cada hoja del árbol está etiquetada con una clase o una distribución de probabilidad sobre clases.

Un árbol se puede "entrenar" dividiendo un conjunto en subconjuntos en función de las comprobaciones de valores de atributos. Este proceso, que se repite recursivamente en cada subconjunto resultante, se denomina partición recursiva . La recursividad finaliza cuando un subconjunto en un nodo tiene el mismo valor de variable de destino, o cuando la división no agrega valor a las predicciones. Este proceso de inducción descendente de árboles de decisión ( TDIDT ) [2] es un ejemplo de un algoritmo codicioso y es la estrategia más utilizada para aprender árboles de decisión a partir de datos.

En la minería de datos , los árboles de decisión también se pueden describir como una combinación de técnicas matemáticas y computacionales para describir, categorizar y generalizar un conjunto dado de datos.

Los datos vienen en forma de registros de la forma:

({\textbf {x}},Y)=(x_{1},x_{2},x_{3},...,x_{k},Y)

La variable dependiente Y es la variable objetivo que estamos tratando de comprender, clasificar o generalizar. El vector x se compone de características x 1 , x 2 , x 3 , etc. que se utilizan para la tarea.

Tipos de árboles de decisión

Los árboles de decisión se utilizan en la minería de datos y vienen en dos tipos principales:

Análisis de árbol de clasificación cuando la salida predicha es la clase a la que pertenecen los datos.
Análisis de árbol de regresión , cuando el resultado previsto puede considerarse un número real (por ejemplo, el precio de una casa o la duración de la estadía de un paciente en un hospital).

El término análisis de árbol de clasificación y regresión ( CART) es un término genérico y se utiliza para referirse a los dos procedimientos mencionados anteriormente, el primero de los cuales fue introducido por Breiman y otros en 1984 [3] . Los árboles utilizados para la regresión y los árboles utilizados para la clasificación tienen algunas similitudes, pero también tienen diferencias, como el procedimiento utilizado para determinar la ubicación de la división [3] .

Algunas técnicas, a menudo denominadas métodos de construcción , construyen más de un árbol de decisión:

Trees creauna entrenando cada nueva instancia, con énfasis en las instancias de entrenamiento que no se incluyeron previamente en el modelo. Un ejemplo típico esAdaBoost. Esto se puede utilizar tanto para problemas de tipo regresión como para problemas de clasificación [4] [5] .
Empaquetado de árboles de decisión , un método de ensamblaje temprano que crea múltiples árboles de decisión al volver a muestrear datos de entrenamiento con árboles de reemplazo y votación para que coincidan con la predicción [6] .
- El clasificador de bosque aleatorio es un tipo específico de embolsado .
Un bosque rotacional es un enfoque en el que cada árbol de decisión se entrena primero mediante el análisis de componentes principales ( PCA) en un subconjunto aleatorio de características de entrada [7] .

Un caso especial de árboles de decisión es la lista de decisiones [8] , que es un árbol de decisión unidireccional en el que cualquier nodo interno tiene exactamente 1 hoja y exactamente 1 nodo interno como hijo (excepto el nodo inferior, cuyo hijo único es una hoja). Aunque estas listas son menos expresivas, son más fáciles de entender que los árboles de decisión generales debido a su escasez, lo que permite métodos de aprendizaje no codiciosos [9] y también permite restricciones monotónicas [10] .

El entrenamiento del árbol de decisión es la construcción de un árbol de decisión a partir de tuplas de entrenamiento etiquetadas por clase. Un árbol de decisión es una estructura similar a un diagrama de flujo en la que cada nodo interno (no hoja) representa una prueba de atributo, cada rama representa un resultado de prueba y cada hoja (nodo terminal) contiene una etiqueta de clase. El vértice superior es el nodo raíz.

Hay muchos algoritmos de árboles de decisión. Los más notables son:

ID3 ( ing. Dicotómico iterativo 3 )
C4.5 (sucesor del algoritmo ID3)
Clasificación y regresión mediante la construcción de un árbol de decisión. ( Árbol de clasificación y regresión en inglés , CART)
Detección automática de dependencias por el criterio chi-cuadrado ( CHi -squared Automatic Interaction Detector , CHAID ). Realiza divisiones multinivel al calcular árboles de clasificación [11] .
Splines de regresión adaptativa multivariante ( ing. Splines de regresión adaptativa multivariante , MARS): expande los árboles de decisión para un mejor procesamiento de datos cuantitativos.
Árboles de inferencia condicional . Un enfoque basado en estadísticas que utiliza pruebas no paramétricas como un criterio dividido, ajustado para múltiples pruebas para evitar el sobreajuste. Este enfoque da como resultado la elección de un predictor imparcial y no requiere poda [12] [13] .

ID3 y CART se desarrollaron de forma independiente y casi al mismo tiempo (entre 1970 y 1980), pero utilizan enfoques similares para entrenar un árbol de decisión a partir de tuplas de entrenamiento.

Métricas

Los algoritmos de construcción de árboles de decisión generalmente funcionan de arriba hacia abajo eligiendo una variable en cada paso que mejor divida el conjunto de elementos [14] . Diferentes algoritmos usan diferentes métricas para medir la "mejor" solución. Suelen medir la homogeneidad de la variable objetivo en subconjuntos. A continuación se dan algunos ejemplos. Estas métricas se aplican a cada subconjunto y los valores resultantes se combinan (por ejemplo, se calcula un promedio) para obtener una medida de la calidad de la partición.

Impureza (criterio) Gini

Utilizado en el algoritmo del árbol de clasificación y regresión (CART) , el criterio de Gini es una medida de la frecuencia con la que un elemento seleccionado aleatoriamente de un conjunto se etiqueta incorrectamente si se etiqueta aleatoriamente de acuerdo con la distribución de etiquetas en un subconjunto. El criterio de Gini se puede calcular sumando la probabilidad de un elemento con una etiqueta seleccionada multiplicada por la probabilidad de un error de categorización para ese elemento. El criterio acepta un mínimo (cero) cuando todos los casos en un nodo caen en la misma categoría objetivo. $Pi}$ $i$ ${\displaystyle \sum _{k\neq i}p_{k}=1-p_{i))$

Para calcular el criterio de Gini para un conjunto de elementos con clases, suponga que , y sea la proporción de elementos etiquetados con una clase en el conjunto. $j$ ${\ estilo de visualización i \ en \ {1,2,..., J\))$ $Pi}$ $i$

\operatorname {I}_{G}(p)=\sum_{i=1}^{J}p_{i}\sum_{k\neq i}p_{k}=\sum__ i=1}^{J}p_{i}(1-p_{i})=\sum _{i=1}^{J}(p_{i}-{p_{i}}^{2}) =\sum_{i=1}^{J}p_{i}-\sum_{i=1}^{J}{p_{i}}^{2}=1-\sum_{i=1 }^{J}{p_{i}}^{2}

Ganancia de información

En los algoritmos de generación de árboles ID3 , C4.5 y C5.0. se utiliza la ganancia de información , que se basa en el concepto de entropía y la cantidad de información de la teoría de la información .

La entropía se define de la siguiente manera

\mathrm {H} (T)=\operatorname {I}_{E}\left(p_{1},p_{2},...,p_{J}\right)=-\sum _ {i=1}^{J}{p_{i}\log _{2}p_{i}}

donde son fracciones que suman 1, que representan el porcentaje de cada clase obtenido de una división en el árbol [15] . $p_{1},p_{2},...$

yo GRAMO ( T , a ) ⏞ Ganancia de información = H ( T ) ⏞ Entropía (padre) − H ( T | a ) ⏞ Suma ponderada de entropía (niños) {\displaystyle \overbrace {IG(T,a)} ^{\text{Ganancia de información}}=\overbrace {\mathrm {H} (T)} ^{\text{Entropía (principal)))-\overbrace { \mathrm {H} (T|a)} ^{\text{Suma ponderada de entropía (niños)}}}

\overbrace {IG(T,a)} ^{\text{Ganancia de información}}=\overbrace {\mathrm {H} (T)} ^{\text{Entropía (principal)))-\overbrace { \mathrm {H} (T|a)} ^{\text{Suma ponderada de entropía (niños)}}

=-\sum_{i=1}^{J}p_{i}\log_{2}{p_{i}}-\sum_{a}{p(a)\sum_{i =1}^{J}-\Pr(i|a)\log _{2}{\Pr(i|a)))

en la fórmula

Ganancia de información = Ganancia de información
Entropía (padre)=Entropía (padre)
Suma ponderada de entropía (niños) = Suma ponderada de entropía (niños)

La ganancia de información se usa para decidir qué función usar para dividir en cada paso de la construcción del árbol. La simplicidad es la mejor opción, por lo que queremos que el árbol sea pequeño. Para hacer esto, en cada paso debemos elegir una división que conduzca a los nodos descendientes más simples. Una medida de simplicidad comúnmente utilizada se denomina información , que se mide en bits . Para cada nodo del árbol, el valor de la información "representa el número esperado que se necesita para determinar si el nuevo objeto debe clasificarse como sí o no, dado que el ejemplo llega a ese nodo"" [15] .

Considere un conjunto de datos de ejemplo con cuatro atributos: clima (soleado, nublado, lluvia), temperatura (caliente, templado, frío), humedad (alta, normal) y viento (sí, no) con una variable objetivo binaria (sí o no) juego y 14 puntos de datos. Para construir un árbol de decisión basado en estos datos, necesitamos comparar la ganancia de información de cada uno de los cuatro árboles, en los que se divide según una de las cuatro características. La división con la máxima ganancia de información se toma como la primera división y el proceso continúa hasta que todos los descendientes sean primos o hasta que la ganancia de información sea cero.

Una división utilizando la característica viento da como resultado dos nodos secundarios, un nodo para la característica viento con valor sí y un nodo con valor no . Hay seis puntos de datos en este conjunto de datos con un valor de sí para el viento , tres para el juego de valor objetivo de sí y tres de valor no . Los ocho puntos de datos restantes para el parámetro de viento con un valor de no contienen dos no y seis sí . La información del nodo viento = sí se calcula utilizando la ecuación de entropía anterior. Como hay un número igual de sí y no en este nodo, tenemos

I_{E}([3,3])=-{\frac {3}{6}}\log _{2}^{}{\frac {3}{6}}-{\frac { 3}{6}}\log _{2}^{}{\frac {3}{6}}=-{\frac {1}{2}}\log _{2}^{}{\frac { 1}{2}}-{\frac{1}{2}}\log _{2}^{}{\frac{1}{2}}=1

Para un nodo con viento = no, hubo ocho puntos de datos, seis con un objetivo de sí y dos sin . Así tenemos

I_{E}([6,2])=-{\frac {6}{8}}\log _{2}^{}{\frac {6}{8}}-{\frac { 2}{8}}\log _{2}^{}{\frac {2}{8}}=-{\frac {3}{4}}\log _{2}^{}{\frac { 3}{4}}-{\frac {1}{4}}\log _{2}^{}{\frac {1}{4}}=0,8112781

Para encontrar la información dividida , calculamos el promedio ponderado de estos dos números según la cantidad de observaciones que cayeron en cada nodo.

{\displaystyle I_{E}([3,3],[6,2])=I_{E))

(viento - si o no)

={\frac {6}{14}}\cdot 1+{\frac {8}{14}}\cdot 0,8112781=0,8921589

Para encontrar la ganancia de información de una división usando viento , debemos calcular la información en los datos antes de la división. Los datos iniciales contenían nueve sí y cinco no .

I_{E}([9,5])=-{\frac {9}{14}}\log _{2}^{}{\frac {9}{14}}-{\frac { 5}{14}}\log _{2}{\frac {5}{14}}=0,940286

Ahora podemos calcular la ganancia de información obtenida al dividir según el atributo del viento .

{\ estilo de visualización IG}

(viento)

=I_{E}([9,5])-I_{E}([3,3],[6,2])=0,940286-0,8921589=0,0481271

Para construir un árbol, necesitamos calcular la ganancia de información de cada posible primera división. La mejor primera división es la que proporciona la mayor ganancia de información. Este proceso se repite para cada nodo (con características mixtas) hasta que se construye el árbol. Este ejemplo está tomado de un artículo de Witten, Frank y Hall [15] .

Reduciendo la varianza

La reducción de varianza presentada en CART [3] se usa a menudo en casos donde la variable objetivo es continua (árbol de regresión), lo que significa que el uso de muchas otras métricas requeriría un muestreo antes de la aplicación. La reducción de la varianza de un nodo N se define como la reducción general de la varianza de la variable objetivo x como consecuencia de la división en ese nodo:

I_{V}(N)={\frac {1}{|S|^{2}}}\sum _{i\in S}\sum _{j\in S}{\frac {1 {2}}(x_{i}-x_{j})^{2}-\left({\frac {1}{|S_{t}|^{2}}}\sum_{i\in S_{t}}\sum_{j\in S_{t}}{\frac {1}{2}}(x_{i}-x_{j})^{2}+{\frac {1}{ |S_{f}|^{2}}}\sum_{i\in S_{f}}\sum_{j\in S_{f}}{\frac {1}{2}}(x_{i }-x_{j})^{2}\derecho)

donde , y son el conjunto de índices antes de la división, el conjunto de índices para los que la prueba se evalúa como verdadero y el conjunto de índices para los que la prueba se evalúa como falso, respectivamente. Cada uno de los términos anteriores es una estimación de la magnitud de la desviación , aunque escrita sin referencia directa a la media. $S$ $S t$ $S_{f}$

Aplicación

Beneficios

Entre otros métodos de análisis de datos, los árboles de decisión tienen una serie de ventajas:

Fácil de entender e interpretar. Las personas pueden comprender los modelos de árboles de decisión después de una breve explicación. Los árboles se pueden representar gráficamente de tal manera que sean fáciles de interpretar sin ser un experto [16] .
Capaz de trabajar con datos numéricos y cualitativos [16] . Otros técnicos suelen especializarse en analizar datos que tienen un solo tipo de variable. (Por ejemplo, las reglas de relación solo se pueden usar con variables categóricas, mientras que las redes neuronales solo se pueden usar con variables numéricas (cantidad) o escaladas a valores 0/1).
Requiere poca preparación de datos. Otras técnicas a menudo requieren que los datos se normalicen. Dado que los árboles pueden manejar variables cualitativas independientes, no es necesario crear variables ficticias [16] .
Utiliza un modelo de caja blanca . Si la situación dada es observable en el modelo, las condiciones se explican fácilmente mediante lógica booleana. En cambio, en un modelo de caja negra , la explicación de los resultados suele ser difícil de entender, por ejemplo, debido al uso de una red neuronal artificial .
Puede verificar la corrección del modelo mediante pruebas estadísticas. Esto permite comprobar la validez del modelo.
Un enfoque no estadístico que no hace suposiciones sobre los datos de entrenamiento o las varianzas de predicción. Por ejemplo, no se hacen suposiciones sobre la distribución, independencia o constancia de la varianza
Funciona bien con grandes conjuntos de datos. Se puede analizar una gran cantidad de datos con recursos informáticos estándar en un tiempo razonable.
Refleja la toma de decisiones humanas más de cerca que otros enfoques [16] . Esto puede ser útil al modelar decisiones humanas y comportamiento humano.
Más resistente a la colinealidad.
Según la selección de características realizada . Las características inútiles adicionales se utilizarán en menor medida para que puedan eliminarse de las ejecuciones posteriores.
Los árboles de decisión se pueden aproximar mediante cualquier función booleana equivalente a XOR [17] .

Restricciones

Los árboles pueden ser significativamente inestables. Pequeños cambios en los datos de entrenamiento pueden conducir a cambios significativos en el árbol y eventualmente a las predicciones finales [16] .
Se sabe que el problema de aprender a un árbol de decisión óptimo es NP-completo con respecto a algunas cuestiones de optimización e incluso para conceptos simples [18] [19] . Como consecuencia, los algoritmos prácticos de aprendizaje del árbol de decisiones se basan en heurísticas como el algoritmo voraz , en el que se toman decisiones locales óptimas para cada nodo. Dichos algoritmos no pueden garantizar un árbol de decisión globalmente óptimo. Para reducir el efecto de la optimización local, se proponen algunos métodos, como el árbol de distancia de información dual ( DID ) [ 20] .

El entrenamiento del árbol de decisión puede crear árboles demasiado complicados que no se generalizan bien a partir de los datos de entrenamiento (lo que se conoce como sobreajuste [21] ). Mecanismos como el recorte se vuelven necesarios para evitar este problema (con la excepción de algunos algoritmos, enfoques como la Inferencia Condicional que no requieren recorte) [ 12] [13] .
Para datos que tienen variables cualitativas con diferente número de niveles , la ganancia de información en el árbol de decisión se desplaza hacia atributos con niveles más altos [22] . Sin embargo, el problema del sesgo utilizando inferencia condicional [12] , enfoque en dos etapas [23] o selección de características adaptativas para objetos individuales [24] .

Implementaciones

Muchos paquetes de minería de datos implementan uno o más algoritmos de árboles de decisión.

Algunos ejemplos son Salford Systems CART (que obtuvo la licencia del código propietario de los autores originales de CART) [3] , IBM SPSS Modeler , RapidMiner , SAS Enterprise Miner , Matlab , R (software de código abierto para computación estadística , que incluye varias implementaciones de CART, como los paquetes rpart, party y randomForest), Weka (un paquete de minería de datos de código abierto que contiene muchos algoritmos de árboles de decisión), Orange , KNIME , Microsoft SQL Server [1] y scikit -learn (una biblioteca de Python gratuita y de código abierto para el aprendizaje automático).

Extensiones

Gráficos de decisión

En un árbol de decisión, todas las rutas desde el nodo raíz hasta una hoja pasan por una conjunción ( Y ). En el gráfico de decisión, es posible utilizar la disyunción ( OR ) para combinar caminos utilizando un mensaje de longitud mínima ( inglés. Minimal message length , MML) [25] . Los gráficos de decisión se amplían aún más con la resolución de atributos que no se usaban anteriormente para entrenarlos dinámicamente y usarlos en varios lugares del gráfico [26] . Un esquema de codificación más general da como resultado mejores predicciones y rendimiento de pérdida de registros. En general, los gráficos de decisión producen modelos con menos hojas que los árboles de decisión.

Métodos de búsqueda alternativos

Se han utilizado algoritmos evolutivos para eliminar soluciones óptimas locales y buscar árboles de decisión con un sesgo anterior más pequeño [27] [28] .

Los árboles se pueden simplificar utilizando el método de Monte Carlo para cadenas de Markov ( cadena de Markov Monte Carlo , MCMC) [29] .

El árbol se puede ver de abajo hacia arriba [30] .

Véase también

Poda de árboles de decisión
Diagrama de decisión binaria
CHAID
CARRO
ID3 (algoritmo)
Algoritmo C4.5
Tocones decisivos , utilizados, por ejemplo, en el algoritmo AdaBoost
Lista de soluciones
Árboles de decisión incrementales
Árboles de decisión intercalados
Análisis de datos estructurados
Árbol modelo logístico
Agrupación jerárquica

Notas

↑ Rokach, Maimón, 2008 .
↑ Quinlan, 1986 , pág. 81-106.
↑ 1 2 3 4 Breiman, Friedman, Olshen, Stone, 1984 .
↑ Friedman, 1999 .
↑ Hastie, Tibshirani, Friedman, 2001 .
↑ Breiman, 1996 , pág. 123–140.
↑ Rodríguez, Kuncheva, Alonso, 2006 , p. 1619-1630.
↑ Rivest, 1987 , pág. 229–246.
↑ Letham, Rudin, McCormick, Madigan, 2015 , pág. 1350-1371.
↑ Wang, Rudin, 2015 .
↑ Kass, 1980 , pág. 119–127.
↑ 1 2 3 Hothorn, Hornik, Zeileis, 2006 , pág. 651–674.
↑ 1 2 Strobl, Malley, Tutz, 2009 , pág. 323–348.
↑ Rokach, Maimón, 2005 , pág. 476–487.
↑ 1 2 3 Witten, Frank, Hall, 2011 , pág. 102–103.
↑ 1 2 3 4 5 Gareth, Witten, Hastie, Tibshirani, 2015 , pág. 315.
↑ Mehtaa, Raghavan, 2002 , pág. 609–623.
↑ Hyafil, Rivest, 1976 , pág. 15–17.
↑ Murthy, 1998 .
↑ Ben-Gal, Dana, Shkolnik, Singer, 2014 , pág. 133–147.
↑ Bramer, 2007 .
↑ Deng, Runger, Tuv, 2011 , pág. 293–300.
↑ Brandmaier, von Oertzen, McArdle, Lindenberger, 2012 , pág. 71–86.
↑ Painsky y Rosset, 2017 , pág. 2142-2153.
↑ CiteSeerX . Consultado el 2 de enero de 2019. Archivado desde el original el 21 de marzo de 2008. (indefinido)
↑ Bronceado y Dowe (2003) . Consultado el 2 de enero de 2019. Archivado desde el original el 28 de mayo de 2016. (indefinido)
↑ Papagelis, Kalles, 2001 , pág. 393–400.
↑ Barros, Basgalupp, Carvalho, Freitas, 2012 , p. 291–312.
↑ Chipman, George, McCulloch, 1998 , pág. 935–948.
↑ Barros, Cerri, Jaskowiak, Carvalho, 2011 , p. 450–456.

Literatura

Lior Rokach, Maimon O. Minería de datos con árboles de decisión: teoría y aplicaciones. - World Scientific Pub Co Inc, 2008. - ISBN 978-9812771711 .
Quinlan JR Inducción de árboles de decisión // Aprendizaje automático. - Editores académicos de Kluwer, 1986. - Vol. 1 . - S. 81-106 .
Leo Breiman, Friedman JH, Olshen RA, Stone CJ Árboles de clasificación y regresión. - Monterey, CA: Wadsworth & Brooks/Cole Advanced Books & Software, 1984. - ISBN 978-0-412-04841-8 .
Friedman JH Aumento de gradiente estocástico . — Universidad de Stanford, 1999.
Hastie T., Tibshirani R., Friedman JH Los elementos del aprendizaje estadístico: minería de datos, inferencia y predicción. — 2do. - Nueva York: Springer Verlag, 2001. - (Serie Springer en Estadística). - ISBN 978-0-387-84857-0 .
Breiman L. Predictores de embolsado // Aprendizaje automático. - 1996. - T. 24 , núm. 2 . -doi : 10.1007/ BF00058655 .
Rodriguez JJ, Kuncheva LI, Alonso CJ Rotation forest: Un nuevo método de conjunto clasificador // IEEE Transactions on Pattern Analysis and Machine Intelligence. - 2006. - T. 28 , núm. 10 _ -doi : 10.1109/ TPAMI.2006.211 . —PMID 16986543 .
Ron Rivest. Listas de decisiones de aprendizaje // Aprendizaje automático. - 1987. - noviembre ( vol. 3 , número 2 ). -doi : 10.1023/A : 1022607331053 .
Ben Letham, Cynthia Rudin, Tyler McCormick, David Madigan. Clasificadores interpretables mediante reglas y análisis bayesiano: creación de un mejor modelo de predicción de accidentes cerebrovasculares // Annals of Applied Statistics. - 2015. - T. 9 , núm. 3 . -doi : 10.1214 / 15-AOAS848 . -arXiv : 1511.01644 . _
Fulton Wang, Cynthia Rudin. Listas de reglas descendentes // Journal of Machine Learning Research. - 2015. - T. 38 .
Kass GV - 1980. - T. 29 , núm. 2 . -doi : 10.2307/ 2986296 . — .
Hothorn T., Hornik K., Zeileis A. Partición recursiva imparcial: un marco de inferencia condicional // Journal of Computational and Graphical Statistics. - 2006. - T. 15 , núm. 3 . -doi : 10.1198 / 106186006X133933 . — .
Strobl C., Malley J., Tutz G. Introducción a la partición recursiva: justificación, aplicación y características de los árboles de clasificación y regresión, embolsado y bosques aleatorios // Métodos psicológicos. - 2009. - T. 14 , núm. 4 . -doi : 10.1037/ a0016973 . —PMID 19968396 .
Rokach L., Maimon O. Inducción de arriba hacia abajo de clasificadores de árboles de decisión: una encuesta // IEEE Transactions on Systems, Man, and Cybernetics, Part C. - 2005. - Vol. 35 , no. 4 . -doi : 10.1109/ TSMCC.2004.843247 .
Ian Witten, Eibe Frank, Mark Hall. procesamiento de datos. - Burlington, MA: Morgan Kaufmann, 2011. - ISBN 978-0-12-374856-0 .
Max Bramer. Principios de Minería de Datos. - Springer-Verlag, 2007. - (Temas de Pregrado en Informática). — ISBN 978-1-84628-765-7 . -doi : 10.1007 / 978-1-84628-766-4 .
James Gareth, Daniela Witten, Trevor Hastie, Robert Tibshirani. Una introducción al aprendizaje estadístico. — Nueva York: Springer, 2015. — ISBN 978-1-4614-7137-0 .
Dinesh Mehtaa, Vijay Raghavan. Aproximaciones de árboles de decisión de funciones booleanas // Ciencias de la Computación Teórica. - 2002. - T. 270 , núm. 1–2 . — S. 609–623 . - doi : 10.1016/S0304-3975(01)00011-1 .
Laurent Hyafil, Rivest RL La construcción de árboles de decisión binarios óptimos es NP-completo // Cartas de procesamiento de información. - 1976. - V. 5 , núm. 1 . — P. 15–17 . - doi : 10.1016/0020-0190(76)90095-8 .
Murthy S. Construcción automática de árboles de decisión a partir de datos: una encuesta multidisciplinaria // Minería de datos y descubrimiento de conocimiento. — 1998.

Irad Ben-Gal, Alexandra Dana, Niv Shkolnik, Gonen Singer. Construcción Eficiente de Árboles de Decisión por el Método de la Distancia de Información Dual // Tecnología de la Calidad y Gestión Cuantitativa. - 2014. - T. 11 , núm. 1 . — págs. 133–147 .
Deng H., Runger G., Tuv E. Medidas de sesgo de importancia para atributos y soluciones de múltiples valores // Actas de la 21.ª Conferencia Internacional sobre Redes Neuronales Artificiales (ICANN) . - 2011. - S. 293-300.
Andreas M. Brandmaier, Timo von Oertzen, John J. McArdle, Ulman Lindenberger. Árboles de modelos de ecuaciones estructurales. // Métodos Psicológicos. - 2012. - T. 18 , núm. 1 . — págs. 71–86 . -doi : 10.1037/ a0030001 . —PMID 22984789 .
Amichai Painsky, Saharon Rosset. La selección de variables con validación cruzada en métodos basados en árboles mejora el rendimiento predictivo // Transacciones IEEE en análisis de patrones e inteligencia artificial. - 2017. - T. 39 , núm. 11 _ — S. 2142–2153 . -doi : 10.1109/ TPAMI.2016.2636831 . — PMID 28114007 .
Papagelis A., Kalles D. Reproducción de árboles de decisión mediante técnicas evolutivas // Actas de la Decimoctava Conferencia Internacional sobre Aprendizaje Automático, 28 de junio al 1 de julio de 2001. - 2001. - P. 393-400.
Rodrigo C. Barros, Basgalupp MP, Carvalho ACPLF, Alex A. Freitas. Una encuesta de algoritmos evolutivos para la inducción de árboles de decisión // Transacciones IEEE en sistemas, hombre y cibernética. - 2012. - T. 42 , núm. 3 . — S. 291–312 . -doi : 10.1109/ TSMCC.2011.2157494 .
Hugh A. Chipman, Edward I. George, Robert E. McCulloch. Búsqueda del modelo CART bayesiano // Revista de la Asociación Estadounidense de Estadística. - 1998. - T. 93 , núm. 443 . — S. 935–948 . -doi : 10.1080/ 01621459.1998.10473750 .
Barros RC, Cerri R., Jaskowiak PA, Carvalho ACPLF Un algoritmo de inducción de árbol de decisión oblicuo ascendente // Actas de la 11.ª Conferencia internacional sobre diseño y aplicaciones de sistemas inteligentes (ISDA 2011). - 2011. - S. 450-456. — ISBN 978-1-4577-1676-8 . -doi : 10.1109/ ISDA.2011.6121697 .

Lectura para leer más

Gareth James, Daniela Witten, Trevor Hastie, Robert Tibshirani. Métodos basados en árboles // Introducción al aprendizaje estadístico: con aplicaciones en R. - Nueva York: Springer, 2017. - págs. 303–336. — ISBN 978-1-4614-7137-0 .

Enlaces

Creación de árboles de decisión en Python de O'Reilly.
Un apéndice a "Creación de árboles de decisión en Python" de O'Reilly.
Tutorial de árboles de decisión usando Microsoft Excel.
Página de Decision Trees en aitopics.org , una página con enlaces comentados.
Implementación de árboles de decisión en Ruby (AI4R)
Árbol de decisión profundo | Implementación
Aprendizaje evolutivo de árboles de decisión en C++
Implementación Java de árboles de decisión basados en ganancia de información
Una explicación muy detallada de la ganancia de información como criterio de división

Aprendizaje automático y minería de datos
Tareas	Problema de clasificación Aprender sin un maestro Aprendizaje asistido por profesores Análisis de regresión AutoML reglas de asociación Extracción de características entrenamiento de rasgos Entrenamiento de clasificación Derivación gramatical Aprender en línea
Aprendiendo con un maestro	método del k-vecino más cercano Clasificador bayesiano ingenuo árbol de decisión Máquinas de vectores soporte Regresión lineal Regresión logística perceptrón conjuntos de modelos Harpillera impulsar bosque aleatorio Método de vector relevante
análisis de conglomerados	método k-medias método de agrupamiento difuso Agrupación jerárquica algoritmo EM ABEDUL CURAR DBSCAN ÓPTICA Desplazamiento medio
Reducción de dimensionalidad	Análisis factorial Método de componentes principales CCA ICA LDA Expansión de matriz no negativa t-SNE
Pronóstico estructural	Graficar modelo probabilístico red bayesiana Modelo oculto de Markov FRC
Detección de anomalías	método del k-vecino más cercano Nivel de emisión local
Graficar modelos probabilísticos	red bayesiana Red de Markov Modelo oculto de Markov
Redes neuronales	Máquina Boltzmann limitada mapa autoorganizado Función de activación Sigmoideo softmax Funcion de base radial Método de propagación hacia atrás Aprendizaje profundo perceptrón multicapa Red neuronal recurrente memoria a corto plazo Bloque recurrente controlado Red neuronal convolucional U-red Codificador automático
Aprendizaje reforzado	proceso de Markov Ecuación de Bellman Algoritmo codicioso Q-aprendizaje SARAS Diferencia temporal (DT)
Teoría	Teoría de Vapnik-Chervonenkis Dilema de dispersión de sesgo Teoría del aprendizaje computacional Minimización empírica del riesgo El aprendizaje de Occam aprendizaje PAC Teoría del aprendizaje estadístico
revistas y congresos	NeurIPS ICML ML JMLR ArXiv:cs.LG