Clasificador bayesiano ingenuo

La versión actual de la página aún no ha sido revisada por colaboradores experimentados y puede diferir significativamente de la versión revisada el 2 de agosto de 2019; las comprobaciones requieren 6 ediciones .

Un clasificador de Bayes ingenuo es un clasificador probabilístico simple basado en la aplicación del teorema de Bayes con supuestos de independencia estrictos (ingenuos) .

Dependiendo de la naturaleza precisa del modelo probabilístico, los clasificadores Naive Bayes se pueden entrenar de manera muy eficiente. Muchas aplicaciones prácticas utilizan el método de máxima verosimilitud para estimar parámetros para modelos bayesianos ingenuos ; en otras palabras, se puede trabajar con un modelo bayesiano ingenuo sin creer en la probabilidad bayesiana y sin usar métodos bayesianos.

A pesar de su apariencia ingenua y, sin duda, términos muy simplistas, los clasificadores Naive Bayes a menudo funcionan mucho mejor que las redes neuronales en muchas situaciones complejas de la vida real.

La ventaja del clasificador naive Bayes es la pequeña cantidad de datos necesarios para el entrenamiento, la estimación de parámetros y la clasificación.

Modelo de clasificador Naive Bayes

El modelo probabilístico para el clasificador es un modelo condicional

p(C\mid F_{1},\dots,F_{n})

sobre variable de clase dependiente con pocos resultados o clases , dependiente de pocas variables . El problema es que cuando la cantidad de propiedades es muy grande, o cuando una propiedad puede tomar una gran cantidad de valores, se vuelve imposible construir tal modelo en tablas de probabilidad. Por lo tanto, reformularemos el modelo para que sea fácil de procesar. $C$ ${\displaystyle F_{1},\ldots,F_{n))$ $norte$

Usando el teorema de Bayes , escribimos

p(C\mid F_{1},\dots ,F_{n})={\frac {p(C)\ p(F_{1},\dots ,F_{n}\mid C)} {p(F_{1},\puntos,F_{n})}}.

En la práctica, solo interesa el numerador de esta fracción, ya que el denominador no depende y los valores de las propiedades están dados, por lo que el denominador es una constante. $C$ $F_{yo}$

El numerador es equivalente a la probabilidad conjunta del modelo

p(C,F_{1},\dots,F_{n})

que se puede reescribir de la siguiente manera, usando aplicaciones repetidas de las definiciones de probabilidad condicional :

p(C,F_{1},\dots,F_{n})=

=p(C)\ p(F_{1},\dots,F_{n}\mid C)=

=p(C)\ p(F_{1}\mid C)\ p(F_{2},\dots,F_{n}\mid C,F_{1})=

=p(C)\ p(F_{1}\mid C)\ p(F_{2}\mid C,F_{1})\ p(F_{3},\dots,F_{n} \mid C,F_{1},F_{2})=

=p(C)\ p(F_{1}\mid C)\ p(F_{2}\mid C,F_{1})\cdot \ldots \cdot p(F_{n}\mid C ,F_{1},F_{2},F_{3},\puntos ,F_{n-1})

y así sucesivamente Ahora podemos usar los supuestos "ingenuos" de la independencia condicional : suponga que cada propiedad es condicionalmente independiente de cualquier otra propiedad en . Significa: $F_{yo}$ $F_{j}$ $j\neq yo$

p(F_{i}\mid C,F_{j})=p(F_{i}\mid C)

por lo que el modelo conjunto se puede expresar como:

p(C,F_{1},\dots,F_{n})=p(C)\ p(F_{1}\mid C)\ p(F_{2}\mid C)\ p( F_{3}\mid C)\cdot \ldots \cdot p(F_{n}\mid C)=

=p(C)\prod _{i=1}^{n}p(F_{i}\mid C).

Esto significa que, bajo el supuesto de independencia, la distribución condicional sobre la variable de clase se puede expresar como: $C$

p(C\mid F_{1},\dots ,F_{n})={\frac {1}{Z}}p(C)\prod _{i=1}^{n}p( F_{i}\mid C)

donde es un factor de escala que depende solo de , es decir, una constante si se conocen los valores de las variables. $Z=p(F_{1},\puntos,F_{n})$ $F_{1},\puntos,F_{n}$

Estimación de Parámetros

Todos los parámetros del modelo se pueden aproximar mediante frecuencias relativas del conjunto de datos de entrenamiento. Estas son las estimaciones de máxima verosimilitud de las probabilidades. Las propiedades continuas generalmente se evalúan a través de la distribución normal. Las estadísticas se calculan como la expectativa matemática y la varianza: la media aritmética y la desviación estándar, respectivamente.

Si la clase dada y el valor de propiedad nunca ocurren juntos en el conjunto de entrenamiento, entonces la puntuación basada en probabilidades será cero. Esto es un problema, ya que al multiplicar, una estimación cero resultará en la pérdida de información sobre otras probabilidades. Por lo tanto, es preferible hacer pequeños ajustes a todas las estimaciones de probabilidad para que ninguna probabilidad sea estrictamente cero.

Construcción de un clasificador basado en un modelo probabilístico

Un clasificador naive bayes combina un modelo con una regla de decisión. Una regla general es elegir la hipótesis más probable; se conoce como la regla de decisión a posteriori ( MAP ). El clasificador correspondiente es una función definida de la siguiente manera: ${\mathrm {clasificar}}$

\operatorname {clasificar} (f_{1},\dots,f_{n})=\arg \max _{c}p(C=c)\prod _{i=1}^{n}p (F_{i}=f_{i}\mid C=c)

Ejemplo: filtrado de spam

Consideremos un ejemplo simple de aplicar un clasificador de Bayes ingenuo al problema de clasificar documentos por su contenido, es decir, clasificar correos electrónicos en dos clases: spam ( ) y no spam ( ). $S$ $\neg S$

Supondremos que los documentos se seleccionan de varias clases de documentos, que pueden representarse mediante un conjunto de palabras con una probabilidad (independiente) de que la i -ésima palabra de un documento dado se encuentre en un documento de clase C :

p(w_{i}\mid C)

(Para este problema, suponga que la probabilidad de que aparezca una palabra en un documento es independiente de la longitud del documento y que todos los documentos tienen la misma longitud).

Entonces la probabilidad para un documento D dado y clase C

p(D\mid C)=\prod_{i}p(w_{i}\mid C)

La pregunta que queremos responder es "¿cuál es la probabilidad de que un documento D dado pertenezca a la clase C ?". En otras palabras, ¿qué es igual a ? $p(C\mid D)$

Según el teorema de Bayes

p(C\mid D)={p(C) \over p(D)}\,p(D\mid C)

Supongamos que tenemos solo dos clases: S y ¬S ( por ejemplo, spam y no spam). Después

p(S\mid D)={p(S) \over p(D)}\,\prod _{i}p(w_{i}\mid S)

p(\neg S\mid D)={p(\neg S) \over p(D)}\,\prod _{i}p(w_{i}\mid \neg S)

Dividiendo uno por el otro, obtenemos la razón de verosimilitud

{p(S\mid D) \over p(\neg S\mid D)}={p(S) \over p(\neg S)}\,\prod _{i}{p(w_ {i}\mid S) \over p(w_{i}\mid \neg S)}

o (para log-verosimilitud )

\ln {p(S\mid D) \over p(\neg S\mid D)}=\ln {p(S) \over p(\neg S)}+\sum _{i}\ ln {p(w_{i}\mid S) \over p(w_{i}\mid \neg S)}

La probabilidad real se puede calcular a partir de la observación de que . Para hacer esto, es necesario formar un espacio de probabilidad a partir de la función de verosimilitud $p(S\mid D)$ ${\displaystyle \ln {p(S\mid D) \over p(\neg S\mid D)))$ $p(S\mid D)+p(\neg S\mid D)=1$

p(S\mid D)={\frac {e^{q}}{1+e^{q}}}

, dónde

{\displaystyle q=\ln {p(S\mid D) \over p(\neg S\mid D)))

Finalmente, el documento se puede clasificar comparando el logaritmo de verosimilitud con algún umbral h (p. ej., h=0). Tenemos spam si

\ln {p(S\mid D) \over p(\neg S\mid D)}>h

Véase también

Enlaces

Domingos, Pedro & Michael Pazzani (1997) "Sobre la optimización del clasificador bayesiano simple bajo pérdida cero". Aprendizaje automático , 29:103-137. (también en línea en CiteSeer : [1] )
Rish, Irina. (2001). "Un estudio empírico del clasificador ingenuo de Bayes". IJCAI 2001 Taller de Métodos Empíricos en Inteligencia Artificial. (disponible en línea: PDF archivado el 10 de diciembre de 2017 en Wayback Machine , PostScript )
Mano, DJ y Yu, K. (2001). "Idiot's Bayes, ¿no tan estúpido después de todo?" Revista Estadística Internacional. Vol 69 parte 3, páginas 385-399. ISSN 0306-7734 .
Mozina M, Demsar J, Kattan M y Zupan B. (2004). "Nomogramas para la visualización del clasificador bayesiano ingenuo". En Proc. de PKDD-2004, páginas 337-348. (disponible en línea: PDF (enlace no disponible desde el 13-05-2013 [3458 días] -historia) )
Maron, ME (1961). "Indización automática: una investigación experimental". Revista de la ACM (JACM) 8(3):404-417. (disponible en línea: PDF )
Minsky, M. (1961). "Pasos hacia la Inteligencia Artificial". Actas de la IRE 49(1):8-30.
McCallum, A. y Nigam K. "Una comparación de modelos de eventos para la clasificación de texto Naive Bayes". En AAAI/ICML-98 Workshop on Learning for Text Categorization, págs. 41–48. Informe Técnico WS-98-05. Prensa AAAI. 1998. (disponible en línea: PDF )
Subbotin S. V., Bolshakov D. Yu. Aplicación del clasificador bayesiano para el reconocimiento de clases objetivo. // "Journal of Radioelectronics", 2006, No. 4 ( disponible en línea )

Productos de software

jBNC - Caja de herramientas clasificadora de redes bayesianas

Aprendizaje automático y minería de datos
Tareas	Problema de clasificación Aprender sin un maestro Aprendizaje asistido por profesores Análisis de regresión AutoML reglas de asociación Extracción de características entrenamiento de rasgos Entrenamiento de clasificación Derivación gramatical Aprender en línea
Aprendiendo con un maestro	método del k-vecino más cercano Clasificador bayesiano ingenuo árbol de decisión Máquinas de vectores soporte Regresión lineal Regresión logística perceptrón conjuntos de modelos Harpillera impulsar bosque aleatorio Método de vector relevante
análisis de conglomerados	método k-medias método de agrupamiento difuso Agrupación jerárquica algoritmo EM ABEDUL CURAR DBSCAN ÓPTICA Desplazamiento medio
Reducción de dimensionalidad	Análisis factorial Método de componentes principales CCA ACI LDA Expansión de matriz no negativa t-SNE
Pronóstico estructural	Graficar modelo probabilístico red bayesiana Modelo oculto de Markov FRC
Detección de anomalías	método del k-vecino más cercano Nivel de emisión local
Graficar modelos probabilísticos	red bayesiana Red de Markov Modelo oculto de Markov
Redes neuronales	Máquina Boltzmann limitada mapa autoorganizado Función de activación Sigmoideo softmax Funcion de base radial Método de propagación hacia atrás Aprendizaje profundo perceptrón multicapa Red neuronal recurrente memoria a corto plazo Bloque recurrente controlado Red neuronal convolucional U-red Codificador automático
Aprendizaje reforzado	proceso de Markov Ecuación de Bellman Algoritmo codicioso Q-aprendizaje SARAS Diferencia temporal (DT)
Teoría	Teoría de Vapnik-Chervonenkis Dilema de dispersión de sesgo Teoría del aprendizaje computacional Minimización empírica del riesgo El aprendizaje de Occam aprendizaje PAC Teoría del aprendizaje estadístico
revistas y congresos	NeurIPS ICML ML JMLR ArXiv:cs.LG