Aprendiendo con el ejemplo

La versión actual de la página aún no ha sido revisada por colaboradores experimentados y puede diferir significativamente de la versión revisada el 19 de mayo de 2019; las comprobaciones requieren 4 ediciones .

El aprendizaje a partir de ejemplos es un tipo de aprendizaje en el que se presenta un sistema intelectual con un conjunto de ejemplos positivos y negativos asociados a alguna regularidad previamente desconocida. En los sistemas inteligentes, se desarrollan reglas de decisión, con la ayuda de las cuales el conjunto de ejemplos se divide en positivo y negativo. La calidad de la separación generalmente se verifica mediante una muestra de examen de ejemplos. [una]

Formalización matemática

Sea un conjunto de descripciones de objetos, sea un conjunto de respuestas válidas. Existe una dependencia de destino desconocida : el mapeo , cuyos valores solo se conocen en los objetos de la muestra de entrenamiento final . Se requiere construir un algoritmo que aproxime la dependencia del objetivo desconocido tanto de los elementos de la muestra como del conjunto completo . $X$ $Y$ $y^{{*}}\dos puntos X\a Y$ $X^{m}=\{(x_{1},y_{1}),\puntos,(x_{m},y_{m})\}$ $a\dos puntos X\a Y$ $X$

También dicen que el algoritmo debe ser capaz de generalizar hechos empíricos, o derivar conocimiento general ( regularidad , dependencia ) a partir de hechos particulares (observaciones, precedentes).

Funciones de pérdida y funcionales de calidad

Se introduce una función de pérdida que caracteriza la desviación de la respuesta de la respuesta correcta en un objeto arbitrario . ${{\mathcal L}}(y,y')$ ${\ estilo de visualización y = a (x)}$ $y'=y^{*}(x)$ $x\en X$

Elección típica de la función de pérdida:

En problemas de clasificación ; ${\mathcal {L}}(y,y')=[y'\neq y]$
en problemas de regresión . ${\mathcal {L}}(y,y')=(y'-y)^{2}$

Se introduce un funcional de calidad que caracteriza el error medio ( riesgo empírico ) del algoritmo sobre una muestra arbitraria $a$ ${\ estilo de visualización X ^ {m}}$

Q(a,X^{m})={\frac {1}{m}}\sum_{{i=1}}^{m}{{\mathcal L}}(a(x_{i}) ,y^{{*}}(x_{i})).

El método empírico de minimización de riesgos es uno de los enfoques más comunes para aprender algoritmos a partir de precedentes. Consiste en encontrar un algoritmo en un modelo dado de algoritmos que minimice el error promedio en el conjunto de entrenamiento: $A=\{a\dos puntos X\a Y\}$

a={\mathrm {arg}}\min _{{a\in A}}Q(a,X^{m}).

Así, el problema de aprendizaje se reduce a la optimización y puede resolverse mediante métodos de optimización numérica .

La capacidad de generalización y el problema del sobreajuste

El pequeño valor del funcional de calidad en la muestra de entrenamiento no garantiza que el algoritmo construido restablezca bien la dependencia del objetivo en todo el espacio . Existe el peligro de sobreajuste o overfitting cuando se intenta describir datos específicos con más precisión de lo que permitiría en principio el nivel de ruido en los datos y el error del propio modelo. $X$

Es fácil dar un ejemplo de un algoritmo que minimiza el riesgo empírico a cero, pero no tiene la capacidad de generalizar. Habiendo recibido la muestra de entrenamiento , la recuerda y luego compara el objeto presentado con los objetos de entrenamiento de . En caso de coincidencia, el algoritmo da la respuesta correcta . De lo contrario, se emite una respuesta arbitraria. El riesgo empírico toma el menor valor posible igual a cero. Sin embargo, este algoritmo no puede restaurar la dependencia fuera de los objetos de aprendizaje. Este ejemplo muestra de manera convincente que para un aprendizaje exitoso es necesario no solo memorizar, sino también generalizar. ${\ estilo de visualización X ^ {m}}$ $X$ $x_{yo}$ ${\ estilo de visualización X ^ {m}}$ ${\ Displaystyle x = x_ {i}}$ $y_{yo}$

En casi todos los métodos, se hacen esfuerzos especiales para evitar el sobreajuste. Los límites de aplicabilidad del método empírico de minimización de riesgos y el problema del sobreajuste son estudiados por la teoría estadística del aprendizaje .

Espacio de funciones

Un signo es un mapeo , donde es el conjunto de valores admisibles de un signo. Si se dan características , entonces el vector se denomina descripción de características del objeto . Las descripciones indicativas se pueden identificar con los propios objetos. En este caso, el conjunto se denomina espacio de características . ${\displaystyle f\dos puntos X\a D_{f))$ $D_f$ ${\displaystyle f_{1},\puntos,f_{n))$ ${{\mathbf x}}=(f_{1}(x),\dots,f_{n}(x))$ $x\en X$ $X=D_{{f_{1}}}\veces \puntos \veces D_{{f_{n}}}$

Dependiendo del conjunto, los letreros se dividen en los siguientes tipos: $D_f$

signo binario : ; $D_{f}=\{0,1\}$
atributo nominal : - conjunto finito ; $D_f$
atributo ordinal : - conjunto ordenado finito; $D_f$
signo cuantitativo : - conjunto de números reales . $D_f$

A menudo existen problemas aplicados con diferentes tipos de características, no todos los métodos son adecuados para su solución.

Tareas a resolver

La tarea de completar los datos que faltan

La información inicial se presenta en forma de descripciones indicativas. Pueden faltar los valores de algunas características para algunos objetos. Tales casos surgen a menudo en la práctica. Por ejemplo, el experimentador puede no registrar el resultado de la observación; el encuestado puede negarse a contestar la pregunta del cuestionario; el paciente puede no pasar este tipo de examen; etc. Sin embargo, muchos métodos de análisis de datos requieren que la matriz de entrada de las descripciones de características se llene por completo. El siguiente enfoque se utiliza a menudo para completar los valores que faltan. Considerando esta característica como objetivo, se construye un algoritmo que predice su valor en función de otras características. Los valores faltantes se completan con predicciones. Esta operación se realiza con todas las entidades a las que les faltan valores.

Si el signo es cuantitativo se aplican métodos de recuperación de regresión , si el signo es cualitativo (nominal) se aplican métodos de clasificación .

Algoritmos

Notas

↑ A. N. Averkin, M. G. Gaaze-Rapoport , D. A. Pospelov "Diccionario explicativo de inteligencia artificial" [1] Copia de archivo fechada el 5 de mayo de 2010 en Wayback Machine

Literatura

Ayvazyan S. A., Enyukov I. S., Meshalkin L. D. Estadística aplicada : conceptos básicos de modelado y procesamiento de datos primarios. - M.: Finanzas y estadísticas, 1983.
Ayvazyan S. A., Enyukov I. S., Meshalkin L. D. Estadística aplicada: el estudio de las dependencias. - M.: Finanzas y estadísticas, 1985.
Ayvazyan S. A., Buchstaber V. M., Enyukov I. S., Meshalkin L. D. Estadística aplicada: clasificación y reducción de la dimensionalidad . - M.: Finanzas y estadísticas, 1989.
Vapnik VN Reconstrucción de dependencias basada en datos empíricos. — M.: Nauka, 1979.
Zhuravlev Yu. I., Ryazanov V. V., Senko O. V. "Reconocimiento". Métodos matemáticos. Sistema de software. Aplicaciones prácticas. — M.: Fazis, 2006. ISBN 5-7036-0108-8 .
Zagoruiko NG Métodos aplicados de análisis de datos y conocimiento. - Novosibirsk : IM SO RAN, 1999. ISBN 5-86134-060-9 .
Shlesinger M., Glavach V. Diez conferencias sobre reconocimiento estadístico y estructural. - Kiev : Naukova Dumka , 2004. ISBN 966-00-0341-2 .
Hastie, T., Tibshirani R., Friedman J. Los elementos del aprendizaje estadístico: minería de datos, inferencia y predicción . — 2ª ed. - Springer-Verlag, 2009. - 746 p. - ISBN 978-0-387-84857-0 . .
Mitchell T. Aprendizaje automático. — Ciencias/Ingeniería/Matemáticas de McGraw-Hill, 1997. ISBN 0-07-042807-7 .

Enlaces

www.MachineLearning.ru es un recurso wiki profesional dedicado al aprendizaje automático y la minería de datos