Learning to rank ( aprendizaje de clasificación o ranking aprendido por máquina, MLR ) [1] es una clase de tareas de aprendizaje automático supervisadas que consisten en seleccionar automáticamente un modelo de clasificación de un conjunto de entrenamiento que consiste en un conjunto de listas y órdenes parciales dadas en elementos dentro de cada lista. El orden parcial generalmente se especifica especificando una puntuación para cada elemento (p. ej., "relevante" o "no relevante"; son posibles más de dos gradaciones). El objetivo de un modelo de clasificación es aproximar mejor (en cierto sentido) y generalizar el método de clasificación en el conjunto de entrenamiento a nuevos datos.
El aprendizaje de clasificación es todavía un campo de investigación bastante joven y de rápido desarrollo, que surgió en la década de 2000 con el surgimiento del interés en el campo de la recuperación de información en la aplicación de métodos de aprendizaje automático para clasificar problemas.
En relación a los motores de búsqueda , cada lista es un conjunto de documentos que satisfacen alguna consulta de búsqueda.
La muestra de formación consta de una muestra de consultas de búsqueda, un subconjunto de documentos que les corresponden y estimaciones de la relevancia de cada documento para la consulta. Pueden ser elaborados tanto de forma manual, por personas especialmente capacitadas (evaluadores o asesores de calidad de búsqueda ), como de forma automática, a partir del análisis de los clics de los usuarios [2] o de herramientas de motores de búsqueda como el sistema SearchWiki del motor de búsqueda de Google .
Durante el entrenamiento del modelo de clasificación y durante su funcionamiento, cada par documento-solicitud se traduce en un vector numérico de características de clasificación (también llamados factores o señales de clasificación) que caracterizan las propiedades del documento, la consulta y su relación. Estos signos se pueden dividir en tres grupos:
Los siguientes son algunos ejemplos de características de clasificación utilizadas en el conocido conjunto de datos LETOR en este campo de investigación : [5]
Hay varias métricas que evalúan y comparan el rendimiento de los algoritmos de clasificación en una muestra con las revisiones por pares. A menudo, los parámetros del modelo de clasificación tienden a ajustarse de tal manera que se maximice el valor de una de estas métricas.
Ejemplos de métricas:
En su artículo "Learning to Rank for Information Retrieval" [1] y presentaciones en conferencias temáticas, Tai-Yan Liu de Microsoft Research Asia analizó los métodos actualmente disponibles para resolver el problema de aprender a clasificar y propuso su clasificación en tres enfoques, dependiendo sobre la representación de datos de entrada utilizada y la función de penalización:
En el enfoque puntual , se supone que a cada par consulta-documento se le asigna una puntuación numérica. La tarea de aprender a clasificar se reduce a construir una regresión : para cada par individual de consulta-documento, es necesario predecir su puntuación.
Dentro de este enfoque, muchos algoritmos de aprendizaje automático se pueden aplicar a problemas de regresión. Cuando las puntuaciones pueden tomar solo unos pocos valores, también se pueden utilizar algoritmos de regresión y clasificación ordinales .
En el enfoque por pares , aprender a clasificar se reduce a construir un clasificador binario, que recibe dos documentos correspondientes a la misma consulta como entrada, y se requiere para determinar cuál es mejor.
Ejemplos de algoritmos: [1] RankNet, FRank, RankBoost, RankSVM, IR-SVM.
El enfoque list- wise consiste en construir un modelo, cuya entrada son inmediatamente todos los documentos que coinciden con la consulta, y la salida es su permutación . El ajuste de parámetros del modelo se realiza para maximizar directamente una de las métricas de clasificación anteriores. Pero esto suele ser difícil, ya que las métricas de ranking no suelen ser continuas e indiferenciables con respecto a los parámetros del modelo de ranking, por lo que se recurre a maximizar algunas de sus aproximaciones o estimaciones más bajas.
Ejemplos de algoritmos: [1] SoftRank, mapa SVM , AdaRank, RankGP, ListNet, ListMLE.
Los motores de búsqueda de muchos motores de búsqueda de Internet modernos, incluidos Yandex , Yahoo [7] y Bing , utilizan modelos de clasificación creados mediante métodos de aprendizaje automático. La búsqueda de Bing utiliza el algoritmo RankNet . [8] El algoritmo de aprendizaje automático de clasificación más nuevo desarrollado y utilizado en el motor de búsqueda de Yandex se llama MatrixNet; [9] La propia Yandex patrocinó la competencia Internet Mathematics 2009 [10] para construir un algoritmo de clasificación basado en su propio conjunto de datos.
En una entrevista a principios de 2008, Peter Norvig , director de investigación de Google , dijo que su motor de búsqueda aún no estaba listo para confiar completamente la clasificación a algoritmos de aprendizaje automático, citando el hecho de que, en primer lugar, los modelos generados automáticamente pueden comportarse de manera impredecible en nuevos clases de consultas que no son similares a las consultas de la muestra de entrenamiento, en comparación con modelos creados por expertos humanos. En segundo lugar, los creadores del actual algoritmo de clasificación de Google confían en que su modelo también puede resolver problemas de manera más eficiente que el aprendizaje automático. [11] La primera razón tiene un interés mucho más significativo para nosotros, ya que no sólo se remonta a un problema tan conocido en lógica inductiva, formulado por el matemático alemán C.G. Hempel y en conflicto con la intuición (la afirmación "todos los cuervos son negros" es lógicamente equivalente a "todos los objetos que no son negros no son cuervos"), pero también nos hace volver a una serie de cuestiones no resueltas de F. Rosenblatt, quien creó el mundo. primera red neuronal capaz de percibir y formar una respuesta al estímulo percibido : un perceptrón de una sola capa. [12] A partir de la crítica al perceptrón elemental de Rosenblatt , podemos entender toda la vulnerabilidad de este modelo de calificación, del que nos hablan los expertos de Google: son sistemas artificiales capaces de generalizar su experiencia individual a una amplia clase de situaciones para las que la respuesta fue no se les ha comunicado con antelación? No, la experiencia individual de los sistemas artificiales en la práctica es siempre limitada y nunca completa. De una forma u otra, las herramientas de aprendizaje automático le permiten resolver el problema del spamdexing con un grado de eficiencia bastante alto. [13]
| Aprendizaje automático y minería de datos | |
|---|---|
| Tareas | |
| Aprendiendo con un maestro | |
| análisis de conglomerados | |
| Reducción de dimensionalidad | |
| Pronóstico estructural | |
| Detección de anomalías | |
| Graficar modelos probabilísticos | |
| Redes neuronales | |
| Aprendizaje reforzado |
|
| Teoría | |
| revistas y congresos |
|