Rango inverso promedio

El rango medio inverso (MRR) es una evaluación estadística de las respuestas de un proceso a las solicitudes, ordenadas por probabilidad y corrección. Caracteriza la efectividad de la recuperación de información . Rango inverso en este caso significa el recíproco del número (rango) de la primera respuesta correcta en la lista de respuestas. El rango inverso medio se define como el promedio de los rangos inversos sobre todas las consultas P: [1]

{\text{MRR}}={\frac {1}{|Q|}}\sum _{i=1}^{|Q|}{\frac {1}{{\text{rango} }_{i}}}.\!

donde significa la posición del primer documento relevante para la consulta i . ${\text{rango}}_{i}$

El recíproco del rango inverso medio corresponde a la media armónica entre los rangos.

Ejemplo

Considere tres consultas que traducen palabras rusas del singular al genitivo plural. En todos los casos de este ejemplo, el sistema realiza tres intentos, los primeros intentos son considerados por el sistema como los más correctos:

Solicitud	respuestas	Respuesta correcta	Rango	rango inverso
póker	póquer, póquer, póquer	póker	3	1/3
golpes	golpe, golpe , golpe	pegar	2	1/2
turco	turcos , turcos, turcos	turco	una	una

A partir de estos ejemplos, calculamos el rango inverso medio como (1/3 + 1/2 + 1)/3 = 11/18, que es aproximadamente 0,61.

Si ninguna de las respuestas es correcta, se considera que el rango inverso medio es 0. Tenga en cuenta que solo se tiene en cuenta la primera respuesta relevante y se ignoran las respuestas relevantes posteriores.

Véase también

Enlaces

DR Radev; H. Qi; H.Wu; Fan W. (2002). “Evaluación de sistemas de respuesta a preguntas basados en la web”. Actuaciones de los LREC .

Notas

↑ EM Voorhees (1999). “Actas de la 8ª Conferencia de Recuperación de Textos”. TREC-8 Informe de Seguimiento de Preguntas y Respuestas . páginas. 77-82.
↑ D. R. Radev, H. Qi, H. Wu, W. Fan (2002). Evaluación de sistemas de respuesta a preguntas basados en la web . Actas de la LREC.