Curva ROC

La versión actual de la página aún no ha sido revisada por colaboradores experimentados y puede diferir significativamente de la versión revisada el 11 de mayo de 2020; las comprobaciones requieren 42 ediciones .

Curva ROC ( característica operativa del receptor en inglés , receiver operating character ) - un gráfico que le permite evaluar la calidad de la clasificación binaria , muestra la relación entre la proporción de objetos del número total de portadores de la función, clasificados correctamente como portadores de la característica ( ing. tasa de verdaderos positivos , TPR, llamado algoritmo de clasificación de sensibilidad ), y la proporción de objetos del número total de objetos que no tienen una característica, clasificados erróneamente como portadores de una característica ( ing. tasa de falsos positivos , FPR, el valor de 1-FPR se denomina especificidad del algoritmo de clasificación) al variar el umbral de la regla de decisión.

También conocida como la curva de error . El análisis de clasificaciones mediante curvas ROC se denomina análisis ROC .

La interpretación cuantitativa de la ROC da el AUC ( ing. Área bajo la curva , área bajo la curva ), el área delimitada por la curva ROC y el eje de la proporción de clasificaciones de falsos positivos. Cuanto mayor sea el AUC, mejor será el clasificador, mientras que el valor de 0,5 demuestra la inadecuación del método de clasificación seleccionado (correspondiente a la adivinación aleatoria). Un valor inferior a 0,5 dice que el clasificador funciona exactamente al revés: si a los positivos se les llama negativos y viceversa, el clasificador funcionará mejor.

Concepto básico

Los tumores malignos son una aplicación clásica de los problemas de clasificación: los síntomas a menudo aparecen cuando la enfermedad es incurable y las pruebas confiables son extremadamente costosas. Por lo tanto, se demandan pruebas baratas, aunque no tan confiables, y lo explicaremos usando el ejemplo de personas sanas y enfermas.

La tarea de clasificación es asignar objetos previamente desconocidos a una clase particular. Un ejemplo de tal tarea puede ser el diagnóstico de una enfermedad, si el paciente se enfermó ( resultado positivo ) o no ( resultado negativo ). Entonces, como resultado de la clasificación, se pueden observar cuatro situaciones diferentes:

resultado positivo verdadero ( verdadero positivo, TP ) — el paciente está enfermo, el diagnóstico es positivo;
resultado falso positivo ( falso positivo, FP ) — el paciente está sano, el diagnóstico es positivo;
resultado verdadero negativo ( verdadero negativo, TN ) — el paciente está sano, el diagnóstico es negativo;
resultado falso negativo ( falso negativo, FN ) — el paciente está enfermo, el diagnóstico es negativo.

Los cuatro resultados posibles se pueden formular y formatear como una tabla de contingencia de 2×2 .

Entonces, el valor Sen=TP/(TP+FN), la capacidad del algoritmo para “ver” a los pacientes, se denomina sensibilidad o frecuencia de verdaderos positivos , Spe=TN/(TN+FP) es la especificidad o frecuencia de verdaderos negativos , la capacidad del algoritmo de no tomar a las personas sanas por enfermas. El efecto económico de estos errores es diferente: un paciente falso negativo vendrá con una enfermedad desatendida, se gastarán recursos en un examen adicional de un falso positivo. El valor 1−Spe=FP/(TN+FP) se denomina tasa de falsos positivos .

A menudo, el clasificador no devuelve el bit saludable-enfermo, sino un número en una escala continua: por ejemplo, 0="obviamente saludable", 25="probablemente saludable", 50="indeterminado", 75="probablemente enfermo ", 100="claramente enfermo". Pero de todos modos, el conjunto de decisiones tomadas suele ser finito, o incluso binario: ¿debería enviarse al paciente para un examen más detenido? ¿Debería funcionar el empujador, dejando caer la pieza en el contenedor con el matrimonio ? Al variar el umbral de respuesta, cambiamos las características de sensibilidad y especificidad: cuanto más alto uno, más bajo el otro.

Como resultado de cambiar el umbral de −∞ a ∞ y graficar los puntos X=1−Spe e Y=Sen en el espacio de coordenadas X,Y, se obtiene un gráfico que se denomina curva ROC. En el umbral −∞, el clasificador clasifica a todos los pacientes como enfermos (1−Spe=1, Sen=1). En el umbral +∞, todos se clasifican como sanos (1−Spe=0, Sen=0). Por tanto, la curva ROC siempre va de (0,0) a (1,1).

El caso de las variables aleatorias continuas

La clasificación se basa a menudo en variables aleatorias continuas . En este caso, es conveniente escribir la probabilidad de pertenecer a una clase en particular como una función de distribución de probabilidad dependiendo de cierto valor umbral (límite) del parámetro en la forma , y la probabilidad de no pertenecer como . Luego, el número de soluciones de falsos positivos (tasa de falsos positivos, FPR) se puede expresar como . Al mismo tiempo, el número de decisiones positivas verdaderas (tasa de resultados positivos verdaderos, TPR) se puede expresar como . Al construir la curva ROC a lo largo del eje , y a lo largo del eje , se obtiene a diferentes valores del parámetro . $T$ $P_{1}(T)$ $P_{0}(T)$ $FPR(T)=\int_{{T}}^{\infty}P_{0}(T)dT$ $TPR(T)=\int_{{T}}^{\infty}P_{1}(T)dT$ $Y$ $TPR(T)$ $X$ $FPR(T)$ $T$

Por ejemplo, imagina que los niveles de alguna proteína en sangre se distribuyen normalmente con centros iguales a 1 g / dL y 2 g / dL en personas sanas y enfermas , respectivamente. Una prueba médica puede dar una indicación del nivel de cualquier proteína en el plasma sanguíneo . Un nivel de proteína por encima de cierto límite puede considerarse como un signo de enfermedad . El investigador puede mover el borde (línea vertical negra en la figura), lo que cambiará el número de resultados falsos positivos. La forma resultante de la curva ROC depende del grado de intersección de las dos distribuciones .

Casos especiales

Si la población general es finita (lo que suele ocurrir en conjuntos de datos reales), entonces cuando el umbral t se mueve de −∞ a ∞, son posibles las siguientes situaciones:

Si, a medida que t aumenta, el número de estimaciones de objetos falsos positivos y verdaderos positivos no cambia, entonces, respectivamente, los valores de Sen y Spe tampoco cambian, y no aparecen nuevos puntos de la curva ROC. , la parte construida de la curva ROC sigue siendo la misma.
A medida que t aumenta , las estimaciones de uno o más objetos cambian de falsos positivos a verdaderos negativos, mientras que el número de verdaderos positivos no cambia. En consecuencia, el valor de Sen permanece igual, Spe aumenta, X = 1 − Spe disminuye y se agrega un segmento horizontal a la curva.
A medida que t aumenta , las estimaciones de uno o más objetos pasan de verdaderos positivos a falsos negativos, mientras que el número de falsos positivos no cambia. Entonces Y = Sen disminuye y se agrega un segmento vertical a la curva.
Si el segundo y el tercero ocurren simultáneamente, X = 1 − Spe e Y=Sen disminuyen, y el segmento inclinado correspondiente se agrega a la curva ROC.

Dado que la probabilidad del cuarto evento es pequeña, la curva ROC de la población general final tiene una forma escalonada, con un pequeño número de segmentos inclinados donde los errores en la recopilación y procesamiento de datos dieron el mismo resultado en objetos de diferentes clases.

En consecuencia, el algoritmo para construir una curva ROC para una población general finita es el siguiente. Ordenemos los objetos por el valor del criterio. Tomamos un conjunto de objetos con un valor de criterio igual, volvemos a calcular Sen y Spe y dibujamos un segmento. Continuamos hasta que se agoten los objetos.

La curva ROC de un clasificador binario que produce 0 o 1 (por ejemplo, un árbol de decisión ) parece dos segmentos (0,0) → (1−Spe,Sen) → (1,1).

En el caso ideal, cuando el clasificador separa por completo los miembros positivos y negativos de la población general, primero todos los falsos positivos se convierten en verdaderos negativos (segmento (1,1) - (0,1)), luego todos los verdaderos positivos se convierten en falsos negativos ( segmento (0,1)—(0,0)). Es decir, la curva ROC de un clasificador ideal, independientemente de los números que produzca el criterio y de si la población general es finita, parece dos segmentos (0,0) - (0,1) - (1,1).

En esos umbrales t , donde la curva ROC está por debajo de la diagonal 1−Spe = Sen , el criterio puede invertirse (todo lo que sea menor que t puede declararse positivo), y el clasificador funcionará mejor que inicialmente: tanto la sensibilidad como la especificidad aumentan .

Aplicación

Las curvas ROC se utilizaron por primera vez en la teoría del procesamiento de señales en los Estados Unidos durante la Segunda Guerra Mundial para mejorar la calidad del reconocimiento de objetos enemigos a partir de una señal de radar [1] . Después del ataque a Pearl Harbor en 1941 , el ejército de los EE . UU. comenzó una nueva investigación destinada a tratar de aumentar la precisión de la identificación de aviones japoneses a partir de señales de radar.

Posteriormente, las curvas ROC se utilizaron ampliamente en el diagnóstico médico [2] [3] [4] . Las curvas ROC se utilizan en epidemiología e investigación médica y, a menudo, se las denomina en el mismo contexto que la medicina basada en la evidencia . En radiología , las curvas ROC se utilizan para validar y probar nuevas técnicas [5] . En las ciencias sociales , las curvas ROC se utilizan para emitir juicios sobre la calidad de los modelos de probabilidad. Las curvas también se utilizan en la gestión de la calidad del producto y la calificación crediticia .

Como ya se señaló, las curvas ROC se utilizan ampliamente en el aprendizaje automático . Se utilizaron por primera vez en este contexto en el trabajo de Spakman, quien demostró el uso de curvas ROC al comparar varios algoritmos de clasificación . [6]

Casos de uso adicionales

Área bajo la curva

En un espacio normalizado , el área bajo la curva ( AUC - Area Under Curve, AUROC - Area Under Receiver Operating Characteristic ) es equivalente a la probabilidad de que el clasificador asigne más peso a una entidad positiva elegida al azar que a una negativa elegida al azar. . [7] Esto se puede mostrar de la siguiente manera: el área bajo la curva está dada por la integral (el eje se gira con un signo menos; un valor mayor de la coordenada corresponde a un valor menor del parámetro ): . Los paréntesis angulares denotan la operación de sacar el promedio. $X$ $T$ $A=\int _({\infty }}^{{-\infty }}y(T)x'(T)dT=\int _({\infty }}^{{-\infty }}TPR(T )FPR'(T)dT=\int _{{-\infty }}^{{\infty }}TPR(T)P_{0}(T)dT=\langle TPR\rangle$

Se ha demostrado que el AUC está estrechamente relacionado con la prueba U de Mann-Whitney [8] [9] , que es una medida de si los elementos positivos tienen más peso que los negativos. El valor de AUC también está relacionado con la prueba de Wilcoxon [9] y con el coeficiente de Gini ( ) de la siguiente manera: , donde: $G_{1}$ $G_{1}=2AUC-1$

$G_{1}=1-\sum_{{k=1}}^{n}(X_{{k}}-X_{{k-1}})(Y_{k}+Y_{{k-1 }})$ [10] .

El AUC también se usa a menudo para comparar modelos basados en el conjunto de entrenamiento [11] . Sin embargo, en algunos casos, el uso de este indicador es difícil porque el AUC es sensible al ruido [12] . Además, en algunos artículos, se señalan problemas adicionales que surgen cuando se usa el valor AUC para comparar modelos [13] [14] . Como se señaló anteriormente, el valor del área bajo la curva se puede utilizar como un valor de la probabilidad con la que a una entidad positiva seleccionada al azar se le asignará un peso mayor que a una entidad negativa seleccionada al azar. Sin embargo, en varios trabajos [12] [13] , se hicieron suposiciones sobre la dificultad de obtener estimaciones confiables de los valores de AUC . Por lo tanto, el valor práctico del indicador AUC ha sido cuestionado [14] , indicando que a menudo el valor puede introducir más incertidumbre que claridad.

Curvas ROC en problemas de clasificación no binaria

La extensión de las curvas ROC al caso de problemas de clasificación con más de dos clases siempre ha estado plagada de dificultades, ya que el número de grados de libertad crece cuadráticamente con el número de clases, y el espacio ROC tiene dimensiones , donde es el número de clases. [15] También se han desarrollado algunos enfoques prácticos para el caso en que el número de clases sea tres. [16] El volumen bajo la superficie ROC ( VUS - Volume Under Surface ) se considera como una métrica de calidad de clasificadores para problemas de clasificación no binarios. [17] Sin embargo, debido a la complejidad del análisis de la variable VUS , se han desarrollado otros enfoques [18] basados en la extensión del concepto VUS . $c(c-1)$ $C$

Debido a la exitosa aplicación de las curvas ROC para analizar la calidad de los clasificadores, se han estudiado las extensiones de las curvas ROC a otros problemas de aprendizaje supervisado . Entre los trabajos dignos de mención se encuentran los dedicados a las llamadas curvas REC ( regression error character - REC-curve ) [19] y curvas RROC (regression ROC curves ) [20] . Vale la pena señalar que el área bajo la curva RROC es proporcional a la varianza del error del modelo de regresión .

Véase también

Notas

↑ Verde, David M.; Swets, John A. Teoría de detección de señales y psicofísica . - Nueva York, NY: John Wiley and Sons Inc., 1966. - ISBN 0-471-32420-5 .
↑ Zweig, Mark H.; Campbell, Gregorio. Gráficos de características operativas del receptor (ROC): una herramienta de evaluación fundamental en medicina clínica (inglés) // Clinical Chemistry: revista. - 1993. - vol. 39 , núm. 8 _ - pág. 561-577 . — PMID 8472349 .
↑ Pepe, Margaret S. La evaluación estadística de las pruebas médicas para clasificación y predicción . — Nueva York, NY: Oxford, 2003. — ISBN 0-19-856582-8 .
↑ Sushkova, OS; Morozov, AA; Gabova, AV; Karabanov, AV;Illarioshkin, SN Un método estadístico para el análisis exploratorio de datos basado en diagramas de área bajo curva 2D y 3D: Investigación de la enfermedad de Parkinson (inglés) // Sensores: revista. - MDPI, 2021. - Vol. 21 , núm. 14 _ — Pág. 4700 .
↑ Obuchowski, Nancy A. Curvas características operativas del receptor y su uso en radiología // Radiología: revista. - 2003. - vol. 229 , núm. 1 . - P. 3-8 . -doi : 10.1148 / radiol.2291010898 . — PMID 14519861 .
↑ Spackman, Kent A. (1989). “Teoría de detección de señales: herramientas valiosas para evaluar el aprendizaje inductivo”. Actas del Sexto Taller Internacional sobre Aprendizaje Automático . San Mateo, CA: Morgan Kaufmann . páginas. 160-163.
↑ Fawcett, Tom (2006); Una introducción al análisis ROC , Pattern Recognition Letters, 27, 861-874.
↑ Hanley, James A.; McNeil, Barbara J. El significado y el uso del área bajo una curva característica operativa del receptor (ROC) // Radiología: revista. - 1982. - vol. 143 . - P. 29-36 . —PMID 7063747 .
↑ 1 2 Mason, Simon J.; Graham, Nicholas E. Áreas debajo de las curvas de características operativas relativas (ROC) y niveles operativos relativos (ROL): significado estadístico e interpretación // Quarterly Journal of the Royal Meteorological Society : diario. - 2002. - No. 128 . - Pág. 2145-2166 .
↑ Mano, David J.; y Till, Robert J. (2001); Una generalización simple del área bajo la curva ROC para problemas de clasificación de clases múltiples , Machine Learning, 45, 171-186.
↑ Hanley, James A.; McNeil, Barbara J. Un método para comparar las áreas bajo las curvas características operativas derivadas de los mismos casos // Radiología: revista. - 1983. - 1 de septiembre ( vol. 148 , n. 3 ). - Pág. 839-843 . —PMID 6878708 .
↑ 1 2 Hanczar, Blaise; Hua, Jianping; Sima, Chao; Weinstein, Juan; Bitner, Michael; y Dougherty, Edward R. (2010); Precisión de muestra pequeña de estimaciones relacionadas con ROC , Bioinformatics 26 (6): 822-830
↑ 1 2 Lobo, Jorge M.; Jiménez-Valverde, Alberto; y Real, Raimundo (2008), AUC: una medida engañosa del desempeño de modelos predictivos de distribución , Ecología Global y Biogeografía, 17: 145-151
↑ 1 2 Hand, David J. (2009); Medición del rendimiento del clasificador: una alternativa coherente al área bajo la curva ROC , Machine Learning, 77: 103-123
↑ Srinivasan, A. (1999). “Nota sobre la ubicación de clasificadores óptimos en el espacio ROC N-dimensional”. Informe técnico PRG-TR-2-99, Laboratorio de Computación de la Universidad de Oxford, Edificio Wolfson, Parks Road, Oxford .
↑ Mossman, D. ROC de tres vías (sin especificar) // Toma de decisiones médicas. - 1999. - T. 19 . - S. 78-89 . doi : 10.1177 / 0272989x9901900110 .
↑ Ferry, C.; Hernández Orallo, J.; Salido, MA (2003). “Volumen bajo la superficie ROC para problemas multiclase”. Aprendizaje automático: ECML 2003 . páginas. 108–120.
↑ Till, DJ; Hand, RJ Una generalización simple del área bajo la curva ROC para problemas de clasificación de clases múltiples // Aprendizaje automático: revista. - 2012. - vol. 45 . - pág. 171-186 .
↑ Bi, J.; Bennett, KP (2003). “Curvas características del error de regresión”. Vigésima Conferencia Internacional sobre Aprendizaje Automático (ICML-2003). Washington, D.C.
↑ Hernandez-Orallo, J. Curvas ROC para regresión (indefinidas) // Reconocimiento de patrones. - 2013. - T. 46 , N º 12 . - S. 3395-3411. . -doi : 10.1016/ j.patcog.2013.06.014 .

diccionarios y enciclopedias	gran chino Britannica (en línea)
En catálogos bibliográficos	TIERRA : 4178266-5