Análisis de correlación canónica

La versión actual de la página aún no ha sido revisada por colaboradores experimentados y puede diferir significativamente de la versión revisada el 27 de marzo de 2021; la verificación requiere 1 edición .

El análisis de correlación canónica ( CCA ) es una forma de obtener información de matrices de correlación cruzada . Si tenemos dos vectores y variables aleatorias , y hay correlaciones entre estas variables, entonces el análisis de correlación canónica encontrará la combinación lineal de X e Y que tiene la máxima correlación [1] . T. R. Knapp observó que "prácticamente todas las pruebas de significación paramétrica de uso común pueden tratarse como un caso especial de análisis de correlación canónica, que es un procedimiento general para examinar las relaciones entre dos conjuntos de variables" [2] . El método fue introducido por primera vez por Harold Hotelling en 1936 [3] . ${\ estilo de visualización X = (X_{1}, \ puntos, X_ {n})}$ $Y=(Y_{1},\puntos,Y_{m})$

Definición

Dados dos vectores columna y variables aleatorias con segundos momentos finitos , se puede definir la correlación cruzada como una matriz cuyos elementos son covarianzas . En la práctica, estimamos la matriz de covarianza con base en datos de muestra de y (es decir, de un par de matrices de datos). $X=(x_{1},\puntos,x_{n})'$ $Y=(y_{1},\puntos,y_{m})'$ ${\ estilo de visualización \ Sigma _ {XY} = \ nombre del operador {cov} (X, Y)}$ ${\ estilo de visualización n \ veces m}$ $(yo, j)$ ${\ estilo de visualización \ nombre del operador {cov} (x_ {i}, y_ {j})}$ $X$ $Y$

El análisis de correlación canónica busca vectores ( ) y ( ) tales que las variables aleatorias y maximicen la correlación . Las variables aleatorias y son el primer par de variables canónicas . Luego se buscan vectores que maximicen la misma correlación con la restricción de que no estén correlacionados con el primer par de variables canónicas, esto da el segundo par de variables canónicas . Este procedimiento puede continuarse hasta veces. $a$ $a$ ${\ estilo de visualización \ en \ mathbb {R} ^ {n}}$ $b$ ${\displaystyle b\in \mathbb {R} ^{m))$ $a'^{T}X$ $b'^{T}Y$ ${\ estilo de visualización \ rho = \ nombre del operador {corr} (a'^{T}X,b'^{T}Y)}$ $U=a'^{T}X$ $V=b'^{T}Y$ ${\displaystyle \min\{m,n\))$

( a ′ , b ′ ) = argmax a , b corr ⁡ ( a T X , b T Y ) {\displaystyle (a',b')={\underset {a,b}{\operatorname {argmax} }}\operatorname {corr} (a^{T}X,b^{T}Y)}

(a',b')={\underset {a,b}{\operatorname {argmax} }}\operatorname {corr} (a^{T}X,b^{T}Y)

Cálculo

Conclusión

Sea y . Parámetro maximizado ${\ estilo de visualización \ Sigma _ {XX} = \ nombre del operador {cov} (X, X)}$ ${\ estilo de visualización \ Sigma _ {YY} = \ nombre del operador {cov} (Y, Y)}$

{\ Displaystyle \ rho = {\ frac {a ^ {T} \ Sigma _ {XY} b} {{\ sqrt {a ^ {T} \ Sigma _ {XX} a}} {\ sqrt {b^ {T }\Sigma _{YY}b}}}}.}

En el primer paso, cambiamos la base y determinamos

c=\Sigma _{XX}^{1/2}a,

d=\Sigma_{Y}^{1/2}b.

Entonces tenemos

\rho ={\frac {c^{T}\Sigma _{XX}^{-1/2}\Sigma _{XY}\Sigma _{YY}^{-1/2}d}{ {\sqrt {c^{T}c}}{\sqrt {d^{T}d}}}}.

Por la desigualdad de Cauchy-Bunyakovsky, obtenemos

\left(c^{T}\Sigma_{XX}^{-1/2}\Sigma_{XY}\Sigma_{YY}^{-1/2}\right)(d)\ leqslant \left(c^{T}\Sigma _{XX}^{-1/2}\Sigma _{XY}\Sigma _{YY}^{-1/2}\Sigma _{YY}^{- 1/2}\Sigma_{YX}\Sigma_{XX}^{-1/2}c\derecha)^{1/2}\izquierda(d^{T}d\derecha)^{1/2 },

\rho \leqslant {\frac {\left(c^{T}\Sigma_{XX}^{-1/2}\Sigma_{XY}\Sigma_{YY}^{-1}\ Sigma _{YX}\Sigma _{XX}^{-1/2}c\derecha)^{1/2}}{\izquierda(c^{T}c\derecha)^{1/2}}} .

Una desigualdad se convierte en una igualdad si los vectores y son colineales . Además, la correlación máxima se alcanza cuando es el vector propio con el valor propio máximo para la matriz (ver relación de Rayleigh ). El siguiente par se encuentra usando el siguiente valor propio más grande . La ortogonalidad está garantizada por la simetría de las matrices de correlación. $d$ ${\ estilo de visualización \ Sigma _ {YY} ^ {-1/2} \ Sigma _ {YX} \ Sigma _ {XX} ^ {-1/2} c}$ $C$ $\Sigma_{XX}^{-1/2}\Sigma_{XY}\Sigma_{YY}^{-1}\Sigma_{YX}\Sigma_{XX}^{-1/ 2}$

Solución

Solución:

$C$ es un vector propio $\Sigma_{XX}^{-1/2}\Sigma_{XY}\Sigma_{YY}^{-1}\Sigma_{YX}\Sigma_{XX}^{-1/ 2}$
$d$ proporcionalmente ${\ estilo de visualización \ Sigma _ {YY} ^ {-1/2} \ Sigma _ {YX} \ Sigma _ {XX} ^ {-1/2} c}$

En consecuencia, también

$d$ es un vector propio $\Sigma_{YY}^{-1/2}\Sigma_{YX}\Sigma_{XX}^{-1}\Sigma_{XY}\Sigma_{YY}^{-1/ 2}$
$C$ proporcionalmente ${\ estilo de visualización \ Sigma _ {XX} ^ {-1/2} \ Sigma _ {XY} \ Sigma _ {YY} ^ {-1/2} d}$

Con un cambio inverso en las coordenadas, obtenemos

$a$ es un vector propio , ${\ Displaystyle \ Sigma _ {XX} ^ {-1} \ Sigma _ {XY} \ Sigma _ {YY} ^ {-1} \ Sigma _ {YX}}$
$b$ proporcionalmente $\Sigma_{YY}^{-1}\Sigma_{YX}a;$
$b$ es un vector propio ${\ estilo de visualización \ Sigma _ {YY} ^ {-1} \ Sigma _ {YX} \ Sigma _ {XX} ^ {-1} \ Sigma _ {XY},}$
$a$ proporcionalmente _ ${\ estilo de visualización \ Sigma _ {XX} ^ {-1} \ Sigma _ {XY} b}$

Las variables canónicas están definidas por las igualdades:

U=c'\Sigma_{XX}^{-1/2}X=a'X

V=d'\Sigma_{YY}^{-1/2}Y=b'Y

Implementación

El CCA se puede calcular utilizando la descomposición en valores singulares de la matriz de correlación [4] . La correlación canónica está disponible como característica en los siguientes sistemas [5] .

MATLAB es la función canoncorr ( y también en Octave ).
R es una función cancor estándar y algunos otros paquetes. CCP para pruebas de hipótesis estadísticas en análisis de correlación canónica.
SAS - procedimiento cancorr .
scikit-learn , Python : paquete de descomposición cruzada .
SPSS es la macro CanCorr que viene con el paquete principal.

Prueba de hipótesis

Cada fila se prueba para determinar su importancia utilizando el siguiente método. Dado que las correlaciones están ordenadas, la afirmación de que la fila es nula implica que todas las demás correlaciones también son nulas. Si tenemos observaciones independientes en la muestra y es la correlación estimada para , para la -ésima fila el criterio de significación será: $i$ $pags$ ${\sombrero ancho {\rho }}_{i}$ ${\displaystyle i=1,\puntos,\min\{m,n\))$ $i$

\chi ^{2}=-\left(p-1-{\frac {1}{2}}(m+n+1)\right)\ln \prod_{j=i}^{ \min\{m,n\}}(1-{\widehat {\rho }}_{j}^{2}),

que se distribuye asintóticamente como un chi-cuadrado con grados de libertad para grandes [6] . Dado que todas las correlaciones desde hasta son cero, el producto de los términos después de este punto es irrelevante. ${\ estilo de visualización (m-i+1)(n-i+1)}$ $pags$ ${\displaystyle \min\{m,n\))$ $pags$

Uso práctico

Un uso típico de la correlación canónica en un contexto experimental es considerar dos conjuntos de variables y examinar qué tienen en común los dos conjuntos [7] . Por ejemplo, en la investigación psicológica, uno puede tomar dos pruebas de personalidad multivariadas establecidas , como el Inventario de personalidad multidimensional de Minnesota (MMPI-2) y NEO . Al observar cómo se relacionan los factores MMPI-2 con los factores NEO, se puede descubrir qué características se encontraron comunes entre las dos pruebas y cuánto son comunes las variables. Por ejemplo, uno podría encontrar que características como la extraversión o el neuroticismo constituyen una parte sustancial de las variables comunes para las dos pruebas.

También puede utilizar el análisis de correlación canónica para obtener una igualdad que relacione dos conjuntos de variables, como un conjunto de medidas de rendimiento y un conjunto de variables explicativas, o un conjunto de salida y un conjunto de entrada. Se pueden imponer condiciones limitantes a dicho modelo para proporcionar requisitos teóricos o intuitivamente obvios. Este tipo de modelo se conoce como modelo de máxima correlación [8] .

La visualización de los resultados de la correlación canónica se suele realizar a través de un gráfico de barras de los coeficientes de dos conjuntos de variables para pares de variables canónicas, mostrando una correlación significativa. Algunos autores sugieren que es mejor visualizar los resultados en un heliógrafo, que es un gráfico circular con barras como rayos, la mitad de las cuales representan un conjunto de variables y la otra mitad un segundo conjunto [9] .

Ejemplos

Sea con expectativa matemática cero , es decir . Si , es decir y están totalmente correlacionados, entonces, por ejemplo, y , por lo que el primer par de variables canónicas (solo para este ejemplo) es y . Si , es decir y están completamente anticorrelacionadas, entonces y , por lo que el primer par de variables canónicas (solo para este ejemplo) es y . Tenga en cuenta que en ambos casos , lo que muestra que el análisis de correlación canónica funciona exactamente igual con variables correlacionadas que con variables anticorrelacionadas. ${\ estilo de visualización X = x_ {1}}$ ${\ estilo de visualización \ nombre del operador {E} (X) = 0}$ ${\ estilo de visualización Y = X}$ $X$ $Y$ $un=1$ $b=1$ ${\ estilo de visualización U = X}$ ${\ estilo de visualización V = Y = X}$ ${\ estilo de visualización Y = -X}$ $X$ $Y$ $un=1$ $b=-1$ ${\ estilo de visualización U = X}$ ${\ estilo de visualización V = -Y = X}$ ${\ estilo de visualización U = V}$

Relación con los ángulos principales

Supongamos que y tengamos cero expectativas matemáticas , es decir . Sus matrices de covarianza y pueden considerarse como matrices de Gram con producto interno para y respectivamente. En esta interpretación, las variables aleatorias, elementos del vector y elementos del vector , se tratan como elementos de un espacio vectorial con el producto escalar dado por la covarianza . $X=(x_{1},\puntos,x_{n})'$ $Y=(y_{1},\puntos,y_{m})'$ ${\ estilo de visualización \ nombre del operador {E} (X) = \ nombre del operador {E} (Y) = 0}$ $\Sigma _{XX}=\nombre del operador {Cov} (X,X)=\nombre del operador {E} [XX']$ $\Sigma _{YY}=\nombre del operador {Cov} (Y,Y)=\nombre del operador {E} [YY']$ $X$ $Y$ $x_{yo}$ $X$ $y_{j}$ $Y$ ${\ estilo de visualización \ nombre del operador {cov} (x_ {i}, y_ {j})}$

La definición de variables canónicas y es entonces equivalente a la definición de raíces vectoriales para pares de subespacios generados por y , teniendo en cuenta este producto escalar . La correlación canónica es igual al coseno del ángulo entre subespacios. $tu$ $V$ $X$ $Y$ ${\ estilo de visualización \ nombre del operador {corr} (U, V)}$

Blanqueamiento y análisis de correlación canónica probabilística

CCA también se puede considerar como una transformación de blanqueo especial [10] , donde los vectores aleatorios y se transforman simultáneamente de tal manera que la matriz de correlación cruzada entre los vectores blanqueados y es diagonal [11] . $X$ $Y$ ${\ Displaystyle X^{CCA}}$ ${\ Displaystyle Y ^ {CCA}}$

Las correlaciones canónicas se interpretan entonces como coeficientes de regresión que relacionan , y , y pueden ser negativas. Ver CCA como una regresión proporciona una forma de construir un modelo probabilístico generativo de variable latente para CCA con variables latentes no correlacionadas que representan la varianza total y parcial. ${\ Displaystyle X^{CCA}}$ ${\ Displaystyle Y ^ {CCA}}$

Véase también

Correlación canónica generalizada
Aprendizaje subespacial multilineal
relación RV
Ángulos entre hiperplanos
Método de componentes principales
Análisis Discriminante Lineal
valor singular de descomposición
Regresión de mínimos cuadrados parciales

Notas

↑ Härdle, Simar, 2007 , pág. 321–330.
↑ Knapp, 1978 , pág. 410–416.
↑ Hotelling, 1936 , pág. 321–377.
↑ Hsu, Kakade, Zhang, 2012 , pág. 1460.
↑ Huang, Lee, Hsiao, 2009 , pág. 2162.
↑ Mardia, Kent, Bibby, 1979 .
↑ Sieroja, Sahidullah, Kinnunen, Komulainen, Hadid, 2018 .
↑ Tofallis, 1999 , pág. 371–378.
↑ Degani, Shafto, Olson, 2006 , pág. 93.
↑ La transformación de blanqueamiento convierte un vector de variables aleatorias mediante una transformación lineal en ruido blanco
↑ Jendoubi, Strimmer, 2018 .

Literatura

Wolfgang Hardle, Leopold Simar. Análisis de Correlación Canónica // Análisis Estadístico Multivariante Aplicado. - 2007. - ISBN 978-3-540-72243-4 . -doi : 10.1007 / 978-3-540-72244-1_14 .
Knapp TR Análisis de correlación canónica: un sistema de prueba de significancia paramétrica general // Boletín psicológico. - 1978. - T. 85 , núm. 2 . -doi : 10.1037 / 0033-2909.85.2.410 .
Kanti V. Mardia, JT Kent, JM Bibby. analisis multivariable. — Prensa Académica , 1979.
Hotelling H. Relaciones entre dos conjuntos de variantes // Biometrika. - 1936. - T. 28 , núm. 3–4 . -doi :/ biomet/28.3-4.321 . — .
Hsu D., Kakade SM, Zhang T. Un algoritmo espectral para aprender modelos ocultos de Markov // Journal of Computer and System Sciences. - 2012. - T. 78 , núm. 5 . -doi : 10.1016/ j.jcss.2011.12.025 . - arXiv : 0811.4413 .
Huang SY, Lee MH, Hsiao CK Medidas no lineales de asociación con análisis y aplicaciones de correlación canónica del kernel // Journal of Statistical Planning and Inference. - 2009. - T. 139 , núm. 7 . -doi : 10.1016/ j.jspi.2008.10.011 .
Sieranoja S., Sahidullah Md, Kinnunen T., Komulainen J., Hadid A. Detección de sincronía audiovisual con funciones de audio optimizadas // IEEE 3rd Int. Conferencia sobre Procesamiento de Señales e Imágenes (ICSIP 2018). - 2018. - Julio.
Tofallis C. Construcción de modelos con múltiples variables dependientes y restricciones // Journal of the Royal Statistical Society, Serie D. - 1999. - V. 48 , no. 3 . -doi : 10.1111/ 1467-9884.00195 . -arXiv : 1109.0725 . _
Degani A., Shafto M., Olson L. Análisis de correlación canónica: uso de heliografías compuestas para representar patrones múltiples // Representación esquemática e inferencia . - 2006. - T. 4045. - (Apuntes de cátedra en Informática). — ISBN 978-3-540-35623-3 . -doi : 10.1007/ 11783183_11 .
Jendoubi T., Strimmer K. Un enfoque de blanqueamiento para el análisis de correlación canónica probabilística para la integración de datos ómicos. — 2018.

Enlaces

Análisis de correlación discriminante (DCA)
- Haghighat M., Abdel-Mottaleb M., Alhalabi W. Análisis de correlación discriminante: fusión de nivel de características en tiempo real para el reconocimiento biométrico multimodal . Transacciones IEEE sobre análisis forense y seguridad de la información]. - 2016. - T. 11(9). ( MATLAB )
Hardoon D., Szedmak S., Shawe-Taylor J. Análisis de correlación canónica: una descripción general con aplicación a métodos de aprendizaje // Computación neuronal. - 2004. - T. 16 , núm. 12 _ - Pág. 2639-2664. -doi : 10.1162/ 0899766042321814 . —PMID 15516276 .
Una nota sobre el análisis de correlación canónica ordinal de dos conjuntos de puntajes de clasificación - Journal of Quantitative Economics 7(2), 2009, pp. 173–199
Análisis de correlación canónica restringida por representación: una hibridación de correlación canónica y análisis de componentes principales ( programa FORTRAN proporcionado ) - Journal of Applied Economic Sciences 4(1), 2009, pp. 115–124

Aprendizaje automático y minería de datos
Tareas	Problema de clasificación Aprender sin un maestro Aprendizaje asistido por profesores Análisis de regresión AutoML reglas de asociación Extracción de características entrenamiento de rasgos Entrenamiento de clasificación Derivación gramatical Aprender en línea
Aprendiendo con un maestro	método del k-vecino más cercano Clasificador bayesiano ingenuo árbol de decisión Máquinas de vectores soporte Regresión lineal Regresión logística perceptrón conjuntos de modelos Harpillera impulsar bosque aleatorio Método de vector relevante
análisis de conglomerados	método k-medias método de agrupamiento difuso Agrupación jerárquica algoritmo EM ABEDUL CURAR DBSCAN ÓPTICA Desplazamiento medio
Reducción de dimensionalidad	Análisis factorial Método de componentes principales CCA ICA LDA Expansión de matriz no negativa t-SNE
Pronóstico estructural	Graficar modelo probabilístico red bayesiana Modelo oculto de Markov FRC
Detección de anomalías	método del k-vecino más cercano Nivel de emisión local
Graficar modelos probabilísticos	red bayesiana Red de Markov Modelo oculto de Markov
Redes neuronales	Máquina Boltzmann limitada mapa autoorganizado Función de activación Sigmoideo softmax Funcion de base radial Método de propagación hacia atrás Aprendizaje profundo perceptrón multicapa Red neuronal recurrente memoria a corto plazo Bloque recurrente controlado Red neuronal convolucional U-red Codificador automático
Aprendizaje reforzado	proceso de Markov Ecuación de Bellman Algoritmo codicioso Q-aprendizaje SARAS Diferencia temporal (DT)
Teoría	Teoría de Vapnik-Chervonenkis Dilema de dispersión de sesgo Teoría del aprendizaje computacional Minimización empírica del riesgo El aprendizaje de Occam aprendizaje PAC Teoría del aprendizaje estadístico
revistas y congresos	NeurIPS ICML ML JMLR ArXiv:cs.LG