Matriz de covarianza

La matriz de covarianza (o matriz de covarianza ) en la teoría de la probabilidad es una matriz compuesta de covarianzas por pares de elementos de uno o dos vectores aleatorios .

La matriz de covarianza de un vector aleatorio es una matriz definida no negativa simétrica cuadrada, en cuya diagonal se ubican las varianzas de los componentes del vector, y los elementos fuera de la diagonal son las covarianzas entre los componentes.

La matriz de covarianza de un vector aleatorio es un análogo multivariante de la varianza de una variable aleatoria para vectores aleatorios. La matriz de covarianza de dos vectores aleatorios es un análogo multidimensional de la covarianza entre dos variables aleatorias.

En el caso de un vector aleatorio normalmente distribuido, la matriz de covarianza, junto con la expectativa matemática de este vector, determina completamente su distribución (por analogía con el hecho de que la expectativa matemática y la varianza de una variable aleatoria normalmente distribuida determinan completamente su distribución)

Definiciones

Sean , dos vectores aleatorios de dimensión y , respectivamente. Deje también que las variables aleatorias tengan un segundo momento finito ( dispersión ), es decir . Entonces la matriz vectorial de covarianza se llama ${\mathbf {X}}:\Omega \to {\mathbb {R}}^{n}$ ${\mathbf {Y}}:\Omega \to {\mathbb {R}}^{m}$ $norte$ $metro$ $X_{i},Y_{j},\;i=1,\ldots,n,\;j=1,\ldots,m$ $X_{i},Y_{j}\en L^{2}$ ${\mathbf{X}),{\mathbf{Y}}$

\Sigma ={\mathrm {cov}}({\mathbf {X}},{\mathbf {Y}})={\mathbb {E}}\left[({\mathbf {X}}-{\mathbb {E}}{\mathbf {X}})({\mathbf {Y}}-{\mathbf {E}}{\mathbf {Y}})^{{\top }}\right],

eso es

\Sigma =(\sigma_{{ij}})

dónde

\sigma _{{ij))={\mathrm {cov}}(X_{i},Y_{j})\equiv {\mathbb {E}}\left[(X_{i}-{\mathbb {E }}X_{i})(Y_{j}-{\mathbb {E}}Y_{j})\right],\;i=1,\ldots,n,\;j=1,\ldots,m

{\ matemáticas {E}}

- esperanza matemática .

Si , entonces se llama matriz de covarianza vectorial y se denota por . [1] Tal matriz de covarianza es una generalización de la varianza para una variable aleatoria multivariante , y su traza es una expresión escalar para la varianza de una variable aleatoria multivariante . En este sentido, también se usa la notación : la varianza de un vector aleatorio. Los vectores propios y los valores propios de esta matriz permiten estimar el tamaño y la forma de la nube de distribución de dicha variable aleatoria aproximándola con un elipsoide (o una elipse en el caso bidimensional). ${\mathbf {X}}\equiv {\mathbf {Y}}$ $\Sigma$ $\mathbf{X}$ ${\mathrm {cov}}({\mathbf {X}})$ $V(X)$

Propiedades de las matrices de covarianza

Fórmula abreviada para calcular la matriz de covarianza:

{\mathrm {cov}}({\mathbf {X}})={\mathbb {E}}\left[{\mathbf {X}}{\mathbf {X}}^({\top }}\right ]-{\mathbb {E}}[{\mathbf {X}}]\cdot {\mathbb {E}}\left[{\mathbf {X}}^({\top }}\right]

La matriz de covarianza de un vector aleatorio se define de forma no negativa [1] :

{\mathrm {cov}}({\mathbf {X}})\geq 0

Cambio de escala:

{\mathrm {cov}}\left({\mathbf {a}}^{{\top }}{\mathbf {X}}\right)={\mathbf {a}}^{{\top }}{ \mathrm {cov}}({\mathbf {X}}){\mathbf {a}},\;\forall {\mathbf {a}}\in {\mathbb {R}}^{n}

Si los vectores aleatorios y no están correlacionados ( ), entonces $\mathbf{X}$ $\mathbf{Y}$ ${\mathrm {cov}}({\mathbf {X}},{\mathbf {Y}})={\mathbf {0}}$

{\mathrm {cov}}({\mathbf {X}}+{\mathbf {Y}})={\mathrm {cov}}({\mathbf {X}})+{\mathrm {cov}}( {\ matemáticas {Y}})

Matriz de covarianza de transformación afín :

{\mathrm {cov}}\left({\mathbf {A}}{\mathbf {X}}+{\mathbf {b}}\right)={\mathbf {A}}{\mathrm {cov}} ({\mathbf {X}}){\mathbf {A}}^{{\arriba}}

donde es una matriz arbitraria de tamaño , y . $\matemáticas {A}$ $n\veces n$ ${\mathbf {b}}\in {\mathbb{R}}^{n}$

Reordenando argumentos:

{\mathrm {cov}}({\mathbf {X}},{\mathbf {Y}})={\mathrm {cov}}({\mathbf {Y}},{\mathbf {X}})^ {{\parte superior}}

La matriz de covarianza es aditiva en cada argumento:

{\mathrm {cov}}({\mathbf {X}}_{1}+{\mathbf {X}}_{2},{\mathbf {Y}})={\mathrm {cov}}({ \mathbf {X}}_{1},{\mathbf {Y}})+{\mathrm {cov}}({\mathbf {X}}_{2},{\mathbf {Y}})

{\mathrm {cov}}({\mathbf {X}},{\mathbf {Y}}_{1}+{\mathbf {Y}}_{2})={\mathrm {cov}}({ \mathbf {X)),{\mathbf {Y}}_{1})+{\mathrm {cov}}({\mathbf {X}},{\mathbf {Y}}_{2})

Si y son independientes, entonces $\mathbf{X}$ $\mathbf{Y}$

{\mathrm {cov}}({\mathbf {X}},{\mathbf {Y}})={\mathbf {0}}

Matriz de covarianza condicional

La matriz de covarianza de un vector aleatorio es una característica de su distribución. En el caso de una distribución normal (multivariante), la media de un vector y su matriz de covarianza determinan completamente su distribución. Las características de la distribución condicional de un vector aleatorio dado el valor de otro vector aleatorio son la expectativa condicional ( función de regresión ) y la matriz de covarianza condicional, respectivamente.

Sean vectores aleatorios y tengan una distribución normal conjunta con expectativas matemáticas , matrices de covarianza y matriz de covarianza . Esto significa que el vector aleatorio combinado sigue una distribución normal multivariante con un vector de expectativa y una matriz de covarianza que se puede representar como la siguiente matriz de bloques $X$ $Y$ $\mu _{X},\mu _{Y}$ $V_{X},V_{Y}$ $C_{{XY}}$ ${\boldsymbol Z}={\begin{bmatrix}{\boldsymbol X}\\{\boldsymbol Y}\end{bmatrix}}$ ${\boldsymbol \mu }_{{Z))={\begin{bmatrix}{\boldsymbol \mu }_{X}\\{\boldsymbol \mu }_{Y}\end{bmatrix)),$

${\boldsymbol V}_{Z}={\begin{bmatrix}{\boldsymbol V}_{X}&{\boldsymbol C}_{{XY}}\\{\boldsymbol C}_{{YX}} &{\boldsymbol V}_{{Y}}\end{bmatriz}}$ dónde $C_{{YX}}=C_{{XY}}^{T}$

Entonces el vector aleatorio para un valor dado del vector aleatorio tiene una distribución normal (condicional) con la siguiente expectativa condicional y matriz de covarianza condicional $Y$ $X$

$E(Y|X=x)=\mu_{Y}+C_{{YX}}V_{X}^{{-1}}(x-\mu_{X}),\qquad V(Y| X=x)=V_{Y}-C_{{YX}}V_{X}^{{-1}}C_{{XY}}$

La primera igualdad define la función de regresión lineal (la dependencia de la expectativa condicional del vector sobre el valor dado x del vector aleatorio ), y la matriz es la matriz de coeficientes de regresión. $Y$ $X$ $C_{{XY}}V^{{-1}}$

La matriz de covarianza condicional es la matriz de covarianza de error aleatorio de regresiones lineales de los componentes de vector por vector . $Y$ $X$

En el caso de que sea una variable aleatoria ordinaria (un vector de un componente), la matriz de covarianza condicional es la varianza condicional (esencialmente, el error aleatorio de la regresión en el vector ) $Y$ $Y$ $X$

Notas

↑ 1 2 A. N. Shiryaev. Capítulo 2, §6. Variables Aleatorias II // Probabilidad. - 3ra ed. - Cambridge, Nueva York, ...: MTSNMO, 2004. - T. 1. - P. 301. - 520 p.