Teorema de Karhunen-Loeve

La versión actual de la página aún no ha sido revisada por colaboradores experimentados y puede diferir significativamente de la versión revisada el 19 de octubre de 2020; la verificación requiere 1 edición .

Una importante cuestión fundamental de la teoría de la discretización es la cuestión del volumen de una descripción discreta de las señales, es decir, el número de funciones básicas utilizadas para representar: $norte$

a(t)=\sum_{{k=0}}^{{N-1}}\alpha_{{k}}\varphi_{{k}}(t)

Para encontrar la base óptima, debe determinar la clase de señales para las que se busca y también establecer la precisión de recuperación para esta clase. En el enfoque estadístico de la descripción de las señales, la base dimensional óptima para representar las realizaciones de señales individuales suele considerarse la base en la que la tasa de error, promediada sobre el conjunto de realizaciones, es mínima. En este caso, las condiciones necesarias y suficientes para el mínimo de la norma de error de representar la señal como una suma de funciones básicas están determinadas por el teorema de Karhunen-Loev. $norte$

Redacción popular

El valor mínimo de la norma de error en la representación de señales en un intervalo de longitud se logra utilizando como base las funciones propias del operador, cuyo núcleo es la función de correlación de señales : $T$ $R_{{a}}(t,\tau)$

\int _{{-{\frac {T}{2}}}}^{{{\frac {T}{2}}}}R_{{a}}(t,\tau )\varphi _{{ k}}(\tau )d\tau =\lambda _{{k}}\varphi _{{k}}(t)

correspondientes a los valores propios más grandes. En este caso, la tasa de error es: $norte$

\|\epsilon \|_{{min}}^{{2}}=\|a(t)-\sum _{{k=0}}^{{N-1}}\alpha _{{k }}\varphi _{{k}}(t)\|_{{min}}^{{2}}=\sum_{{k=N}}^{{\infty }}\lambda_{{ k))

Tal descomposición es la descomposición de Karhunen-Loeve [1] [2] .

Aplicación

In the theory of random processes, the Karhunen-Loeve theorem (named after Kari Karhunen and Michel Loeve ) is a representation of a random process as an infinite linear combination of orthogonal functions , similar to the representation of Fourier series - a sequential representation of functions en un intervalo acotado. Unlike Fourier series, where the coefficients are real numbers and the representation basis consists of sinusoidal functions (that is, sine and cosine functions with different frequencies), the coefficients in the Karhunen-Loeve theorem are random variables, and the representation basis depends on the proceso.

Un proceso aleatorio centrado { X t } t ∈ [ a , b ] (donde centrar significa que las expectativas matemáticas E( X t ) existen y son iguales a cero para todos los valores del parámetro t de [ a , b ]) , que satisface la condición técnica de continuidad, admite descomposición de la siguiente forma:

{\mathbf {X}}_{t}=\sum_{{k=1}}^{\infty }{\mathbf {Z}}_{k}e_{k}(t).

donde Z k son variables aleatorias mutuamente no correlacionadas y funciones e k son funciones reales continuas en [ a , b ] ortogonales en L ² [ a , b ]. En el caso de un proceso no centrado, se obtiene una expansión similar al expandir la función de expectativa en la base e k .

Si el proceso es gaussiano , entonces las variables aleatorias Z k también son gaussianas y son independientes . Este resultado generaliza las transformaciones de Karhunen-Loeve . Un ejemplo importante de un proceso estocástico centrado en el intervalo [0,1] es el proceso de Wiener , y el teorema de Karhunen-Loeve se puede utilizar para obtener una representación ortogonal canónica. En este caso, la expansión consta de funciones sinusoidales. ${\mathbf {X}}_{t}$

Las descomposiciones anteriores también se conocen como descomposiciones de Karhunen-Loeve o descomposición (versión empírica, es decir, con coeficientes de los datos numéricos originales), como análisis de componentes principales , descomposición ortogonal propia o transformada de Hotelling .

Redacción

Formulemos el resultado en términos de procesos estocásticos de valores complejos. Los resultados se pueden aplicar a procesos de valores reales sin modificación, recordando que el complejo conjugado de un número real es igual a sí mismo.

Para elementos aleatorios X e Y , el producto escalar se define mediante la fórmula

\langle {\mathbf {X}}|{\mathbf {Y}}\rangle =\operatorname {E}({\mathbf {X^{*}}}{\mathbf {Y}})

donde * denota la operación de conjugación compleja .

Estadísticas de segundo orden

El producto escalar está bien definido si ambos y tienen segundos momentos finitos o, de manera equivalente, si ambos son integrables al cuadrado . Tenga en cuenta que el producto escalar está relacionado con la covarianza y la correlación . En particular, para variables aleatorias con una media de cero, la covarianza y el producto escalar son los mismos. Función de autocovarianza $X$ $Y$ $K_{{\mathrm {XX}}}$

K_{{\mathrm {XX}}}(t,s)=\operatorname {Cov}[X(t),X(s)]=\langle {\mathbf {X}}_{t}|{\mathbf {X}}_{s}\rango

{\displaystyle =\mathrm {E} \{[X(t)-\mu_{X}(t)]^{*}[X(s)-\mu_{X}(s)]\))

=\mathrm {E} \{X^{*}(t)X(s)\}-\mu _{X}^{*}(t)\mu _{X}(s)

=R_{\mathrm {XX} }(t,s)-\mu _{X}^{*}(t)\mu _{X}(s).

Si el proceso { X t } t está centrado, entonces

{\ estilo de visualización \ mu _ {X} (t) = 0}

para todo t . Así, la autocovarianza de K XX es igual a la autocorrelación de R XX :

K_{\mathrm {XX} }(t,s)=R_{\mathrm {XX} }(t,s).

Tenga en cuenta que si { X t } t está centrado y t 1 , ≤ t 2 , …, ≤ t N son puntos en el intervalo [ a , b ], por lo tanto

\sum _{{k,\ell }}\operatorname {Cov}_{({\mathbf {X}}}}(t_{k},t_{\ell })=\operatorname {Var}\left(\ suma _{{k=1}}^{N}{\mathbf {X}}_{k}\right)\geq 0.

Enunciado del teorema

teorema _ Considere un proceso estocástico centrado indexado en un intervalo con una función de covarianza . Supongamos que la función de covarianza es continua en el conjunto de variables . Entonces es un núcleo definido positivo y, según el teorema de Mercer, el operador integral en (cerca de la medida de Lebesgue en ) tiene una base ortonormal de vectores propios. Sean vectores propios correspondientes a valores propios distintos de cero y $\{{\mathbf {X}}_{t}\}$ $t$ $[a,b]$ ${\mathrm {Cov}}_{{{\mathbf {X}}}}$ ${\mathrm {Cov}}_{{{\mathbf {X}}}}(t,s)$ $t, s$ ${\mathrm {Cov}}_{{{\mathbf {X}}}}$ $T$ $L^{2}[a,b]$ $[a,b]$ $\{e_{i}\}$ $T$

{\mathbf {Z}}_{i}=\int _{a}^{b}{\mathbf {X}}_{t}e_{i}(t)dt.

Entonces son variables aleatorias ortogonales centradas y $Z_{yo}$

{\mathbf {X}}_{t}=\sum_{{i=1}}^{\infty}e_{i}(t){\mathbf {Z}}_{i}

la serie converge en el cuadrado medio y también uniformemente en . Además $t$

\operatorname {Var}({\mathbf {Z}}_{i})=\operatorname {E}({\mathbf {Z}}_{i}^{2})=\lambda _{i}.

donde es el valor propio correspondiente al vector propio . $\lambda _{i}$ $e_{yo}$

Cauchy sumas

En la formulación del teorema, la integral en la definición puede entenderse como el límite en promedio de las sumas de Cauchy de variables aleatorias $Z_{yo}$

\sum _{{k=0}}^{{\ell -1}}{\mathbf {X}}_({\xi _{k}}}e_{i}(\xi _{k})( t_{{k+1}}-t_{k}),

dónde

a=t_{0}\leq \xi _{0}\leq t_{1}\leq \cdots \leq \xi _{{\ell -1}}\leq t_{n}=b

Caso especial: Distribución Gaussiana

Dado que el límite cuadrático medio de las variables aleatorias conjuntas gaussianas es gaussiana y las variables aleatorias conjuntas gaussianas (centradas) son independientes si y solo si son ortogonales, también podemos concluir:

teorema _ Las variables aleatorias tienen una distribución gaussiana y son independientes si el proceso inicial { X t } t también es gaussiano. $Z_{yo}$

En el caso gaussiano, dado que las variables aleatorias son independientes, podemos estar seguros de que: $Z_{yo}$

\lim_{N\rightarrow \infty}}\sum_{{i=1}}^{N}e_{i}(t){\mathbf {Z}}_{i}(\omega)={ \mathbf {X}}_{t}(\omega)

casi seguro

Nótese que, generalizando el teorema de Mercer, podemos sustituir el intervalo por otros espacios compactos , y la medida de Lebesgue on por una medida de Borel soportada en . $[a,b]$ $C$ $[a,b]$ $C$

Proceso de Wiener

El proceso de Wiener en la teoría de procesos aleatorios es un modelo matemático del movimiento browniano o caminata aleatoria con tiempo continuo. Aquí lo definimos como un proceso gaussiano centrado B ( t ) con función de covarianza

{\mathrm {K}}_{{\mathrm {BB}}}(t,s)=\operatorname {Cov}(B(t),B(s))=\min(s,t).

Es fácil ver que los vectores propios de covarianza son

e_{k}(t)={\sqrt {2}}\sin \left(k-{\frac {1}{2}}\right)\pi t

y los valores propios correspondientes

\lambda _{k}={\frac {4}{(2k-1)^{2}\pi ^{2}}}.

Esto nos permite obtener la siguiente representación del proceso de Wiener:

teorema _ Existe una secuencia { W i } i de variables aleatorias gaussianas independientes con media cero y varianza unitaria tal que

{\mathbf {B}}_{t}={\sqrt {2}}\sum_{{k=1}}^{\infty }{\mathbf {W}}_{k}{\frac {\ sin \left(k-{\frac {1}{2}}\right)\pi t}{\left(k-{\frac {1}{2}}\right)\pi }}.

La convergencia es uniforme en t en la norma L² tal que

\operatorname {E}\left({\mathbf {B}}_{t}-{\sqrt {2}}\sum_{{k=1}}^{n}{\mathbf {W}}_{ k}{\frac {\sin \left(k-{\frac {1}{2}}\right)\pi t}{\left(k-{\frac {1}{2}}\right)\ pi }}\derecha)^{2}\flecha derecha 0

uniformemente en t .

Uso

Se ha sugerido que el proyecto SETI debería usar transformadas de Karhunen-Loeve para detectar señales con un espectro muy amplio. De manera similar, los sistemas de óptica adaptativa a veces usan funciones de Karhunen-Loeve para recuperar información sobre la fase del frente de onda. (Dai 1996, JOSA A).

Véase también

I. I. Gikhman, A. V. Skorokhod, Introducción a la teoría de los procesos aleatorios (enlace inaccesible) .- M.: Nauka, 1965.
B. Simon, Integración funcional y física cuántica , Academic Press, 1979
K. Karhunen, Kari, Uber lineare Methoden in der Wahrscheinlichkeitsrechnung , Ann. Academia ciencia fenicae. Ser. AI Math.-Phys., 1947, no. 37, 1-79
M. Loev, Teoría de la probabilidad , - M .: IL, 1962.
G. Dai, Reconstrucción de frente de onda modal con polinomios de Zernike y funciones de Karhunen-Loeve , JOSA A, 13, 6, 1996

Notas

↑ Introducción al procesamiento de imágenes digitales, 1979 , p. 68.
↑ Teoría de la señal, 1974 , p. 115.

Literatura

Yaroslavsky L.P. Introducción al procesamiento digital de imágenes. - M. : radio soviética, 1979. - 312 p.
Franks L. Teoría de las señales. - M. : radio soviética, 1974. - 399 p.