Relación de Rayleigh

En matemáticas , para una matriz hermítica compleja dada y un vector distinto de cero , la relación de Rayleigh [1] se define de la siguiente manera [2] [3] : $METRO$ $X$ $R(M,x)$

R(M,x)={x^{{*}}Mx \sobre x^{{*}}x}.

Para matrices reales, la condición para que una matriz sea hermítica se reduce a su simetría , y la conjugación hermítica de vectores se convierte en una transposición ordinaria . Tenga en cuenta que para cualquier constante real . Recuerde que una matriz hermítica (así como una real simétrica) tiene valores propios reales . Se puede demostrar que para una matriz, la relación de Rayleigh alcanza su valor mínimo (el valor propio más pequeño de la matriz ) cuando es igual a (el vector propio correspondiente). De manera similar, se puede demostrar que y . La relación de Rayleigh se utiliza en el teorema minimax de Courant-Fisher para obtener todos los valores de los valores propios [4] . También se utiliza en algoritmos para encontrar valores propios de matriz para obtener una aproximación de valor propio a partir de una aproximación de vector propio. Es decir, la relación es la base para las iteraciones con la relación de Rayleigh [5] [6] . $x^{{*}}$ $X'$ $R(M,cx)=R(M,x)$ $c\neq 0$ $\lambda _{\min}$ $METRO$ $X$ $v_{\min}$ $R(M,x)\leq\lambda _{\max}$ $R(M,v_{\max })=\lambda _{\max }$

El conjunto de valores de la relación de Rayleigh se denomina imagen numérica de la matriz [7] [8] .

Un caso especial de matrices de covarianza

La matriz de covarianza M para una muestra estadística multivariada A (matriz de observaciones) se puede representar como un producto A' A [9] [10] . Al ser una matriz real simétrica, M tiene valores propios no negativos y vectores propios ortogonales (o reducibles a ortogonales).

Primero, que los autovalores no sean negativos: $\lambda _{i}$

Mv_{i}=A'Av_{i}=\lambda _{i}v_{i}

\Rightarrow v_{i}'A'Av_{i}=v_{i}'\lambda _{i}v_{i}

\Rightarrow \left\|Av_{i}\right\|^{2}=\lambda _{i}\left\|v_{i}\right\|^{2}

\Rightarrow \lambda _{i}={\frac {\left\|Av_{i}\right\|^{2}}{\left\|v_{i}\right\|^{2}}}\ geq 0.

Y, en segundo lugar, que los vectores propios son ortogonales entre sí: $v_{i}$

Mv_{i}=\lambda_{i}v_{i}

\Rightarrow v_{j}'Mv_{i}=\lambda _{i}v_{j}'v_{i}

\Rightarrow (Mv_{j})'v_{i}=\lambda _{i}v_{j}'v_{i}

\Rightarrow \lambda_{j}v_{j}'v_{i}=\lambda_{i}v_{j}'v_{i}

\Rightarrow (\lambda _{j}-\lambda _{i})v_{j}'v_{i}=0

\Rightarrow v_{j}'v_{i}=0

(si los valores propios son diferentes, en el caso de los mismos valores, puede encontrar una base ortogonal).

Demostremos ahora que la relación de Rayleigh toma un valor máximo en el vector correspondiente al valor propio más grande. Expandamos un vector arbitrario en términos de la base de los vectores propios v i : $X$

x=\sum_{{i=1}}^{n}\alpha_{i}v_{i}

, donde es la proyección de x sobre

\alpha _{i}={\frac {x'v_{i}}{v_{i}'v_{i}}}={\frac {\langle x,v_{i}\rangle }{\left\ |v_{i}\derecho\|^{2}}}

v_{i}

Así, la igualdad

R(M,x)={\frac{x'A'Ax}{x'x}}

puede reescribirse de la siguiente forma:

R(M,x)={\frac {(\sum_{{j=1}}^{n}\alpha_{j}v_{j})'A'A(\sum_{{i=1 }}^{n}\alpha _{i}v_{i})}{(\sum_{{j=1}}^{n}\alpha_{j}v_{j})'(\sum_ {{i=1}}^{n}\alpha _{i}v_{i})}}

Dado que los vectores propios son ortogonales, la última igualdad se convierte en

R(M,x)={\frac {\sum_{{i=1}}^{n}\alpha_{i}^{2}\lambda_{i}}{\sum_{{i= 1}}^{n}\alpha _{i}^{2}}}=\sum _{{i=1}}^{n}\lambda _{i}{\frac {(x'v_{i })^{2}}{(x'x)(v_{i}'v_{i})}}

La última igualdad muestra que la razón de Rayleigh es la suma de los cosenos al cuadrado de los ángulos entre el vector y cada uno de los vectores propios , multiplicada por el valor propio correspondiente. $X$ $v_{i}$

Si un vector maximiza , entonces todos los vectores obtenidos de la multiplicación por un escalar ( for ) también maximizan R . Por lo tanto, el problema puede reducirse a encontrar el máximo bajo la condición . $X$ $R(M,x)$ $X$ $kx$ $k\neq 0$ $\sum _{{i=1}}^{n}\alpha _{i}^{2}\lambda _{i}$ $\sum _{{i=1}}^{n}\alpha _{i}^{2}=1$

Como todos los autovalores son no negativos, el problema se reduce a encontrar el máximo de una función convexa , y se puede demostrar que se alcanza en y (los autovalores se ordenan de forma descendente). $\alpha _{1}=1$ $\forall i>1,\alpha _{i}=0$

Por lo tanto, la relación de Rayleigh alcanza su máximo en el vector propio correspondiente al valor propio máximo.

Mismo resultado usando multiplicadores de Lagrange

El mismo resultado se puede obtener usando multiplicadores de Lagrange . El problema es encontrar los puntos críticos de la función.

R(M,x)=x^{T}Mx

en un valor constante Es decir, necesitas encontrar los puntos críticos de la función $\|x\|^{2}=x^{T}x=1.$

{\mathcal {L}}(x)=x^{T}Mx-\lambda (x^{T}x-1),

donde es el multiplicador de Lagrange. Para puntos estacionarios de la función , la igualdad $\lambda$ ${\mathcal {L}}(x)$

{\frac {d{\mathcal {L}}(x)}{dx}}=0

\por lo tanto 2x^{T}M^{T}-2\lambda x^{T}=0

\por lo tanto Mx=\lambda x

y $R(M,x)={\frac {x^{T}Mx}{x^{T}x}}=\lambda {\frac {x^{T}x}{x^{T}x}} =\lambda.$

Así, los vectores propios de la matriz M son puntos críticos de la relación de Rayleigh, y sus valores propios son los valores estacionarios correspondientes. $x_{1}\ldots x_{n}$ $\lambda _{1}\ldots \lambda _{n}$

Esta propiedad es la base del análisis de componentes principales y la correlación canónica .

Uso en la teoría de Sturm-Liouville

La teoría de Sturm-Liouville consiste en el estudio del operador lineal

L(y)={\frac {1}{w(x)}}\left(-{\frac {d}{dx}}\left[p(x){\frac {dy}{dx}}\ derecha]+q(x)y\derecha)

con producto escalar

\langle {y_{1},y_{2}}\rangle =\int _{a}^{b}w(x)y_{1}(x)y_{2}(x)\,dx

donde las funciones satisfacen algunas condiciones de contorno específicas en los puntos ayb . La relación de Rayleigh aquí toma la forma

{\frac {\langle {y,Ly}\rangle }{\langle {y,y}\rangle }}={\frac {\int _{a}^{b}{y(x)\left(- {\frac {d}{dx}}\left[p(x){\frac {dy}{dx}}\right]+q(x)y(x)\right)}dx}{\int_{ a}^{b}{w(x)y(x)^{2}}dx}}.

A veces, esta relación se representa de forma equivalente utilizando la integración por partes [11] :

{\frac {\langle {y,Ly}\rangle }{\langle {y,y}\rangle }}={\frac {\int _{a}^{b}{y(x)\left(- {\frac {d}{dx}}\left[p(x)y'(x)\right]\right)}dx+\int _{a}^{b}{q(x)y(x)^ {2}}\,dx}{\int _{a}^{b}{w(x)y(x)^{2}}\,dx}}

={\frac {-y(x)\left[p(x)y'(x)\right]|_{a}^{b}+\int _{a}^{b}{y'(x )\left[p(x)y'(x)\right]}\,dx+\int _{a}^{b}{q(x)y(x)^{2}}\,dx}{\ int _{a}^{b}{w(x)y(x)^{2}}\,dx}}

={\frac {-p(x)y(x)y'(x)|_{a}^{b}+\int _{a}^{b}\left[p(x)y'(x )^{2}+q(x)y(x)^{2}\right]\,dx}{\int _{a}^{b}{w(x)y(x)^{2)) \,dx}}.

Generalización

Para cualquier par de matrices definidas positivas simétricas reales y un vector distinto de cero , la relación de Rayleigh generalizada se define como $(A, B)$ $X$

R(A,B;x):={\frac {x^{T}Ax}{x^{T}Bx}}.

La relación de Rayleigh generalizada se puede reducir a la relación de Rayleigh transformando , donde es la descomposición de la matriz de Cholesky . $R(D,Cx)$ $D={C^{*}}^{{-1}}AC^{{-1}}$ $C$ $B$

Véase también

Imagen numérica de una matriz

Notas

↑ también conocida como la relación Rayleigh-Ritz , llamada así por Walter Ritz y Lord Rayleigh .
↑ Horn, R. A. y C. A. Johnson. 1985. Análisis matricial . Prensa de la Universidad de Cambridge. páginas. 176–180.
↑ Parlet BN El problema de valores propios simétricos , SIAM, Clásicos en Matemáticas Aplicadas, 1998
↑ Beckenbach, 1965 , §26 Teorema minimax de Fischer.
↑ Parlett, 1983 , §4.6 Iteraciones con la relación de Rayleigh, p. 87).
↑ Verbitsky, 2000 , §4.3 Iteraciones inversas, p. 115.
↑ Gevorgian .
↑ Prasolov, 2008 , 2.2 El núcleo y la imagen del operador. Espacio factorial., pág. 114.
↑ Korshunov, 2008 , Introducción.
↑ ACTA, 2005 .
↑ Habermann, 1987 .

Literatura

B. Parlet. Problema de valores propios simétricos. Métodos numéricos. — 1983.
E. Beckenbbach, R. Bellman. Desigualdades. - Moscú "Mir", 1965.
Ricardo Haberman. Ecuaciones diferenciales parciales elementales aplicadas. — Prentice Hall, Englewood, Nueva Jersey, 1987.
V. M. Verzhbitsky. Métodos Numéricos (Álgebra Lineal y Ecuaciones No Lineales). - "Escuela Superior" de Moscú, 2000.
VV Prasolov. Problemas y teoremas de álgebra lineal. — Moscú, 2008.
Gevorgyan LZ Algunas características geométricas de la imagen numérica de un operador . – Universidad Estatal de Ingeniería de Armenia. Archivado desde el original el 31 de agosto de 2006.
Zdzisław Burda, Jerzy Jurkiewicz, Bartłomiej Wacław. Densidad de valores propios de la matriz de covarianza empírica para muestras correlacionadas // Acta physica polonica B. - 2005. - Vol. 36 , no. 9 _ - S. 2642 .
Korshunov Yu. M. Obtención de una muestra estadística multidimensional con propiedades de correlación dadas . Vestnik RGRTU. - 2008. - Edición. 23 .
Shi Yu, Léon-Charles Tranchevent, Bart Moor, Yves Moreau. cap. 2 // Fusión de datos basada en kernel para aprendizaje automático: métodos y aplicaciones en bioinformática y minería de textos . — Springer, 2011.