Proceso gaussiano

La versión actual de la página aún no ha sido revisada por colaboradores experimentados y puede diferir significativamente de la versión revisada el 23 de agosto de 2017; las comprobaciones requieren 28 ediciones .

En teoría de probabilidad y estadística , un proceso gaussiano es un proceso estocástico (un conjunto de variables aleatorias indexadas por algún parámetro, generalmente tiempo o coordenadas) de modo que cualquier conjunto finito de estas variables aleatorias tiene una distribución normal multivariante , es decir, cualquier combinación lineal finita de ellos se distribuye normalmente. La distribución de un proceso gaussiano es la distribución conjunta de todas sus variables aleatorias y, por tanto, es una distribución de funciones con un dominio de definición continuo.

Si consideramos el proceso gaussiano como una forma de resolver problemas de aprendizaje automático, entonces se utiliza el aprendizaje perezoso y una medida de similitud entre puntos ( función kernel ) para obtener una predicción del valor de un punto invisible de la muestra de entrenamiento. El concepto de pronóstico, además de la estimación puntual en sí, incluye información sobre la incertidumbre: una distribución gaussiana unidimensional. [una]

Para calcular las predicciones de algunas funciones del kernel, se utiliza un método de álgebra matricial, kriging .

El proceso gaussiano recibe su nombre de Carl Friedrich Gauss , ya que se basa en el concepto de una distribución gaussiana (distribución normal ). El proceso gaussiano puede verse como una generalización de dimensión infinita de distribuciones normales multivariadas. Estos procesos se aplican en el modelado estadístico ; en particular, se utilizan propiedades de normalidad. Por ejemplo, si un proceso aleatorio se modela como gaussiano, entonces se pueden obtener las distribuciones de varias cantidades derivadas, como el valor promedio del proceso durante un cierto período de tiempo y el error en su estimación utilizando una muestra de valores. explícitamente.

Definición

Un proceso aleatorio con tiempo continuo es gaussiano si y solo si para cualquier conjunto finito de índices del conjunto de índices ${\displaystyle t_{1},\ldots,t_{k))$ $T$

\mathbf {X}_{t_{1},\ldots,t_{k}}=(\mathbf {X}_{t_{1}},\ldots,\mathbf {X}_{t_{ k))

es una variable aleatoria gaussiana multidimensional . [2] Al igual que cualquier combinación lineal tiene una distribución normal (gaussiana) unidimensional. Usando las funciones características de las variables aleatorias, la propiedad gaussiana se puede formular de la siguiente manera: - Gaussiana si y solo si para cualquier conjunto finito de índices , existen valores reales , donde tales que para toda la igualdad $(\mathbf {X} _{t_{1)),\ldots,\mathbf {X}_{t_{k)))$ $\left\{X_{t};t\in T\right\}$ ${\displaystyle t_{1},\ldots,t_{k))$ ${\ estilo de visualización \ sigma _ {\ ell j))$ ${\ estilo de visualización \ mu _ {\ ell}}$ ${\ estilo de visualización \ sigma _ {jj}> 0}$ $s_{1},s_{2},\ldots,s_{k}\en \mathbb {R}$

\operatorname {E} \left(\exp \left(i\ \sum _{\ell =1}^{k}s_{\ell }\ \mathbf {X} _{t_{\ell )) \right)\right)=\exp \left(-{\frac {1}{2}}\,\sum _{\ell ,j}\sigma _{\ell j}s_{\ell }s_{j }+i\sum_{\ell }\mu_{\ell }s_{\ell }\right).

Donde esta la unidad imaginaria . $i$

Los números y son las covarianzas y valores medios de las variables en los procesos, respectivamente. [3] ${\ estilo de visualización \ sigma _ {\ ell j))$ ${\ estilo de visualización \ mu _ {\ ell}}$

Funciones de covarianza

La característica principal de los procesos gaussianos es que pueden ser completamente determinados por las estadísticas de segundo orden. [4] Por lo tanto, la función de covarianza determina completamente el comportamiento del proceso si la esperanza matemática del proceso gaussiano es igual a cero. Es importante señalar que la definición no negativa de una función hace posible su descomposición espectral utilizando la expansión de Karhunen-Loeve . A través de la función de covarianza, se puede determinar la estacionariedad , isotropía , suavidad y periodicidad del proceso. [4] [5]

La estacionariedad expresa el comportamiento del proceso con respecto a la distancia entre dos puntos cualesquiera y . Si el proceso es estacionario, entonces depende de la posición relativa de sus puntos, la distancia entre ellos, , de lo contrario, es no estacionario, es decir, depende de la posición real de los puntos y . Un ejemplo es un caso especial del proceso de Ornstein-Uhlenbeck, el proceso del movimiento browniano : es estacionario. $X$ $X'$ ${\ estilo de visualización xxx'}$ $X$ $X'$

Si un proceso depende solo de , la distancia euclidiana (no la dirección) entre y , entonces se dice que el proceso es isótropo. Un proceso estacionario e isotrópico se llama homogéneo; [6] en la práctica, las propiedades de estacionariedad e isotropía reflejan diferencias (o, mejor dicho, su ausencia) en el comportamiento del proceso, teniendo en cuenta la posición del observador. ${\ estilo de visualización | xxx' |}$ $X$ $X'$

La esencia de los procesos gaussianos es obtener distribuciones de probabilidad a priori, cuya suavidad depende de la función de covarianza tomada. [4] Si esperamos que para los puntos de entrada "que estén cerca" y sus puntos de salida correspondientes y también "que estén cerca", entonces hay una suposición de continuidad de la función. Si queremos permitir un sesgo significativo, debemos elegir una función de covarianza más gruesa. Los ejemplos de comportamiento extremo incluyen la función de covarianza de Ornstein-Uhlenbeck y la función exponencial cuadrática, donde la primera no es diferenciable en ninguna parte y la última es infinitamente diferenciable. $X$ $X'$ $y$ $tu$

La periodicidad se entiende como la inducción de patrones periódicos en el comportamiento del proceso. Formalmente, esto se logra asignando el valor de entrada a un vector bidimensional $X$

$u(x)=(cos(x),sin(x)).$

Funciones ordinarias de covarianza

Hay una serie de funciones de covarianza comunes: [5]

Constante: $K_{\nombre del operador {C} }(x,x')=C$
Función lineal: $K_{\operatorname {L} }(x,x')=x^{T}x'$
Ruido gaussiano: $K_{\operatorname {GN} }(x,x')=\sigma ^{2}\delta_{x,x'}$
Función exponencial cuadrática: ${\displaystyle K_{\operatorname {SE} }(x,x')=\exp {\Big (}-{\frac {\|d\|^{2)){2\ell ^{2))} {\Grande)))$
Función de Ornstein-Uhlenbeck: $K_{\operatorname {OU} }(x,x')=\exp \left(-{\frac {|d|}{\ell }}\right)$
Madre: ${\displaystyle K_{\operatorname {Matern} }(x,x')={\frac {2^{1-\nu }}{\Gamma (\nu ))){\Big (}{\frac {{ \sqrt {2\nu }}|d|}{\ell }}{\Big )}^{\nu }K_{\nu }{\Big (}{\frac {{\sqrt {2\nu }} |d|}{\ell }}{\Big )))$
Función periódica: $K_{\operatorname {P} }(x,x')=\exp \left(-{\frac {2\sin ^{2}\left({\frac {d}{2))\right )}{\ell ^{2}}}\right)$
Función cuadrática racional: $K_{\operatorname {RQ} }(x,x')=(1+|d|^{2})^{-\alpha },\quad \alpha \geq 0$

aquí _ El parámetro es una característica de la escala de longitud del proceso (prácticamente, "qué tan cerca" deben estar dos puntos para que se influyan significativamente entre sí), es el símbolo de Kronecker y es la desviación estándar de las fluctuaciones del ruido. Además, es una función de Bessel modificada y es una función gamma calculada a partir de . Es importante tener en cuenta que una función de covarianza compleja se puede definir como una combinación lineal de otras funciones de covarianza más simples para combinar información diferente sobre los conjuntos de datos disponibles. ${\ estilo de visualización d = xx'}$ $\ana$ $X$ $X'$ $\delta$ $\sigma$ ${\ Displaystyle K_ {\ nu}}$ $\nu$ ${\ estilo de visualización \ gamma (\ nu)}$ $\nu$

Obviamente, los resultados obtenidos dependen de los valores de los hiperparámetros (por ejemplo, y ) que determinan el comportamiento del modelo. $\ theta$ $\ana$ $\sigma$

Movimiento browniano como integral de procesos gaussianos

El proceso de Wiener (el llamado movimiento browniano) es una integral del proceso de ruido blanco gaussiano. No es estacionario , sin embargo tiene incrementos estacionarios.

El proceso de Ornstein-Uhlenbeck es un proceso gaussiano estacionario.

Un puente browniano (similar al proceso de Ornstein-Uhlenbeck) es un ejemplo de un proceso gaussiano cuyos incrementos no son independientes .

El movimiento browniano fraccional es un proceso gaussiano cuya función de covarianza es una generalización de la función de proceso de Wiener.

Aplicaciones

El proceso gaussiano se puede utilizar como distribución de probabilidad previa de funciones en la inferencia bayesiana . [5] [8] Para cualquier conjunto de N puntos en el dominio de la función deseada, tome una distribución gaussiana multivariante cuyo parámetro de matriz de covarianza sea el determinante de Gram de los N puntos tomados con algún kernel deseado, y una muestra de esta distribución.

La derivación de valores continuos en base al proceso gaussiano determinado por las covarianzas anteriores se conoce como kriging (regresión basada en el proceso gaussiano). Por lo tanto, los procesos gaussianos son útiles como una poderosa herramienta de interpolación multidimensional no lineal . La regresión del proceso gaussiano se puede ampliar aún más para resolver problemas de aprendizaje tanto supervisados como no supervisados ( autoaprendizaje ) .

Predicción de procesos gaussianos o kriging

Cuando se trata del problema básico de la regresión basada en el proceso gaussiano ( kriging ), se asume que para un proceso gaussiano observado en coordenadas , el vector de valores es solo una de las muestras de una distribución gaussiana multivariante cuya dimensión es igual a la número de coordenadas observadas . Por lo tanto, bajo el supuesto de distribución cero, , donde es la matriz de covarianza entre todos los pares posibles para un conjunto dado de hiperparámetros . [5] Así, el logaritmo de la probabilidad marginal es igual a: $F$ $X$ $f(x)$ $|x|$ $f(x)\sim N(0,K(\theta,x,x'))$ $K(\theta,x,x')$ ${\ estilo de visualización (x, x')}$ $\ theta$

\log p(f(x)|\theta ,x)=-{\frac {1}{2}}f(x)^{T}K(\theta ,x,x')^{- 1}f(x)-{\frac {1}{2}}\log \det(K(\theta ,x,x'))-{\frac {|x|}{2}}\log 2\ Pi

y maximizar esta probabilidad marginal con respecto a da una caracterización completa del proceso gaussiano . Se puede notar que la primera expresión depende de la incapacidad del modelo para igualar los valores observados, y la segunda expresión es directamente proporcional a la complejidad del modelo. Habiendo indicado y hecho una predicción sobre valores no observados en coordenadas , queda dibujar una gráfica de muestras de la distribución predictiva , donde la estimación promedio posterior se define como $\ theta$ $F$ $\ theta$ $f(x^{*})$ $x^{*}$ $p(y^{*}\mid x^{*},f(x),x)=N(y^{*}\mid A,B)$ $A$

A=K(\theta,x^{*},x)K(\theta,x,x')^{-1}f(x)

y la estimación posterior de la varianza B se define como

B=K(\theta,x^{*},x^{*})-K(\theta,x^{*},x)K(\theta,x,x')^{-1 }K(\theta ,x^{*},x)^{T}

donde es la covarianza entre la nueva estimación de coordenadas y todas las demás coordenadas observadas para el vector hiperparamétrico dado , y se definen como antes, y es la varianza en el punto dictado por el vector . Es importante señalar que la estimación media subsiguiente (la "estimación puntual") es una combinación lineal de las observaciones ; asimismo, la varianza es efectivamente independiente de las observaciones . Un cuello de botella conocido en la predicción del proceso gaussiano es que la complejidad computacional de la predicción es cúbica en el número de puntos , es decir, el cálculo puede no ser posible para grandes conjuntos de datos. [4] Para solucionar este problema, se está trabajando en procesos gaussianos dispersos, que generalmente se basan en la idea de construir un conjunto representativo para un proceso dado . [9] [10] $K(\theta,x^{*},x)$ $x^{*}$ $X$ $\ theta$ $K(\theta,x,x')$ $f(x)$ $K(\theta,x^{*},x^{*})$ $x^{*}$ $\ theta$ $f(x^{*})$ $f(x)$ $f(x^{*})$ $f(x)$ $|x|$ $F$

Véase también

Notas

↑ Platypus Innovation: A Simple Intro to Gaussian Processes (una gran herramienta de modelado de datos) . Consultado el 15 de enero de 2018. Archivado desde el original el 1 de mayo de 2018. (indefinido)
↑ MacKay, David, JC Teoría de la información, inferencia y algoritmos de aprendizaje . - Cambridge University Press , 2003. - P. 540. - ISBN 9780521642989 . . — ""La distribución de probabilidad de una funciónes un proceso gaussiano si para cualquier selección finita de puntos, la densidades una gaussiana"". ${\ estilo de visualización y (\ mathbf {x})}$ ${\displaystyle \mathbf {x} ^{(1)},\mathbf {x} ^{(2)},\ldots,\mathbf {x} ^{(N)))$ $P(y(\mathbf {x} ^{(1)}),y(\mathbf {x} ^{(2)}),\ldots,y(\mathbf {x} ^{(N) }))$
↑ Dudley, R.M. Real Analysis and Probability. — Wadsworth y Brooks/Cole, 1989.
↑ 1 2 3 4 Peluquería, David. Razonamiento bayesiano y aprendizaje automático . - Prensa de la Universidad de Cambridge , 2012. - ISBN 978-0-521-51814-7 .
↑ 1 2 3 4 Rasmussen, CE; Williams, CKI Procesos gaussianos para el aprendizaje automático . - MIT Press , 2006. - ISBN 0-262-18253-X .
↑ Grimmett, Geoffrey; David Stirzaker. Probabilidad y Procesos Aleatorios . - Oxford University Press , 2001. - ISBN 0198572220 .
↑ La documentación de scikit-learn también tiene ejemplos similares . Archivado el 19 de abril de 2021 en Wayback Machine .
↑ Liu, W.; Príncipe, JC; Haykin, S. Kernel Filtrado adaptativo: una introducción completa . - John Wiley , 2010. - ISBN 0-470-44753-2 . Copia archivada (enlace no disponible) . Consultado el 15 de enero de 2018. Archivado desde el original el 4 de marzo de 2016. (indefinido)
↑ Smola, AJ; Schoellkopf, B. Aproximación de matriz codiciosa dispersa para el aprendizaje automático // Actas de la Decimoséptima Conferencia Internacional sobre Aprendizaje Automático: revista. - 2000. - Pág. 911-918 .
↑ Csato, L.; Opper, M. Procesos gaussianos en línea dispersos // Computación neuronal. - 2002. - vol. 14 _ - Pág. 641-668 . -doi : 10.1162/ 089976602317250933 .

Enlaces externos

Software

STK: una caja de herramientas pequeña (Matlab/Octave) para modelado Kriging y GP
Módulo Kriging en marco UQLab (Matlab)
Función Matlab/Octave para campos gaussianos estacionarios
Yelp MOE: un motor de optimización de caja negra que utiliza el aprendizaje de procesos gaussiano
ooDACE : una caja de herramientas matlab Kriging flexible orientada a objetos.
GPstuff: caja de herramientas de procesos gaussianos para Matlab y Octave
GPy: un marco de procesos gaussiano en Python
Demostración interactiva de regresión de procesos gaussianos
Biblioteca básica de procesos gaussianos escrita en C++11
scikit-learn : una biblioteca de aprendizaje automático para Python que incluye regresión y clasificación de procesos gaussianos
[1] - El kit de herramientas Kriging (KriKit) se desarrolla en el Instituto de Biociencias y Geociencias 1 (IBG-1) de Forschungszentrum Jülich (FZJ)