Muestreo de Gibbs
La versión actual de la página aún no ha sido revisada por colaboradores experimentados y puede diferir significativamente de la versión revisada el 6 de junio de 2019; la verificación requiere 1 edición .El muestreo de Gibbs es un algoritmo para generar una muestra de la distribución conjunta de un conjunto de variables aleatorias . Se utiliza para estimar la distribución conjunta y calcular integrales de Monte Carlo . Este algoritmo es un caso especial del algoritmo Metropolis-Hastings y lleva el nombre del físico Josiah Gibbs .
El muestreo de Gibbs es notable porque no requiere una distribución conjunta explícita, sino solo probabilidades condicionales para cada variable en la distribución. El algoritmo en cada paso toma una variable aleatoria y elige su valor, siempre que las demás sean fijas. Se puede demostrar que la secuencia de valores obtenidos forma una cadena de Markov recurrente , cuya distribución estable es justamente la distribución conjunta deseada.
El muestreo de Gibbs se utiliza en los casos en que la distribución conjunta de variables aleatorias es muy grande o se desconoce explícitamente, pero las probabilidades condicionales se conocen y tienen una forma simple. El muestreo de Gibbs se usa particularmente bien para tratar la probabilidad posterior en redes bayesianas , ya que se les dan todas las probabilidades condicionales necesarias.
Algoritmo
Sea una distribución conjunta para variables aleatorias, y puede ser muy grande. Supongamos que ya hemos elegido algún valor en el paso . En cada paso, se toman las siguientes acciones:
- Se selecciona el índice ).
- se elige de acuerdo a la distribución , y para los demás índices el valor no cambia: (j≠i).
En la práctica, el índice no suele elegirse al azar, sino secuencialmente. El algoritmo es simple y no requiere ningún conocimiento o suposición especial, por lo que es popular.
Ejemplo
Sea una distribución conjunta de tres variables aleatorias, cada una de las cuales está en el rango de 0 a 10.
Suponemos que el valor inicial del vector, a partir del cual parte el proceso iterativo, será .
A continuación, fijamos y , luego de lo cual calculamos la probabilidad condicional utilizando una fórmula conocida de antemano , es decir , obteniendo algún gráfico de la densidad de probabilidad de la variable . Lo que inicialmente establecimos igual a 5, lo olvidamos, este valor ya no será necesario.
Ahora necesita realizar un muestreo: generar un nuevo valor aleatorio de acuerdo con la densidad de probabilidad obtenida. El muestreo se puede realizar, por ejemplo, de acuerdo con el algoritmo de muestreo de varianza . Para ello, se genera un número aleatorio con una distribución uniforme del 0 al 10, tras lo cual se calcula su probabilidad para este número generado según el gráfico de densidad de probabilidad .
Por ejemplo, supongamos que se genera un número aleatorio 4 y según el gráfico de densidad su probabilidad es 0,2. Entonces, de acuerdo con el algoritmo de muestreo de varianza , aceptamos este número generado con una probabilidad de 0,2. Y para esto, a su vez, generamos otro número aleatorio del 0 al 1 con una distribución uniforme, y si se genera un número menor a 0.2, entonces aceptamos el número 4 como exitoso. De lo contrario, repetimos desde el principio: generamos otro número (por ejemplo, 3 cae), para ello encontramos la probabilidad (por ejemplo, 0.3), para ello generamos otro número de 0 a 1 (por ejemplo, 0.1) y finalmente lo aceptamos en esta iteración .
A continuación, debe repetir todos los pasos anteriores con el valor , y ya estamos usando el "nuevo", en nuestro ejemplo igual a 3. Entonces, calculamos la densidad de probabilidad , generamos nuevamente un número aleatorio para el rol de un candidato para un nuevo valor , haga una muestra con una desviación y repítala si el valor es "rechazado".
De igual forma se repiten las acciones para con nuevos valores y . Se completó la primera iteración del algoritmo de muestreo de Gibbs. Después de varios cientos/miles de tales iteraciones, los valores aleatorios deberían alcanzar un máximo de su densidad, que puede ubicarse lo suficientemente lejos de nuestra primera aproximación y muestrearse en esa área. Ya se pueden utilizar mil iteraciones adicionales para el propósito previsto (para buscar la expectativa matemática , por ejemplo) como una muestra de los valores de la distribución deseada que no dependen del vector original .