Distribución previa conjugada

La versión actual de la página aún no ha sido revisada por colaboradores experimentados y puede diferir significativamente de la versión revisada el 26 de junio de 2016; las comprobaciones requieren 2 ediciones .

La distribución previa conjugada ( ing. conjugate prior ) y la familia conjugada de distribuciones son uno de los conceptos básicos en la estadística bayesiana .

Considere el problema de encontrar la distribución de un parámetro (considerado como una variable aleatoria ) de acuerdo con la observación disponible . Por el teorema de Bayes , la distribución posterior se calcula a partir de la distribución previa con una densidad de probabilidad y una función de probabilidad utilizando la fórmula: $\ theta$ $X$ $p(\theta)$ $p(x|\theta)$

\displaystyle p(\theta |x)={\frac {p(x|\theta )\,p(\theta )}{\int \limits _{{\text{rango}}\;\theta }p( x|\theta )\,p(\theta )\,d\theta }}.

Si la distribución posterior pertenece a la misma familia de distribuciones de probabilidad que la distribución anterior (es decir, tiene la misma forma, pero con diferentes parámetros), entonces esta familia de distribuciones se denomina conjugada a la familia de funciones de verosimilitud . En este caso, la distribución se denomina distribución previa conjugada a la familia de funciones de verosimilitud . $p(\theta |x)$ $p(\theta)$ $p(x|\theta)$ $p(\theta)$ $p(x|\theta)$

El conocimiento de familias de distribuciones conjugadas simplifica enormemente el cálculo de probabilidades a posteriori en estadística bayesiana , ya que permite reemplazar el cálculo de integrales engorrosas en la fórmula de Bayes con manipulaciones algebraicas simples sobre los parámetros de distribuciones.

Ejemplo

Para una variable aleatoria distribuida según la ley de Bernoulli (lanzar una moneda) con un parámetro desconocido (probabilidad de éxito), la distribución previa conjugada suele ser la distribución beta con una densidad de probabilidad: $q\en[0,1]$

p(q=x)={x^{\alpha -1}(1-x)^{\beta -1} \over \mathrm {B} (\alpha ,\beta )}

donde y se eligen para reflejar la información o creencia a priori disponible sobre la distribución del parámetro q (elegir = 1 y = 1 dará una distribución uniforme), y Β ( , ) es la función beta que sirve aquí para normalizar la probabilidad. $\alfa$ $\beta$ $\alfa$ $\beta$ $\alfa$ $\beta$

Los parámetros y a menudo se denominan hiperparámetros (parámetros de distribución previa) para distinguirlos de los parámetros de la función de verosimilitud (en este caso, q ). $\alfa$ $\beta$

Si tomamos una muestra de n valores de esta variable aleatoria, y entre ellos hay s aciertos y f fracasos, entonces la distribución posterior del parámetro q será:

P(s,f|q=x)={s+f \elegir s}x^{s}(1-x)^{f},

p(q=x|s,f)={{{s+f \elegir s}x^{s+\alpha -1}(1-x)^{f+\beta -1}/\mathrm {B} ( \alpha ,\beta )} \over \int _{y=0}^{1}\left({s+f \choose s}y^{s+\alpha -1}(1-y)^{f+\ beta -1}/\mathrm {B} (\alpha ,\beta )\right)dy}={x^{s+\alpha -1}(1-x)^{f+\beta -1} \over \mathrm {B} (s+\alfa,f+\beta)},

Esta distribución posterior también resulta estar distribuida según la distribución beta .

Tabla de familias conjugadas de distribuciones

Las siguientes tablas muestran cómo cambian los parámetros de la distribución posterior después de una muestra de n observaciones independientes distribuidas equitativamente . La segunda columna es el parámetro de la función de verosimilitud, con respecto al cual se construye la familia de distribuciones conjugadas. $x_{1},x_{2},\ldots,x_{n}$

Funciones de verosimilitud distribuidas discretamente

función de probabilidad	Parámetro	Familia conjugada de distribuciones	Hiperparámetros de distribución previa	Hiperparámetros de la distribución posterior
Bernoulli	pags	Beta	${\ estilo de visualización \ alfa, \, \ beta}$	${\displaystyle \alpha +\sum _{i=1}^{n}x_{i},\,\beta +n-\sum _{i=1}^{n}x_{i))$
Binomio	pags	Beta	${\ estilo de visualización \ alfa, \, \ beta}$	$\alpha +\sum_{i=1}^{n}x_{i},\,\beta +\sum_{i=1}^{n}N_{i}-\sum_{i} =1}^{n}x_{yo}$
binomio negativo	pags	Beta	${\ estilo de visualización \ alfa, \, \ beta}$	${\displaystyle \alpha +rn,\,\beta +\sum _{i=1}^{n}x_{i))$
veneno	λ	Gama	${\ Displaystyle k, \, \ theta}$	$k+\sum _{i=1}^{n}x_{i},\ {\frac {\theta}{n\theta +1))$
veneno	λ	Gama	${\ estilo de visualización \ alfa, \, \ beta}$ [una]	$\alpha +\sum _{i=1}^{n}x_{i},\ \beta +n$
multinomial	p (vector de probabilidad)	Dirichlet	$\vec{\alfa}$	${\displaystyle {\vec {\alpha }}+\sum _{i=1}^{n}{\vec {x}}^{\,(i)))$
Geométrico	p 0 (probabilidad)	Beta	${\ estilo de visualización \ alfa, \, \ beta}$	$\alpha +n,\,\beta +\sum _{i=1}^{n}x_{i}$

Funciones de verosimilitud distribuidas continuamente

función de probabilidad	Parámetro	Familia conjugada de distribuciones	Hiperparámetros de distribución previa	Hiperparámetros de la distribución posterior
Uniforme	${\ estilo de visualización U (0, \ theta)}$	Pareto	${\ estilo de visualización x_ {m}, \, k}$	$\max\{\,x_{(n)},x_{m}\},\,k+n$
Exponencial	λ	Gama	${\ estilo de visualización \ alfa, \, \ beta}$ [2]	$\alpha +n,\,\beta +\sum _{i=1}^{n}x_{i}$
Normal con varianza conocida σ 2	m	Normal	${\ estilo de visualización \ mu _ {0}, \, \ sigma _ {0} ^ {2}}$	$\left.\left({\frac {\mu _{0}}{\sigma _{0}^{2}}}+{\frac {\sum _{i=1}^{n}x_{i }}{\sigma ^{2}}}\derecha)\derecha/\izquierda({\frac {1}{\sigma _{0}^{2}}}+{\frac {n}{\sigma ^ {2}}}\derecha),\,\izquierda({\frac {1}{\sigma _{0}^{2}}}+{\frac {n}{\sigma ^{2}}}\ derecha)^{-1}$
Normal con τ conocido = 1/ σ 2	m	Normal	${\ estilo de visualización \ mu _ {0}, \, \ tau _ {0}}$	$\left.\left(\tau _{0}\mu _{0}+\tau \sum _{i=1}^{n}x_{i}\right)\right/(\tau _{0} +n\tau ),\,\tau _{0}+n\tau$
Normal con media conocida μ	σ2 _	Chi-cuadrado inverso escalado	${\ estilo de visualización \ nu, \, \ sigma _ {0}^ {2}}$	$\nu +n,\,{\frac {\nu \sigma _{0}^{2}+\sum _{i=1}^{n}(x_{i}-\mu )^{ 2}}{\nu+n}}$
Normal con media conocida μ	τ (= 1/σ 2 )	Gama	${\ estilo de visualización \ alfa, \, \ beta}$ [2]	$\alpha +{\frac {n}{2)),\,\beta +{\frac {\sum _{i=1}^{n}(x_{i}-\mu )^{2 }}{2}}$
Normal con media conocida μ	σ2 _	Distribución gamma inversa	$\mathbf {\alfa,\,\beta}$	$\mathbf {\alpha } +{\frac {n}{2)),\,\mathbf {\beta } +{\frac {\sum _{i=1}^{n}{(x_{i}- \mu )^{2}}}{2}}$
Pareto	k	Gama	${\ estilo de visualización \ alfa, \, \ beta}$	$\alpha +n,\,\beta +\sum _{i=1}^{n}\ln {\frac {x_{i}}{x_{\mathrm {m} }}}$
Pareto	x metro	Pareto	${\ estilo de visualización x_ {0}, \, k_ {0))$	$x_{0},\,k_{0}-kn$ proporcionado _ $k_{0}>kn$
Gamma con α conocido [1]	β (escala inversa)	Gama	${\ estilo de visualización \ alfa _ {0}, \, \ beta _ {0}}$	${\displaystyle \alpha _{0}+n\alpha ,\,\beta _{0}+\sum _{i=1}^{n}x_{i))$