Método de máxima verosimilitud

La versión actual de la página aún no ha sido revisada por colaboradores experimentados y puede diferir significativamente de la versión revisada el 19 de enero de 2021; las comprobaciones requieren 4 ediciones .

El método de máxima verosimilitud o el método de máxima verosimilitud (MMP, ML, MLE - English m aximum ikelihood e stimation ) en estadística matemática es un método para estimar un parámetro desconocido maximizando la función de verosimilitud [1] . Basado en el supuesto de que toda la información sobre una muestra estadística está contenida en la función de verosimilitud.

El método de máxima verosimilitud fue analizado, recomendado y muy popularizado por R. Fischer entre 1912 y 1922 (aunque ya había sido utilizado antes por Gauss , Laplace y otros).

La estimación de máxima verosimilitud es una técnica estadística popular que se utiliza para crear un modelo estadístico a partir de los datos y proporcionar una estimación de los parámetros del modelo.

El método de máxima verosimilitud corresponde a muchos métodos de estimación conocidos en el campo de la estadística. Por ejemplo, le interesa un parámetro antropométrico como la altura de los habitantes de Rusia. Suponga que tiene datos sobre el crecimiento de un cierto número de personas, no de toda la población. Además, se supone que el crecimiento es una cantidad normalmente distribuida con varianza y media desconocidas . La media y la varianza del crecimiento en la muestra son de máxima verosimilitud a la media y la varianza de toda la población.

Para un conjunto de datos fijo y un modelo probabilístico básico, utilizando el método de máxima verosimilitud, obtendremos los valores de los parámetros del modelo que hacen que los datos sean “más cercanos” al real. La estimación de máxima verosimilitud proporciona una forma única y fácil de determinar soluciones en el caso de una distribución normal.

El método de estimación de máxima verosimilitud se aplica a una amplia gama de modelos estadísticos, que incluyen:

modelos lineales y modelos lineales generalizados;
análisis factorial ;
modelado de ecuaciones estructurales;
muchas situaciones, bajo prueba de hipótesis y formación de intervalos de confianza;
modelos discretos de elección.

Esencia del método

Sea una muestra de la distribución , donde están los parámetros desconocidos. Sea la función de verosimilitud , donde . Estimación de puntos $X_{1},\ldots,X_{n}$ $\mathbb {P}_{\theta}$ $\theta \en \theta$ $L({\mathbf {x}}\mid \theta )\colon \Theta \to {\mathbb {R}}$ ${\mathbf {x}}\in {\mathbb{R}}^{n}$

{\hat {\theta }}_{\mathrm {M\Pi } }={\hat {\theta }}_{\mathrm {M\Pi } }(X_{1},\ldots ,X_ {n})=\mathop {\rm {argmax)) \limits _{\theta \in \Theta }L(X_{1},\ldots,X_{n}\mid \theta )

se denomina estimación de máxima verosimilitud del parámetro . Así, la estimación de máxima verosimilitud es aquella que maximiza la función de verosimilitud para una implementación de muestreo fijo. $\ theta$

A menudo se utiliza la función de log-verosimilitud en lugar de la función de verosimilitud . Dado que la función crece monótonamente en todo el dominio de definición, el máximo de cualquier función es el máximo de la función y viceversa. De este modo, $L$ $l=\ln L$ $x\a\ln x,\;x>0$ $L(\ theta )$ $\ln L(\theta )$

{\hat {\theta }}_{\mathrm {M\Pi } }=\mathop {\rm {argmax}} \limits_{\theta \in \Theta }l(X_{1},\ ldots ,X_{n}\mid \theta )

Si la función de verosimilitud es diferenciable, entonces la condición necesaria para el extremo es la igualdad de su gradiente a cero :

g(\theta )={\frac {\parcial l({\mathbf {x)),\theta _{0})}{\parcial \theta }}=0

La condición extrema suficiente se puede formular como la definición negativa de Hessian , la matriz de segundas derivadas:

H={\frac {\parcial ^{2}l({\mathbf {x)),\theta _{0})}{\parcial \theta \parcial \theta ^{T))}

Importante para evaluar las propiedades de las estimaciones del método de máxima verosimilitud es la llamada matriz de información , igual por definición:

I(\theta)=E[g(\theta)g(\theta)^{T}]

En el punto óptimo, la matriz de información coincide con la expectativa de la Hessiana, tomada con signo menos:

I=-E(H_{0})

Propiedades

Los estimadores de máxima verosimilitud generalmente pueden estar sesgados (ver ejemplos), pero son estimadores consistentes , asintóticamente eficientes y asintóticamente normales . La normalidad asintótica significa que

{\sqrt {n}}({\hat {\theta }}-\theta ){\xrightarrow d}N(0,{\boldsymbol {I}}_({\infty }}^{{-1}} )

donde es la matriz de información asintótica. ${\boldsymbol {I}}_{{\infty}}=-\lim_{{n\rightarrow \infty}}{\frac {1}{n}}{\mathbb {E}}({\boldsymbol { H))$

Eficiencia asintótica significa que la matriz de covarianza asintótica es el límite inferior para todos los estimadores asintóticamente normales consistentes. ${\boldsymbol {I}}_{{\infty}}^{{-1}}$

Si es la estimación de máxima verosimilitud, parámetros , entonces es la estimación de máxima verosimilitud para , donde g es una función continua (invarianza funcional). Por lo tanto, las leyes de distribución de datos se pueden parametrizar de varias formas. ${\ sombrero {\ theta))$ $\ theta$ $g({\sombrero {\theta)))$ $g(\theta)$
Además, una condición necesaria para las evaluaciones MP es la implementación de un sistema de la forma: $\left\{{\begin{matriz}{\frac {\parcial }{\parcial \theta _{1))}\ln {L_{n))\left({\vec {x)), {\vec {\theta }}\right)&=&0\\\cdots &\cdots &\\{\frac {\parcial }{\parcial \theta _{k}}}\ln {L_{n}} \left({\vec {x)),{\vec {\theta }}\right)&=&0\\\end{matriz}}\right.$

donde está la función de verosimilitud del tamaño de la muestra

L_{n}\left({\vec {x)),{\vec {\theta }}\right)=\prod_{i=1}^{n}L_{1}\left(x_ {i},{\vec {\theta}}\right)

{\ vec {x}}

norte

Ejemplos

Sea una muestra independiente de una distribución uniforme continua en el intervalo , donde es un parámetro desconocido. Entonces la función de verosimilitud tiene la forma $X_{1},\ldots,X_{n}\sim {\mathrm {U}}[0,\theta ]$ $[0,\theta]$ $\ theta > 0$

f({\mathbf {x}}\mid \theta )={\begin{casos}{\frac {1}{\theta ^{n}}},&{\mathbf {x}}\in [0, \theta ]^{n}\subset {\mathbb {R}}^{n}\\0,&{\mathbf {x}}\not \in [0,\theta ]^{n}\end{casos }}.

La última igualdad se puede reescribir como:

f({\mathbf {x}}\mid \theta )={\begin{casos}{\frac {1}{\theta ^{n}}},&\theta \geq \max(x_{1}, \ldots,x_{n})\\0,&\theta <\max(x_{1},\ldots,x_{n})\end{casos}},

donde , lo que muestra que la función de verosimilitud alcanza su máximo en el punto . De este modo ${\mathbf {x}}=(x_{1},\ldots,x_{n})^{{\top }}$ $\theta =\max(x_{1},\ldots,x_{n})$

{\sombrero {\theta }}_{({\mathrm {M\Pi }}}}=\max(X_{1},\ldots,X_{n})

Tal estimación estará sesgada: , de donde $P\{\max(X_{1},\ldots,X_{n})\leq x\}=\left({\frac {x}{\theta }}\right)^{n}$ $E{\sombrero {\theta }}_{({\mathrm {M\Pi }}}}=\int _{0}^{\theta }xd\left({\frac {x}{\theta }} \right)^{n}={\frac {n}{n+1}}\theta$

Sea una muestra independiente de una distribución normal con media y varianza desconocidas . Construyamos una estimación de máxima verosimilitud para un vector desconocido de parámetros . La función de log-verosimilitud toma la forma $X_{1},\ldots,X_{n}\sim \mathrm {N} (\mu,\sigma ^{2})$ $\left(\widehat {\mu }_{({\mathrm {M\Pi }}}},\widehat {\sigma ^{2}}_{({\mathrm {M\Pi }}}}\right )^{{{\m{T})))$ $\left(\mu,\sigma ^{2}\right)^{{{\rm {T))))$

L({\mathbf {x}}\mid \mu ,\sigma ^{2})=-{\frac {n}{2}}\ln(2\pi \sigma ^{2})-{\frac {1}{2\sigma ^{2}}}\sum \limits _{{i=1}}^{n}(X_{i}-\mu )^{2}

Para encontrar su máximo, igualamos las derivadas parciales a cero :

\left\{{\begin{matriz}\displaystyle {\frac {\parcial }{\parcial \mu }}L({\mathbf {x}}\mid \mu ,\sigma ^{2})=0\ \[10pt]\displaystyle {\frac {\parcial }{\parcial \sigma ^{2))}L({\mathbf {x))\mid \mu ,\sigma ^{2})=0\\\ end{matriz}}\right.\Rightarrow \left\{{\begin{matrix}\displaystyle {\frac {\sum \limits_{{i=1}}^{n}X_{i}-n\mu }{\sigma ^{2}}}=0\\[10pt]\displaystyle -{\frac {n}{2\sigma ^{2}}}+{\frac {\sum \limits_{{i= 1}}^{n}(X_{i}-\mu )^{2}}{2\left(\sigma ^{2}\right)^{2}}}=0\\\end{matriz} }\Correcto.,

dónde

{\hat {\mu }}_{\mathrm {M\Pi } }={\overline {X}}

es la media muestral , y

\widehat {\sigma ^{2}}_{{{\mathrm {M\Pi }}}}=S_{n}^{2}

es la varianza muestral .

Método de aplicación [2]

Procesando el experimento

Supongamos que estamos midiendo alguna cantidad . Habiendo hecho una medición, obtuvimos su valor con un error : . Escribamos la densidad de probabilidad de que el valor tome el valor : ${\ estilo de texto a}$ ${\ estilo de texto x_ {1))$ ${\ estilo de texto \ sigma _ {1}}$ ${\ estilo de texto x_ {1} \ pm \ sigma _ {1}}$ ${\ estilo de texto a}$ ${\ estilo de texto x_ {1))$

$W(a)={\frac {1}{\sqrt {2\pi \sigma _{1}^{2))))\exp \left[-{\frac {(x_{1}- a)^{2}}{2\sigma_{1}^{2}}}\derecha]$ .

Supongamos ahora que hemos tomado varias de esas medidas y obtenido . La densidad de probabilidad que tomará la cantidad sobre los valores será: ${\textstyle x_{1}\pm \sigma _{1},x_{2}\pm \sigma _{2}\ldots x_{n}\pm \sigma _{n))$ ${\ estilo de texto a}$ ${\textstyle x_{1},x_{2}\ldots x_{n))$

$W(a)=\prod_{i=1}^{n}({\frac {1}{\sqrt {2\pi \sigma_{i}^{2))))\exp \ izquierda[-{\frac {(x_{i}-a)^{2}}{2\sigma_{i}^{2}}}\derecha]}$ .

Esta función se llama función de verosimilitud. El valor más probable del valor medido está determinado por el máximo de la función de probabilidad. Más conveniente es la función de probabilidad logarítmica: ${\ estilo de texto a^{*}}$

$L(a)=\ln W(a)=-\sum_{i=1}^{n}{\frac {(x_{i}-a)^{2}}{2\sigma _ {i}^{2}}}+\sum_{i=1}^{n}{\ln {\frac {1}{\sqrt {2\pi \sigma_{i}^{2}}} }}$ .

Diferencie la función logarítmica de verosimilitud con respecto a : ${\ estilo de texto a}$

${\frac {\parcial {L}}{\parcial {a}}}=\sum_{{i=1}}^{n}{{\frac {x_{i}-a}{\sigma_{ yo}^{2}}}}$ .

Igualar y obtener algún valor : ${\frac {\parcial {L}}{\parcial {a}}}$ ${\ estilo de texto 0}$ ${\textstyle a=a^{*}}$

$a^{*}={\frac {\sum \limits _{{i=1}}^{{n}}{{\frac {x_{i}}{\sigma _{i}^{2}} ))}{\sum \limits _{{i=1}}^{{n}}{{\frac {1}{\sigma _{i}^{2}}}}}}$ .

Cramer formuló el siguiente teorema:

Teorema: No existe otro método de procesamiento de los resultados de un experimento que proporcione una mejor aproximación a la verdad que el método de máxima verosimilitud.

Errores de medición

Supongamos que hemos tomado una serie de medidas y obtenido una serie de valores , es natural escribir que esta distribución tendrá forma gaussiana : ${\ estilo de texto a^{*}}$

$W(a)={\frac {1}{{\sqrt {2\pi \sigma_{{a^{*))}^{2))))}\exp \left[-{\frac {( a^{*}-a)^{2}}{2\sigma_{{a^{*}}}^{2}}}\derecha]$ .

Escribamos la función de verosimilitud logarítmica: . $L(a)=\ln W(a)=-{{\frac {(a^{*}-a)^{2}}{2\sigma_{{a^{*}}}^{2} ))}+{\ln {{\frac {1}{{\sqrt {2\pi \sigma_{{a^{*}}}^{2}}}}}}}$

Saquemos la primera derivada:

${\frac {\parcial {L}}{\parcial {a}}}={\frac {a^{*}-a}{\sigma_{{a^{*}}}^{2}}}$ .

Si , entonces . Ahora saca la segunda derivada: ${\frac {\parcial {L}}{\parcial {a}}}=0$ $a=a^{*}$

${\frac {\parcial ^{2}{L}}{\parcial {a}^{2}}}=-{\frac {1}{\sigma _{a^{*}}^{ 2}}}$ , dónde

$\sigma _{a^{*}}=\left(-{\frac {\parcial ^{2}{L}}{\parcial {a}^{2}}}{\Grande |}_ {a=a^{*}}\derecho)^{-1/2}$ .

Esto se llama la primera fórmula mágica [2] .

Método de máxima verosimilitud condicional

El método de máxima verosimilitud condicional (ML condicional) se utiliza en los modelos de regresión. La esencia del método es que no se utiliza la distribución conjunta completa de todas las variables (dependientes y regresoras), sino solo la distribución condicional de la variable dependiente por factores, es decir, de hecho, la distribución de errores aleatorios del modelo de regresión. . La función de verosimilitud total es el producto de la "función de verosimilitud condicional" y la densidad de distribución de los factores. El MMP condicional es equivalente a la versión completa del MMP en el caso de que la distribución de factores no dependa de los parámetros estimados de ninguna manera. Esta condición se viola a menudo en los modelos de series de tiempo, como el modelo autorregresivo . En este caso, los regresores son los valores pasados de la variable dependiente, lo que significa que sus valores también obedecen al mismo modelo AR, es decir, la distribución de los regresores depende de los parámetros estimados. En tales casos, los resultados de aplicar los métodos de máxima verosimilitud condicional y completa serán diferentes.

Véase también

Notas

↑ Fisher - Diccionario enciclopédico matemático de 1912, Moscú: Enciclopedia soviética, 1988.
↑ 1 2 AP Onuchín. Métodos experimentales de la física nuclear. - Novosibirsk: Universidad Técnica Estatal de Novosibirsk, 2010. - S. 297-303. — 336 pág. — ISBN 978-5-7782-1232-9 .

Literatura

Magnus Ya. R., Katyshev P. K., Peresetsky A. A. Econometría. Curso inicial. - M. : Delo, 2007. - 504 p. - ISBN 978-5-7749-0473-0 .
Ostapenko R. I. Fundamentos del modelado estructural en psicología y pedagogía: una ayuda didáctica para estudiantes de la facultad de psicología y pedagogía. - Voronezh.: VGPU, 2012. - 116 p. - ISBN 978-5-88519-886-8 .
Nikulin M. S. Criterio de razones de probabilidad // Enciclopedia matemática / Vinogradov I. M. (editor jefe). - M .: Enciclopedia soviética , 1984. - T. 4. - S. 151. - 1216 p.

diccionarios y enciclopedias	gran chino gran chino gran chino gran chino gran chino gran ruso