Principio de máxima entropía

La versión actual de la página aún no ha sido revisada por colaboradores experimentados y puede diferir significativamente de la versión revisada el 8 de diciembre de 2015; las comprobaciones requieren 32 ediciones .

El principio de máxima entropía establece que las distribuciones de probabilidad más características de los estados de un entorno incierto son aquellas que maximizan la medida de incertidumbre elegida para una información dada sobre el "comportamiento" del entorno. Por primera vez, D.Gibbs utilizó este enfoque para encontrar funciones de distribución extremas de conjuntos físicos de partículas . Posteriormente, E. Janes propuso un formalismo para restaurar leyes desconocidas de distribución de variables aleatorias en presencia de restricciones de las condiciones para el máximo de la entropía de Shannon .

Historia

Considere una variable aleatoria discreta que puede tomar valores con probabilidades . Las probabilidades no se conocen. Pero se conoce la expectativa matemática de alguna función de una variable aleatoria dada: . Con base en esta información, ¿cuál es el valor esperado de la función ? $X$ $x_{1},...,x_{n}$ ${\displaystyle p_{1},...,p_{n))$ ${\displaystyle M[f(x)]=\sum \limits _{i=1}^{n}{f({x_{i))){p_{i))))$ ${\ estilo de visualización g (x)}$

A primera vista, la tarea parece irresoluble, ya que es necesario conocer de antemano la distribución de probabilidad , y la información inicial no es suficiente para encontrar todas las probabilidades . La ecuación de expectativa de la función , junto con la ecuación de normalización, da solo dos de las ecuaciones necesarias para compilar un sistema de ecuaciones. $X$ ${\ Displaystyle p_ {i}}$ $f(x)$ $\sum \limits _{i=1}^{n}{p_{i}}=1$ $norte$

Este problema de determinar la distribución de probabilidad en los casos en que hay poca o ninguna información sobre una variable aleatoria es tan antiguo como la propia teoría de la probabilidad. El Principio de Razón Insuficiente de Laplace fue un intento de proponer tal criterio de selección: es que dos eventos se consideran igualmente probables a menos que haya razones para creer lo contrario.

Cabe señalar [1] que la conexión de la estadística con la teoría axiomática de la probabilidad tiene 2 enfoques diferentes. El enfoque de frecuencia (frecuentista) considera la probabilidad como un límite de frecuencia , la probabilidad es algo que describe las propiedades de conjuntos infinitamente grandes de eventos binarios. El enfoque bayesiano generaliza el enfoque frecuentista en el sentido de que postula un nuevo significado de probabilidad como una característica cuantitativa de cualquier experimento binario. Esto da los mismos resultados al describir conjuntos que el enfoque frecuentista, pero nos permite dar estimaciones cuantitativas para experimentos binarios, cuyo resultado no se conoce de antemano, y mejorar las estimaciones a medida que se dispone de nueva información sobre los resultados; Todo esto no tiene sentido en la comprensión frecuentista.

Laplace , por ejemplo, creía que no hay nada aleatorio en el mundo, y si hay información sobre las causas de los eventos, entonces las consecuencias (los eventos mismos) se pueden predecir con un 100% de precisión ( determinismo laplaciano ). Este enfoque de la probabilidad fue desarrollado independientemente por el físico D. Gibbs (en la mecánica estadística de Gibbs ) y el matemático K. Shannon (en el desarrollo de la teoría de la información ). Ambos recibieron un valor que expresa una medida de incertidumbre sobre los resultados de un evento (o, en otras palabras, una medida de la incertidumbre de una distribución de probabilidad), que se denominó entropía y se calculó utilizando fórmulas similares. Esta similitud llamó la atención del físico E. T. Janes en dos artículos en 1957 [1] [2] .

Estrictamente hablando, Gibbs no fue un pionero en desarrollar el concepto de entropía física. El propio concepto de entropía fue propuesto por el físico R. Clausius , y luego fue desarrollado por el físico L. Boltzmann , y cada uno de ellos recibió su propia función de entropía. Clausius trabajó con conceptos termodinámicos, mientras que Boltzmann desarrolló la física molecular y la mecánica estadística.

Del mismo modo, Shannon basó su trabajo en los resultados de G. Nyquist y R. Hartley , quienes sentaron las bases de la teoría de la información.

Funcionalidad

Suponga que un evento puede ocurrir o no en un experimento aleatorio. Si el evento no ocurrió, asumiremos que ocurrió el evento contrario . Así, los eventos y forman un grupo completo de eventos, lo que significa que estos son eventos incompatibles, y sus probabilidades en la suma son iguales a uno: . $A$ $A$ ${\sobrelínea {A}}$ $A$ ${\sobrelínea {A}}$ $P(A)+P({\overline {A)))=1$

Si no se sabe nada sobre el evento , entonces, de acuerdo con el enfoque subjetivo de la probabilidad, es necesario aceptar que los eventos y son igualmente probables: . $A$ $A$ ${\sobrelínea {A}}$ $P(A)=P({\overline {A)))=0,5$

A medida que obtenga información, una probabilidad comenzará a pesar más que la otra y la incertidumbre comenzará a disminuir. Al final, cuando se obtiene la información completa, resulta que , (o viceversa: , ). La incertidumbre entonces cae a cero. ${\ estilo de visualización PAG (A) = 1}$ $P({\overline {A}})=0$ ${\ estilo de visualización PAG (A) = 0}$ $P({\overline {A}})=1$

Sería bueno idear una función de estas probabilidades que alcance un máximo con total incertidumbre y desaparezca con total certeza. Y cuanto más una probabilidad supera a la otra, más “asimetría” entre ellas, menos valor toma esta función.

Llamamos a esta función (funcional) la entropía de la distribución o la incertidumbre de la distribución. Estrictamente hablando, la entropía es solo una medida de la incertidumbre, no la incertidumbre en sí misma. Pero aquí todo es lo mismo que en el caso de las probabilidades: la probabilidad es a la vez la posibilidad de un evento y la medida de esta posibilidad. En principio, es correcto decir esto y aquello.

Como tal función, uno puede considerar, por ejemplo, el producto de las probabilidades de eventos y . Denota y considera la función . Como es una parábola invertida que pasa por el origen y el punto , alcanza su máximo en . $A$ ${\sobrelínea {A}}$ $P(A)=p$ $P({\overline {A)))=1-p$ $H(p)=p(1-p)$ ${\ estilo de visualización H (p)}$ ${\ estilo de visualización (1; 0)}$ ${\ estilo de visualización p = 0,5}$

Además, a medida que aumenta la "asimetría" de las probabilidades, disminuye gradualmente hasta que finalmente se vuelve cero en o en . ${\ estilo de visualización H (p)}$ ${\ estilo de visualización p = 1}$ ${\ estilo de visualización p = 0}$

Cabe señalar que debido a la simetría , porque no importa cuál de los dos eventos tiene probabilidad y cuál tiene probabilidad . ${\ estilo de visualización H (p = 0,4) = H (p = 0,6) = 0,24}$ ${\ estilo de visualización 0,4}$ ${\ estilo de visualización 0,6}$

Por otro lado, (0.21<0.24) porque en este segundo caso las probabilidades son más "asimétricas" que en el primer caso. ${\ estilo de visualización H (p = 0,3) <H (p = 0,6)}$

Tenga en cuenta que la función , donde es algún coeficiente, también hace frente a los "deberes" que se le imponen: alcanza un máximo en y un mínimo (cero) en y . Esto significa que el funcional deseado se puede determinar hasta cierto coeficiente. $H_{1}(p)=CH(p)=Cp(1-p)$ ${\ estilo de visualización C> 0}$ ${\ estilo de visualización p = 0,5}$ ${\ estilo de visualización p = 1}$ ${\ estilo de visualización p = 0}$

Que ahora el grupo completo de eventos esté formado por tres eventos. Es posible en este caso considerar el producto de sus probabilidades como entropía, e incluso se puede demostrar que este producto alcanza su máximo cuando todas las probabilidades son iguales entre sí: . $H_{1}(p,q)=pq(1-pq)$ ${\ estilo de visualización p = q = 1-pq = 1/3}$

Aquí, sin embargo, hay un problema. La entropía máxima para tres eventos es - que es menor que la entropía máxima para dos eventos, que es . Y me gustaría que fuera al revés: cuantos más eventos, mayor incertidumbre. ${\frac {1}{3}}{\frac {1}{3}}{\frac {1}{3}}={\frac {1}{27}}$ ${\frac {1}{2}}{\frac {1}{2}}={\frac {1}{4}}$

Otro problema más serio es que si la probabilidad de al menos un evento es cero, entonces todo el producto de probabilidades automáticamente se convierte en cero. Es decir, la incertidumbre desaparece, se hace igual a cero según tal funcional, aunque en realidad no lo es. La incertidumbre debería desaparecer cuando todas menos una de las probabilidades son iguales a cero, y esta única probabilidad es igual a uno. Sin embargo, para dos resultados, tal funcional se puede usar bastante bien. Pero para dos resultados y no se necesitan funcionales: si se conoce la esperanza de la distribución de alguna variable aleatoria , entonces la ecuación esperada, junto con la condición de normalización, solo da un sistema de dos ecuaciones, a partir de las cuales y se encuentran de forma única . Si no se sabe nada sobre la distribución, entonces las probabilidades se igualan entre sí, y esto se puede hacer sin ningún funcional. $X$ $p_{1}$ ${\ Displaystyle p_ {2}}$

Entropía de Shannon

Claude Shannon impuso tres condiciones a la función requerida [3] : $H(p_{1},...,p_{n})$

$H(p_{1},...,p_{n})$ debe ser una función continua de las variables ; ${\ Displaystyle p_ {i}}$
si todas las probabilidades son iguales, entonces la función es una función monótonamente creciente de . En otras palabras, ; ${\ Displaystyle p_ {i}}$ $A(n)=H({\frac {1}{n)),...,{\frac {1}{n)))\$ $norte$ $H\soporte {({\frac {1}{n)),...,{\frac {1}{n)))} _{n}<H\soporte {({\frac {1 {n+1}},...,{\frac {1}{n+1}})} _{n+1}$
ley de composicion En lugar de especificar las probabilidades de los eventos directamente, puede agrupar el primero de ellos como un solo evento con la probabilidad correspondiente . El resto son como el segundo evento con probabilidad . Entonces la función debe obedecer a la condición ; $k$ ${\displaystyle \omega _{1}=p_{1}+...+p_{k))$ ${\displaystyle \omega _{2}=p_{k+1}+...+p_{n))$ ${\ estilo de visualización H}$ $H({p_{1}},...,{p_{n}})=H({\omega_{1}},{\omega_{2}})+{\omega_{ 1}}H\izquierda({{\frac {p_{1}}{\omega _{1}}},...,{\frac {p_{k}}{\omega _{1}}}} \right)+{\omega _{2}}H\left({{\frac {p_{k+1}}{\omega _{2}}},...,{\frac {p_{n} }{\omega _{2}}}}\derecha)$

La ley de composición requiere una consideración especial, ya que es sobre su base que se forma más la forma de la función . La idea es la siguiente. ${\ estilo de visualización H}$

El experimento aleatorio se divide en dos etapas sucesivas. En la primera etapa, la primera (antes ) o la segunda (después ) parte de los resultados se selecciona con probabilidades y . En la segunda etapa, el resultado en sí se selecciona de la parte seleccionada de los resultados. En este caso, el resultado de la parte seleccionada ya está seleccionado con probabilidades condicionales , es decir, siempre que se seleccione esta parte (en este caso, la primera parte). El propio Shannon dice que si la elección se divide en dos etapas, la entropía inicial debe ser una suma ponderada de las entropías individuales, es decir, las entropías condicionales. ${\ estilo de visualización \ omega _ {1}}$ ${\ estilo de visualización \ omega _ {2}}$ $k$ $k$ ${\frac {p_{1}}{\omega _{1}}},...,{\frac {p_{k}}{\omega _{1}}}$

El significado general es que si se hace una elección aleatoria en la primera etapa, entonces las probabilidades y toman los valores o , y la incertidumbre adicional es igual a solo una de las entropías condicionales. ${\ estilo de visualización \ omega _ {1}}$ ${\ estilo de visualización \ omega _ {2}}$ ${\ estilo de visualización 0}$ ${\ estilo de visualización 1}$

Como ejemplo, considere dos gráficos:

En el gráfico de la izquierda hay tres resultados con probabilidades , , , que forman un grupo completo de eventos (es decir, ). En el gráfico de la derecha, primero elegimos entre dos posibilidades, cada una con probabilidad . Si se elige la segunda posibilidad, entonces se hace otra elección con probabilidades y . Las entropías en ambos gráficos deberían resultar iguales, ya que al final se obtienen los mismos resultados con las mismas probabilidades. De acuerdo con la ley de composición, escribimos . $p_{1}=1/2$ $p_{2}=1/3$ $p_{3}=1/6$ $p_{1}+p_{2}+p_{3}=1$ ${\ estilo de visualización 1/2}$ ${\ estilo de visualización 2/3}$ ${\ estilo de visualización 1/3}$ $H({\frac {1}{2)),{\frac {1}{3)),{\frac {1}{6)))=H({\frac {1}{2} },{\frac {1}{2)))+{\frac {1}{2}}H\izquierda(1\derecha)+{\frac {1}{2}}H\izquierda(({\ fracción {1}{3)),{\frac {2}{3}}}\right)=H({\frac {1}{2}},{\frac {1}{2}})+{ \frac {1}{2}}H\izquierda({{\frac {1}{3}},{\frac {2}{3}}}\derecha)$

Aquí , dado que el grupo completo de eventos, que consiste en un solo evento, que ocurre con un ciento por ciento de probabilidad, genera incertidumbre cero. Al mismo tiempo, según el propio Shannon, el coeficiente aparece porque la segunda opción aparece solo la mitad de todas las veces. ${\ estilo de visualización H (1) = 0}$ ${\ estilo de visualización 1/2}$

En la ley de composición, la primera etapa puede no constar de dos posibilidades, sino de un mayor número de posibilidades con las correspondientes probabilidades , , , … ${\ estilo de visualización \ omega _ {1}}$ ${\ estilo de visualización \ omega _ {2}}$ ${\ estilo de visualización \ omega _ {3}}$

La ley de composición es una especie de generalización de la propiedad aditiva de la entropía, aunque no se sigue directamente de esta propiedad. De hecho, supongamos que un experimento consta de seis resultados igualmente probables. Divida estos resultados en tres partes iguales: en la primera etapa, se selecciona una de las tres partes, en la segunda etapa, se selecciona el resultado dentro de la parte correspondiente. Entonces puedes escribir . $H({\frac {1}{6)),{\frac {1}{6)),{\frac {1}{6)),{\frac {1}{6)),{ \frac {1}{6)),{\frac {1}{6)))=H({\frac {1}{3)),{\frac {1}{3)),{\frac { 1}{3)))+{\frac {1}{3}}H\izquierda({{\frac {1}{2}},{\frac {1}{2}}}\derecha)+{ \frac {1}{3}}H\izquierda({{\frac {1}{2}},{\frac {1}{2}}}\derecha)+{\frac {1}{3}} H\izquierda({{\frac {1}{2)),{\frac {1}{2))}\derecha)$

La ecuación resultante se puede reescribir así:

$A(6)=A(3)+{\frac {1}{3}}A\izquierda(2\derecha)+{\frac {1}{3}}A\izquierda(2\derecha) +{\frac {1}{3}}A\izquierda(2\derecha)=A(3)+A\izquierda(2\derecha)$ .

Obviamente, en general . $A(mn)=A(m)+A\left(n\right)$

Pero el mismo resultado se puede obtener de otras consideraciones.

Supongamos que hay un experimento aleatorio con resultados igualmente probables y otro experimento aleatorio con resultados igualmente probables. Deje que estos dos experimentos aleatorios no tengan nada que ver entre sí. Pero en cualquier caso, se pueden considerar como un experimento combinado, en el que un resultado separado es que ocurrieron el resultado ésimo del primer experimento y el resultado ésimo del segundo experimento. En tal experimento combinado, ya hay resultados equiprobables. Dado que la incertidumbre de los dos experimentos no debería cambiar dependiendo de tal cambio de punto de vista, entonces . $metro$ $norte$ $i$ $j$ ${\ estilo de visualización mn}$ $A(mn)=A(m)+A\left(n\right)$

Como consecuencia de este resultado, , donde es un entero no negativo. Si , entonces la última igualdad toma la forma , sin dejar de ser una verdadera igualdad. $A(m^{s})=sA(m)$ ${\ estilo de visualización}$ ${\ estilo de visualización s = 0}$ ${\ estilo de visualización A (1) = 0}$

La ley de composición nos permite expresar la entropía de una distribución de probabilidad, en la que todas las probabilidades son números racionales, como una suma ponderada de funciones . En efecto, sea un grupo completo de eventos de eventos incompatibles con probabilidades , , …, , donde , , son números naturales, . Entonces uno puede escribir $A$ $norte$ $p_{1}=n_{1}/n$ $p_{2}=n_{2}/n$ $p_{n}=n_{n}/n$ ${\ Displaystyle n_ {i}}$ $norte$ $n_{1}+...+n_{n}=n$

$A(n)=H({\frac {n_{1}}{n}},...,{\frac {n_{n}}{n}})+\sum \limits_{i =1}^{n}{{\frac{n_{i}}{n}}A({n_{i}})}$ .

A partir de esta ecuación ya es posible expresar . $H({\frac {n_{1}}{n}},...,{\frac {n_{n}}{n}})$

En realidad, no se sabe exactamente de dónde sacó Shannon su ley de composición. Tal vez solo quería que su entropía resultara ser similar a la de Hartley, y se le ocurrió tal condición (ley de composición) a partir de la cual se obtendría la entropía de Shannon de una manera única.

Teorema:

la única función que satisface las tres condiciones de Shannon que se le imponen tiene la forma , donde es cualquier constante positiva, y el logaritmo se toma en cualquier base mayor que uno. ${\ estilo de visualización H}$ $H=-K\sum \limits _{i=1}^{n}{{p_{i}}\log {p_{i}}}$ ${\ estilo de visualización K}$

prueba _

La prueba se reduce a encontrar la forma de la función . ${\ estilo de visualización A}$

Para cualquier natural y arbitrariamente grande , uno puede encontrar un entero natural y no negativo que (esto es obvio). Potenciando ambos lados de la desigualdad y dividiendo por , obtenemos , de donde . Como la base del logaritmo natural es mayor que uno, el signo de las desigualdades no cambia. ${\ estilo de visualización t}$ ${\ estilo de visualización n}$ ${\ estilo de visualización m> 1}$ ${\ estilo de visualización}$ ${m^{s}}\leq {t^{n}}\leq {m^{s+1}}$ ${\ estilo de visualización n \ ln m}$ ${\frac {s}{n}}\leq {\frac {\ln t}{\ln m}}\leq {\frac {s+1}{n}}$ $\left|{{\frac {s}{n}}-{{\log }_{m}}t}\right|\leq {\frac {1}{n}}$

Por otro lado, con base en la monotonicidad de , podemos escribir , , de donde de manera similar , . Entonces puedes escribir . Pasando al límite con respecto a , obtenemos . Por lo tanto , donde es una constante positiva arbitraria, es una base natural arbitraria del logaritmo (mayor que uno). La arbitrariedad de la constante está relacionada no solo con el hecho de que se reduce en el numerador y el denominador, sino también con el hecho de que la base del logaritmo se elige arbitrariamente. Puedes ir al logaritmo natural y obtener . Esto sugiere que la base del logaritmo no necesita ser un número natural. Además, utilizando la representación de la función en términos de la función , podemos escribir Dado que cualquier número real se puede aproximar con cualquier grado de precisión mediante un número racional, y la función en sí misma es continua (es decir, cambia de manera insignificante con una pequeña cambio en el argumento), Shannon sugirió usar esta fórmula para probabilidades dadas por números reales. ${\ estilo de visualización A (n)}$ ${\displaystyle A({m^{s)))\leq A({t^{n)))\leq A({m^{s+1)))))$ ${\displaystyle sA({m})\leq nA({t})\leq (s+1)A({m)))$ ${\frac {s}{n}}\leq {\frac {A(t)}{A(m)))\leq {\frac {s+1}{n}}$ $\left|{{\frac {s}{n}}-{\frac {A(t)}{A(m)))}\right|\leq {\frac {1}{n}}$ $\left|{{\frac {A(t)}{A(m)}}-{{\log }_{m}}t}\right|\leq {\frac {2}{n} }$ ${\ estilo de visualización n}$ $n\to \infty$ ${\frac {A(t)}{A(m)}}={\log _{m}}t$ $A(t)=K{\log _{m}}t$ ${\ estilo de visualización K}$ ${\ estilo de visualización m}$ ${\ estilo de visualización K}$ $A(t)=K{\log _{m}}t=K{\frac {\ln t}{\ln m}}=K'\ln t$ ${\ estilo de visualización H}$ ${\ estilo de visualización A}$ $H({\frac {n_{1}}{n}},...,{\frac {n_{n}}{n}})=A(n)-\sum \limits_{i =1}^{n}{{\frac {n_{i}}{n}}A({n_{i}})}=K\log n-\sum \limits _{i=1}^{n }{{\frac {n_{i}}{n}}K\log {n_{i}}}=-\sum \limits _{i=1}^{n}{{\frac {n_{i} {n}}K\log {\frac {n_{i}}{n}}}=-K\sum \limits _{i=1}^{n}{{p_{i}}\log {p_ {i}}}$ ${\ estilo de visualización H}$

El teorema ha sido probado .

Si la probabilidad es cero, entonces es necesario considerar que el límite del producto tiende a cero: ${\ estilo de visualización p}$ $p\log p$ ${\ estilo de visualización p}$

$\lim _{p\to 0+}p\ln p=\lim _{p\to 0+}{\frac {\ln p}{\frac {1}{p))}=\lim _{p\to 0+}{\frac {\left({\ln p}\right)'}{\left({\frac {1}{p}}\right)'}}=\lim_{ p\a 0+}{\frac {1/p}{-1/{p^{2))))=-\lim _{p\a 0+}p=0$

La entropía máxima de Shannon y el método del multiplicador de Lagrange

Se puede probar [4] que la entropía de Shannon toma un valor máximo en una distribución uniforme. Para probar esto, encontramos el máximo condicional de la entropía de Shannon bajo la condición de normalización . $H({p_{1}},...,{p_{n}})=-\sum \limits _{i=1}^{n}{{p_{i}}\ln {p_ {i}}}$ $\sum \limits _{i=1}^{n}{p_{i}}=1$

Para hacer esto, usamos el método del multiplicador de Lagrange para encontrar los extremos condicionales. Este método en resumen es el siguiente.

Supongamos que se requiere encontrar un extremo local de una función continua de variables que tienen derivadas parciales con respecto a todas las variables, siempre que ,…, , donde ,…, son funciones continuas que tienen derivadas parciales con respecto a todas las variables, . Entonces la función de Lagrange se compone de la forma , donde los números se llaman multiplicadores de Lagrange. ${\ estilo de visualización f (x_ {1},..., x_ {n})}$ ${\ estilo de visualización n}$ ${\ estilo de visualización \ varphi _ {1} (x_ {1},..., x_ {n}) = 0}$ ${\ estilo de visualización \ varphi _ {k} (x_ {1},..., x_ {n}) = 0}$ ${\ estilo de visualización \ varphi _ {1}}$ ${\ estilo de visualización \ varphi _ {k}}$ ${\ estilo de visualización k<n}$ $L({x_{1}},...,{x_{n}})=f({x_{1}},...,{x_{n}})+\sum \limits _ {i=1}^{k}{{\lambda _{i}}{\varphi _{i}}({x_{1}},...,{x_{n))))}$ ${\ estilo de visualización \ lambda _ {i}}$

Una condición necesaria para la existencia de un extremo condicional en algún punto es la igualdad a cero o la inexistencia de todas las derivadas parciales de su función de Lagrange en ese punto. Por tanto, un sistema se compila y resuelve a partir de las derivadas parciales de la función de Lagrange, igualadas a cero, así como a partir de las condiciones impuestas al extremo. La solución del sistema (si existe) es la coordenada del extremo, así como los valores de los multiplicadores de Lagrange. ${\ estilo de visualización f}$ ${\ estilo de visualización n}$ ${\ estilo de visualización k}$

En el caso de la entropía de Shannon, la función de Lagrange tiene la forma: . $L({p_{1}},...,{p_{n}})=H({p_{1}},...,{p_{n}})+\lambda \left( {\sum \limits _{i=1}^{n}{p_{i}}-1}\right)$

Escribamos el sistema de ecuaciones con la condición necesaria para la existencia de un extremo:

$\left\{{\begin{array}{l}{\frac {\parcial L({p_{1)),...,{p_{n)))}{\parcial {p_{1 }}}}=0\\...\\{\frac {\parcial L({p_{1}},...,{p_{n}})}{\parcial {p_{n}}} }=0\\\sum \limits _{i=1}^{n}{p_{i}}=1\end{matriz}}\right.$ Resolviéndolo, obtenemos: $\left\{{\begin{matriz}{l}-(\ln {p_{1}}+1)+\lambda =0\\...\\-(\ln {p_{n} }+1)+\lambda =0\end{matriz}}\derecha.$

Como todas las ecuaciones son iguales, entonces , . ${p_{1}}={p_{2}}=...={p_{n}}=1/n$ ${\ estilo de visualización \ lambda = 1 + \ ln {\ frac {1} {n}}}$

Entonces, el punto en el que puede existir un extremo es el único. Considerando que la función es continua y no definida negativamente, tomando el valor mínimo cero (en el caso de que una de las probabilidades sea igual a uno, y todas las demás sean iguales a cero), entonces el extremo encontrado es el punto de la máximo condicional global, y el máximo en sí mismo es igual a . ${\ estilo de visualización H}$ $H({\frac {1}{n}},...,{\frac {1}{n}})=-\sum \limits _{i=1}^{n}{{\ fracción {1}{n}}\ln {\frac {1}{n}}}=\ln n$

También se puede demostrar que en el conjunto de probabilidades para resultados elementales incompatibles, cualquier cambio en las dos probabilidades hacia su alineación (sin cambiar el número de resultados en sí) aumenta la entropía de la distribución. ${\displaystyle p_{1},...,p_{n))$ ${\ estilo de visualización n}$

Es fácil demostrarlo. Dado que solo cambian dos probabilidades, por ejemplo, y , las otras probabilidades permanecen sin cambios. Por lo tanto, los términos incluidos en la fórmula de entropía, asociados a otras probabilidades, permanecerán sin cambios y no afectarán el incremento de entropía. Al mismo tiempo, la cantidad también permanecerá sin cambios (por la misma razón). Por lo tanto, basta con llevar a cabo la prueba para solo dos resultados incompatibles que forman un grupo completo de eventos; entonces, la afirmación puede considerarse probada para un número arbitrario de resultados. $p_{1}$ ${\ Displaystyle p_ {2}}$ $p_{1}+p_{2}$ ${\ estilo de visualización n}$

Denota y considera la función . $p_{1}=p$ $p_{2}=1-p$ $H(p,1-p)=-p\ln p-(1-p)\ln(1-p)$

Su gráfica vs. es muy similar a una parábola invertida que pasa por el origen. El máximo se alcanza en el punto . Además, esta función es simétrica especular con respecto a la línea . Esto se sigue del hecho de que . Por lo tanto, según el gráfico, es obvio que cualquier cambio en las probabilidades hacia la ecualización conduce a un aumento de la entropía. ${\ estilo de visualización p}$ ${\ estilo de visualización p = 1-p = 0,5}$ ${\ estilo de visualización p = 0,5}$ $H(p,1-p)=H(1-p,p)$

Entropía de una distribución continua

Shannon originalmente escribió [3] la siguiente fórmula para la entropía de una distribución continua, que también se conoce como entropía diferencial :

${\displaystyle H(X)=-\int \limits _{-\infty }^{\infty }{f(x)\log f(x)dx))$ .

Aquí está la función de distribución de densidad de probabilidad desconocida de la variable aleatoria . (Si , entonces el integrando se reemplaza por su límite en este punto ). Sin embargo, a diferencia de la fórmula de Shannon para la entropía de una distribución discreta, esta fórmula no es el resultado de ninguna derivación (Shannon simplemente reemplazó el signo de la suma con el signo de la integral). Y, en rigor, no se puede derivar por una transición sucesiva de una fórmula de entropía discreta a una continua calculando el límite de sumas parciales integrales de la integral de Riemann [5] (se obtendrá un valor infinito). Sin embargo, la entropía diferencial tiene el significado de la incertidumbre promedio en la elección de una variable aleatoria con una ley de distribución arbitraria, menos la incertidumbre de una variable aleatoria distribuida uniformemente en un intervalo unitario. ${\ estilo de visualización f (x)}$ ${\ estilo de visualización X}$ ${\ estilo de visualización f (x) = 0}$ ${\ estilo de visualización x}$

Además de la entropía diferencial, también se conocen los ingleses. Divergencia Kullback-Leibler e inglés. Principio_de_la_entropía_máxima#Caso_continuo . Pero además, para explicar el principio de máxima entropía, se utilizará precisamente la entropía diferencial.

Máxima entropía diferencial y cálculo de variaciones

Se puede probar que la entropía diferencial toma un valor máximo en una distribución uniforme. Para probar esto, encontramos el máximo condicional de la entropía diferencial siempre que . ${\displaystyle H(X)=-\int \limits _{-\infty }^{\infty }{f(x)\ln f(x)dx))$ $\int \limits _{-\infty}^{\infty}{f(x)dx}=1$

Bajo estas condiciones, es necesario encontrar una función tal que la integral de entropía diferencial tome el valor máximo. Está claro que en este caso la forma de la función en sí se convierte en una especie de variable, por lo que es necesario utilizar el cálculo de variaciones [3] , cuya tarea principal es encontrar una función en la que el funcional dado llegue al extremo. valores. ${\ estilo de visualización f (x)}$ ${\ estilo de visualización f (x)}$

El método de variación se parece al método de Lagrange y, en resumen, es el siguiente. Sea un funcional con un integrando que tenga derivadas parciales primeras continuas, llamado función de Lagrange. Si esta funcional alcanza un extremo en alguna función , entonces se debe satisfacer una ecuación diferencial parcial para ella , llamada ecuación de Euler-Lagrange . En otras palabras, esta ecuación es una condición necesaria para la existencia de un extremo del funcional en la función . Si se impone una condición adicional de la forma a la función , entonces el extremo deseado se llama condicional, y la función de Lagrange toma la forma , y la ecuación diferencial debe resolverse ya para esta nueva función. La función encontrada dependerá no solo de , sino también del parámetro . Luego necesitas sustituir las condiciones en la integral y encontrar . ${\displaystyle J=\int \limits _{a}^{b}{F(x,f(x),f'(x))dx))$ ${\ estilo de visualización F (x, f (x), f '(x))}$ ${\ estilo de visualización f (x)}$ ${\displaystyle {\frac {\parcial F}{\parcial f))={\frac {d}{dx)){\frac {\parcial F}{\parcial {f'))))$ ${\ estilo de visualización J}$ ${\ estilo de visualización f (x)}$ ${\ estilo de visualización f (x)}$ $\int \limits _{a}^{b}{\varphi (f(x))dx}=c$ $L=F+\lambda\varphi$ ${\ estilo de visualización f (x)}$ ${\ estilo de visualización x}$ ${\ estilo de visualización \ lambda}$ ${\ estilo de visualización f (x)}$ ${\ estilo de visualización \ lambda}$

En el caso de la entropía diferencial, la función de Lagrange toma la forma . Entonces , de donde la ecuación de Euler-Lagrange toma la forma . $L=-f(x)\ln f(x)+\lambda f(x)$ $\left\{{\begin{array}{l}{\frac {\parcial L}{\parcial f))=-\ln f-1+\lambda \\{\frac {\parcial L} {\parcial f'}}=0\\{\frac {d}{dx}}{\frac {\parcial L}{\parcial f'}}=0\end{matriz}}\right.$ ${\frac {\parcial L}{\parcial f))=-\ln f-1+\lambda =0$

La solución de esta ecuación es una función , es decir, una constante de . Lo sustituimos en la condición y obtenemos . $f(x)={e^{\lambda -1))$ ${\ estilo de visualización x}$ $\int \limits _{-\infty}^{\infty}{{e^{\lambda -1}}dx}=1$

Está claro que tal ecuación no tiene soluciones, así como está claro que una variable aleatoria no puede distribuirse uniformemente en toda la región de los números reales. Deje que todos los valores posibles se encuentren en algún intervalo . Entonces , ¿ de dónde ? Para todos los demás , es verdad . ${\ estilo de visualización X}$ ${\ estilo de visualización [a; b]}$ $\int \limits _{a}^{b}{{e^{\lambda -1}}dx}=1$ ${\ estilo de visualización \ lambda = 1-\ ln (ba)}$ $f(x)={e^{\lambda -1}}={\frac {1}{ba}}$ ${\ estilo de visualización x}$ ${\ estilo de visualización f (x) = 0}$

Distribuciones extremas

Por sí mismo, el funcional encontrado (la entropía de Shannon en forma discreta o diferencial) todavía no da nada. Dado que no se sabe nada sobre los resultados de un experimento aleatorio, el principio de máxima entropía dicta que todos los resultados tengan las mismas probabilidades. Si estamos hablando de una variable aleatoria continua, entonces se supone que se distribuye uniformemente. Pero para llevar a cabo tal cita, no se requiere ninguna funcionalidad. El funcional permite solo una comparación cuantitativa de las incertidumbres de diferentes distribuciones.

El significado del principio de máxima entropía comienza a aparecer cuando se imponen restricciones a la distribución de probabilidad. El principio de máxima entropía en este caso es encontrar la máxima entropía bajo las restricciones impuestas. La distribución así obtenida se llama extremal.

Encontremos el máximo de entropía en los casos en que se imponen algunas restricciones en la distribución de una variable aleatoria, por ejemplo, se conocen algunos de sus momentos. Al utilizar el método de los multiplicadores de Lagrange y el método de cálculo de variaciones, se demostrará que:

si se conoce el valor esperado o el segundo momento inicial, o ambos, de una variable aleatoria discreta, entonces su distribución extrema es una de las variedades de la distribución discreta de Gibbs
si se conoce la expectativa de una variable aleatoria continua, entonces su distribución extrema es una distribución continua de Gibbs
si se conocen el valor esperado y la varianza de una variable aleatoria continua, entonces su distribución extrema es una distribución normal con estos parámetros. Si no se conoce el valor esperado, se establece en cero.

No se sabe nada sobre la variable aleatoria (casos discretos y continuos)

En este caso, el principio de máxima entropía prescribe que la variable aleatoria se distribuya uniformemente. Ya se ha demostrado anteriormente que la entropía de Shannon en cualquier forma (discreta o continua) toma el máximo valor posible en tal distribución.

Solo se conoce la esperanza matemática (caso discreto)

Suponga que sólo se conoce la expectativa matemática de la distribución de probabilidad discreta de alguna variable aleatoria . ¿Cuál es la distribución en este caso? La distribución está sujeta a restricciones adicionales: ${\ estilo de visualización X}$ $M[X]=\sum \limits _{i=1}^{n}{{x_{i}}{p_{i}}}=m$

$\forall i:0\leq {p_{i}}\leq 1$
$\sum \limits _{i=1}^{n}{p_{i}}=1$

Según el principio de máxima entropía, es necesario maximizar la función en estas condiciones $H({p_{1}},...,{p_{n}})=-\sum \limits _{i=1}^{n}{{p_{i}}\ln {p_ {i}}}$

Componemos la función de Lagrange y encontramos los puntos de un posible extremo:

$L({p_{1}},...,{p_{n}})=H({p_{1}},...,{p_{n}})+{\lambda_{ 1}}\left({\sum \limits _{i=1}^{n}{p_{i}}-1}\right)+{\lambda _{2}}\left({\sum \limits _{i=1}^{n}{{x_{i}}{p_{i}}}-m}\right)$

El sistema de derivadas parciales y condiciones impuestas tiene la forma:

$\left\{{\begin{array}{l}{\frac {\parcial L({p_{1)),...,{p_{n)))}{\parcial {p_{1 }}}}=-(\ln {p_{1}}+1)+{\lambda _{1}}+{\lambda _{2}}{x_{1}}=0\\...\ \{\frac {\parcial L({p_{1}},...,{p_{n)))}{\parcial {p_{n}}}}=-(\ln {p_{n}} +1)+{\lambda _{1}}+{\lambda _{2}}{x_{n}}=0\\m=\sum \limits _{i=1}^{n}{{x_ {i}}{p_{i}}}\\\sum \limits _{i=1}^{n}{p_{i}}=1\end{matriz}}\right.$

Restando -e de la primera ecuación , obtenemos . ${\ estilo de visualización i}$ ${p_{i}}={p_{1}}{e^{{\lambda _{2}}({x_{i}}-{x_{1}})))}}$

Combinando la ecuación resultante en un sistema con la condición de normalización y resolviéndola, obtenemos:

$\left\{{\begin{matriz}{l}{p_{i}}={p_{1}}{e^{{\lambda _{2}}({x_{i}}-{ x_{1}})}}\\1=\sum \limits _{k=1}^{n}{p_{k}}=\sum \limits _{k=1}^{n}{{p_ {1}}{e^{{\lambda _{2}}({x_{k}}-{x_{1}})}}}={p_{1}}{e^{-{\lambda _ {2}}{x_{1}}}}\sum \limits _{k=1}^{n}{e^{{\lambda _{2}}{x_{k}}}}\end{matriz }}\Correcto.$ , de donde . ${p_{i}}={\frac {e^{{\lambda_{2}}{x_{i}}}}{\sum \limits_{k=1}^{n}{e ^{{\lambda_{2}}{x_{k}}}}}}$

Ahora se sigue de la ésima ecuación . ${\ estilo de visualización i}$ ${p_{i}}={e^{{\lambda_{2}}{x_{i}}+{\lambda_{1}}-1}}={e^{{\lambda _ {1}}-1}}{e^{{\lambda_{2}}{x_{i}}}}$ $\sum \limits _{k=1}^{n}{e^({\lambda _{2}}{x_{k}}}}={e^{1-{\lambda _{1} }}}}}$

Finalmente, con base en la ecuación de la expectativa, podemos escribir , de donde se sigue . $m=\sum \limits _{i=1}^{n}{{x_{i}}{p_{i}}}=\sum \limits _{i=1}^{n}{\ izquierda({{x_{i}}{\frac {e^{{\lambda _{2}}{x_{i}}}}{\sum \limits _{k=1}^{n}{e^ {{\lambda _{2}}{x_{k}}}}}}}\right)}={\frac {\sum \limits _{k=1}^{n}{{x_{k}} {e^{{\lambda _{2}}{x_{k}}}}}}{\sum \limits _{k=1}^{n}{e^{{\lambda _{2}}{ x_{k}}}}}}}$ $\sum \limits _{k=1}^{n}{({x_{k}}-m){e^{{\lambda _{2}}{x_{k}}}}}= 0$

Finalmente, el sistema original se puede representar como:

$\left\{{\begin{array}{l}{p_{i}}={\frac {e^({\lambda _{2}}{x_{i}}}}{\sum \ límites _ {k=1}^{n}{e^{{\lambda_{2}}{x_{k}}}}}},i\in \{1,...,n\}\\ \sum \limits _{k=1}^{n}{({x_{k}}-m){e^{{\lambda _{2}}{x_{k}}}}}=0\\ {e^{1-{\lambda_{1}}}}=\sum \limits_{k=1}^{n}{e^{{\lambda_{2}}{x_{k}}} }\end{matriz}}\derecha.$

Es bastante fácil probar que la solución a la segunda ecuación del sistema siempre existe y es única, aunque no siempre representable como una función explícita del argumento . Si se desea (aunque no necesariamente), se puede expresar a partir de la tercera ecuación en términos de . Pero, lo más importante, al sustituir en la primera ecuación, obtienes una distribución de probabilidad discreta con expectativa . ${\ estilo de visualización \ lambda _ {2}}$ ${\ estilo de visualización m}$ ${\ estilo de visualización \ lambda _ {1}}$ ${\ estilo de visualización \ lambda _ {2}}$ ${\ estilo de visualización \ lambda _ {2}}$ ${\ estilo de visualización m}$

Dado que la solución encontrada es única, lo más probable es que el punto encontrado sea el extremo de entropía, y este extremo es el máximo condicional global.

La distribución de probabilidad encontrada se llama inglesa. Boltzmann_distribution , que también se conoce como distribución de Gibbs . ${\ Displaystyle p_ {i}}$

Solo se conoce el segundo momento inicial (caso discreto)

Supongamos que sólo se conoce el segundo momento inicial de la distribución de probabilidad discreta de alguna variable aleatoria : . ¿Cuál es la distribución en este caso? ${\ estilo de visualización {\ delta ^ {2))}$ ${\ estilo de visualización X}$ ${\delta ^{2}}=\sum \limits _{i=1}^{n}{{x_{i}}^{2}{p_{i}}}$

Es claro que este caso no es diferente al anterior, excepto que los valores deben ser reemplazados por los valores , deben ser reemplazados por . La distribución final se verá como ${\ estilo de visualización x_ {i}}$ ${\ Displaystyle x_{i}^{2))$ ${\ estilo de visualización m}$ ${\ estilo de visualización {\ delta ^ {2))}$ $\left\{{\begin{matriz}{l}P(X={x_{i}})={p_{i}}={\frac {e^{{\lambda _{2}} {x_{i}}^{2}}}{\sum \limits _{k=1}^{n}{e^{{\lambda _{2}}{x_{k}}^{2}} ))),i\en \{1,...,n\}\\\sum \limits _{k=1}^{n}{({x_{k}}^{2}-{\delta ^{2))){e^{{\lambda _{2}}{x_{k}}^{2}}}}=0\\{e^{1-{\lambda _{1}}} }=\sum \limits _{k=1}^{n}{e^{{\lambda _{2}}{x_{k}}^{2}}}\end{matriz}}\right.$

Es fácil ver en este caso que si , entonces . ${\displaystyle x_{i}=-x_{j))$ $P(X=x_{i})=P(X=x_{j})$

Se conocen la expectativa y el segundo momento inicial (caso discreto)

La función de Lagrange en este caso tiene la forma $L({p_{1}},...,{p_{n}})=H({p_{1}},...,{p_{n}})+{\lambda_{ 1}}\left({\sum \limits _{i=1}^{n}{p_{i}}-1}\right)+{\lambda _{2}}\left({\sum \limits _{i=1}^{n}{{x_{i}}{p_{i}}}-m}\right)+{\lambda_{3}}\left({\sum \limits_{i =1}^{n}{{x_{i}}^{2}{p_{i}}}-{\delta^{2}}}\derecha)$

El sistema de ecuaciones, que es condición necesaria para la existencia de un extremo, tiene la forma:

$\left\{{\begin{matriz}{l}-(\ln {p_{1}}+1)+{\lambda _{1}}+{\lambda _{2}}{x_{ 1}}+{\lambda_{3}}{x_{1}}^{2}=0\\...\\-(\ln {p_{n}}+1)+{\lambda_{ 1}}+{\lambda_{2}}{x_{n}}+{\lambda_{3}}{x_{n}}^{2}=0\\1=\sum \limits_{i =1}^{n}{p_{i}}\\m=\sum \limits _{i=1}^{n}{{x_{i}}{p_{i}}}\\{\delta ^{2}}=\sum \limits _{i=1}^{n}{{x_{i}}^{2}{p_{i}}}\end{matriz}}\right.$ . Se puede traer a la mente $\left\{{\begin{matriz}{l}{p_{i}}={\frac {e^{{x_{i}}({\lambda _{3}}{x_{i} }+{\lambda _{2))))}}{\sum \limits _{k=1}^{n}{e^{{x_{k}}({\lambda _{3}}{x_ { k}}+{\lambda _{2}})))}}}}\\\sum \limits _{k=1}^{n}{({x_{k}}-m){e^ {{x_ {k}}({\lambda _{3}}{x_{k}}+{\lambda _{2}})}}}=0\\\sum \limits _{k=1}^ {n} {({x_{k}}^{2}-{\delta ^{2}}){e^{{x_{k}}({\lambda _{3}}{x_{k}} +{\ lambda _{2}})}}}=0\\{e^{1-{\lambda _{1}}}}=\sum \limits _{k=1}^{n}{e ^{{ x_{k}}({\lambda _{3}}{x_{k}}+{\lambda _{2}})))\end{matriz}}\right.$

El problema de probar la existencia y unicidad de una solución en este caso es mucho más difícil. Además, el problema de encontrar los parámetros y de la segunda y tercera ecuaciones del sistema. Sin embargo, si la prueba es posible, entonces la distribución extrema con parámetros dados tendrá solo la forma encontrada. ${\ estilo de visualización \ lambda _ {1}}$ ${\ estilo de visualización \ lambda _ {2}}$

Solo se conoce el valor esperado (caso continuo)

Supongamos que solo conocemos la expectativa de una distribución de probabilidad continua de alguna variable aleatoria : . ¿Cuál es la función de distribución de densidad de probabilidad en este caso? ${\ estilo de visualización X}$ $M[X]=\int \limits_{-\infty}^{\infty}{xf(x)dx}=m$ ${\ estilo de visualización f (x)}$

La distribución está sujeta a restricciones adicionales:

${\ estilo de visualización \ para todos x: f (x) \ geq 0}$
$\int \limits _{-\infty}^{\infty}{f(x)dx}=1$

Según el principio de máxima entropía, es necesario maximizar la función en estas condiciones ${\displaystyle H(X)=-\int \limits _{-\infty }^{\infty }{f(x)\ln f(x)dx))$

Componemos la función de Lagrange y encontramos , para la cual es posible un extremo : ${\ estilo de visualización f (x)}$ ${\ estilo de visualización H}$ $L=-f(x)\ln f(x)+{\lambda _{1}}f(x)+{\lambda _{2}}xf(x)$

La ecuación de Euler-Lagrange en este caso tiene la forma . ${\frac {\parcial L}{\parcial f))=-\ln f-1+{\lambda _{1))+{\lambda _{2))x=0$

Su solución es la función , es decir, el exponente. $f(x)={e^{{\lambda _{2}}x+{\lambda _{1}}-1}}$

Está claro que el área bajo la gráfica de tal función puede ser finita solo si no más de un límite de integración tiende a infinito. Por lo tanto, supondremos que una variable aleatoria puede tomar valores solo en algún dominio finito o semi-infinito , no necesariamente simplemente conectado. En todos los demás puntos, la función se considerará igual a cero. ${\ estilo de visualización X}$ ${\ estilo de visualización G}$ ${\ estilo de visualización f (x)}$

Para encontrar los valores de los coeficientes y , es necesario componer un sistema de ecuaciones a partir de las condiciones impuestas a la distribución y resolverlo. El sistema se parece a: ${\ estilo de visualización \ lambda _ {1}}$ ${\ estilo de visualización \ lambda _ {2}}$

$\left\{{\begin{matriz}{l}\int \limits_{-\infty}^{\infty}{xf(x)dx}=\int \limits_{G}{x{ e^{{\lambda _{2}}x+{\lambda _{1}}-1}}dx}=m\\\int \limits _{-\infty }^{\infty }{f(x) dx}=\int \limits _{G}{{e^{{\lambda _{2}}x+{\lambda _{1}}-1}}dx}=1\end{matriz}}\right.$ y se puede traer a la mente . $\left\{{\begin{matriz}{l}m={\frac {\int \limits _{G}{x{e^({\lambda _{2}}x}}dx}} {\int \limits _{G}{{e^{{\lambda _{2}}x}}dx}}}\\{e^{1-{\lambda _{1}}}}=\int \limits _{G}{{e^{{\lambda _{2}}x}}dx}\end{matriz}}\right.$

Aquí se "toman" todas las integrales, por lo que se puede expresar de manera única en términos de: solo es necesario especificar el área más específicamente . En este caso, la solución encontrada es única. ${\ estilo de visualización \ lambda _ {2}}$ ${\ estilo de visualización m}$ ${\ estilo de visualización G}$

Dado que el coeficiente se expresa de forma única a través de , entonces es único. Debido a la unicidad de la solución encontrada, la función maximiza el funcional . La función entonces tiene la forma . ${\ estilo de visualización \ lambda _ {1}}$ ${\ estilo de visualización \ lambda _ {2}}$ ${\ estilo de visualización f (x)}$ ${\ estilo de visualización H}$ ${\ estilo de visualización f (x)}$ $f(x)={\frac {e^{{\lambda _{2}}x}}{\int \limits _{G}{{e^{{\lambda _{2}}t} }dt}}}$

La distribución encontrada se denomina distribución de Boltzmann (o Gibbs) de una variable aleatoria continua.

Solo se conoce el segundo momento inicial (caso continuo)

Supongamos que sólo se conoce el segundo momento inicial de la distribución de probabilidad de alguna variable aleatoria continua : . ¿Cuál es la distribución en este caso? ${\ estilo de visualización {\ delta ^ {2))}$ ${\ estilo de visualización X}$ ${\delta ^{2}}=\int \limits _{-\infty }^{\infty }{{x^{2}}f(x)dx}$

La función de Lagrange en este caso tiene la forma . $L=-f(x)\ln f(x)+{\lambda_{1}}f(x)+{\lambda_{2}}{x^{2}}f(x)$

La ecuación de Euler-Lagrange tiene la forma . ${\frac {\parcial L}{\parcial f))=-\ln f-1+{\lambda _{1))+{\lambda _{2)){x^{2))= 0$

Su solución es la función . $f(x)={e^{{\lambda_{2}}{x^{2}}+{\lambda_{1}}-1}}$

Está claro que el área bajo la gráfica puede ser finita solo en el caso de . Si , entonces se obtiene una distribución uniforme, que ya se ha considerado anteriormente. ${\ estilo de visualización f (x)}$ ${\ estilo de visualización \ lambda _ {2} <0}$ ${\ estilo de visualización \ lambda _ {2} = 0}$

Para encontrar los valores de los coeficientes y , debe componer un sistema de ecuaciones a partir de las condiciones impuestas a la distribución y resolverlo: ${\ estilo de visualización \ lambda _ {1}}$ ${\ estilo de visualización \ lambda _ {2}}$

$\left\{{\begin{matriz}{l}{\delta ^{2}}=\int \limits _{-\infty }^{\infty }{{x^{2}}f( x)dx}=\int \limits _{-\infty }^{\infty }{{x^{2}}{e^{{\lambda _{2}}{x^{2}}+{\ lambda _{1}}-1}}dx}\\1=\int \limits _{-\infty }^{\infty }{f(x)dx}=\int \limits _{-\infty }^ {\infty }{{e^{{\lambda _{2}}{x^{2}}+{\lambda _{1}}-1}}dx}\end{matriz}}\right.$

Dado que aquí hay una integral de Euler-Poisson definida , el sistema se puede escribir como:

$\left\{{\begin{matriz}{l}{\delta ^{2}}={\frac {\int \limits_{-\infty}^{\infty}}{{x^{2 }}{e^{{\lambda _{2}}{x^{2}}}}dx}}{\int \limits _{-\infty }^{\infty }{{e^{{\lambda _ {2}}{x^{2}}}}dx}}}\\\int \limits_{-\infty}^{\infty }{{x^{2}}{e^{{\lambda _ {2}}{x^{2}}}}dx}=-{\frac {1}{2{\lambda_{2}}}}\int \limits__{-\infty}^{\infty }{{e^{{\lambda_{2}}{x^{2}}}}dx}\\{e^{1-{\lambda_{1}}}}=\int \limits__ -\infty }^{\infty }{{e^{{\lambda _ {2}}{x^{2}}}}dx}={\sqrt {-{\frac {\pi }{\lambda _ {2}}}}}\end{matriz}}\derecha.$ , de donde finalmente $\left\{{\begin{matriz}{l}f(x)={e^{{\lambda _{1}}-1}}{e^{{\lambda _{2}}{ x^{2))))={\frac {1}{\delta {\sqrt {2\pi )))){e^{-{\frac {1}{2)){{\left({ \frac {x}{\delta }}\right)}^{2))))\\{\delta ^{2}}=-{\frac {1}{2{\lambda _{2}}} }\\{e^{1-{\lambda _{1})))={\sqrt {-{\frac {\pi }{\lambda _{2})))}\end{matriz))\ Correcto.$

Entonces, la distribución es una distribución normal con media cero y varianza . ${\ estilo de visualización X}$ ${\ estilo de visualización {\ delta ^ {2))}$

Se conocen la expectativa y el segundo momento inicial (caso continuo)

La función de Lagrange en este caso tiene la forma . $L=-f(x)\ln f(x)+{\lambda _{1}}f(x)+{\lambda _{2}}xf(x)+{\lambda _{3} {x^{2}}f(x)$

La ecuación de Euler-Lagrange tiene la forma . ${\frac {\parcial L}{\parcial f))=-\ln f-1+{\lambda _{1))+{\lambda _{2))x+{\lambda _{3} {x^{2}}=0$

Su solución es la función . $f(x)={e^{{\lambda _{3}}{x^{2}}+{\lambda _{2}}x+{\lambda _{1}}-1}}$

Vamos a tomarlo de nuevo . ${\ estilo de visualización \ lambda _ {3} <0}$

Para encontrar los valores de los coeficientes , , , es necesario componer un sistema de ecuaciones a partir de las condiciones impuestas a la distribución y resolverlo: ${\ estilo de visualización \ lambda _ {1}}$ ${\ estilo de visualización \ lambda _ {2}}$ ${\ estilo de visualización \ lambda _ {3}}$

$\left\{{\begin{matriz}{l}{\delta ^{2}}=\int \limits _{-\infty }^{\infty }{{x^{2}}f( x)dx}=\int \limits _{-\infty }^{\infty }{{x^{2}}{e^{{\lambda _{3}}{x^{2}}+{\ lambda _{2}}x+{\lambda _{1}}-1}}dx}\\m=\int \limits _{-\infty}^{\infty}{xf(x)dx}=\int \limits _{-\infty}^{\infty}{x{e^({\lambda_{3}}{x^{2}}+{\lambda_{2}}x+{\lambda_{1 }}-1}}dx}\\1=\int \limits _{-\infty }^{\infty }{f(x)dx}=\int \limits _{-\infty }^{\infty } {{e^{{\lambda _{3}}{x^{2}}+{\lambda _{2}}x+{\lambda _{1}}-1}}dx}\end{matriz}} \Correcto.$

El grado de un número en integrales se puede representar como: , donde , . ${\ estilo de visualización e}$ ${\lambda_{3}}{x^{2}}+{\lambda_{2}}x=-{\frac {1}{2}}{\frac {{{\left({ x-{\frac {\lambda _{2}}{-2{\lambda _{3}}}}}\derecha)}^{2}}-{{\izquierda({\frac {\lambda_{ 2}}{-2{\lambda _{3}}}}\right)}^{2}}}{1/(-2{\lambda _{3}})))=-{\frac{1 {2}}{\frac {{{\izquierda({xm'}\derecha)}^{2}}-m{'^{2}}}{D}}$ $m'={\frac {\lambda _{2}}{-2{\lambda _{3}}}}$ $D=-{\frac {1}{2{\lambda _{3))))$

Después

$\left\{{\begin{matriz}{l}{\frac {m}{1}}={\frac {\int \limits_{-\infty}^{\infty}{x{e ^{{\lambda _{3}}{x^{2}}+{\lambda _{2}}x+{\lambda _{1}}-1}}dx}}{\int \limits _{- \infty }^{\infty }{{e^{{\lambda _{3}}{x^{2}}+{\lambda _{2}}x+{\lambda _{1}}-1}} dx}}}={\frac {{\frac {1}{\sqrt {D2\pi }}}\int \limits _{-\infty }^{\infty }{x{e^{{\lambda _ {3}}{x^{2}}+{\lambda _{2}}x}}dx}}{{\frac {1}{\sqrt {D2\pi }}}\int \limits_{- \infty }^{\infty }{{e^{{\lambda _{3}}{x^{2}}+{\lambda _{2}}x}}dx}}}={\frac {{ \frac {1}{\sqrt {D2\pi }}}\int \limits _{-\infty }^{\infty }{x{e^{-{\frac {1}{2}}{\frac {{{\left({xm'}\right)}^{2}}-m{'^{2}}}{D}}}}dx}}{{\frac {1}{\sqrt {D2 \pi }}}\int \limits _{-\infty }^{\infty }{{e^{-{\frac {1}{2}}{\frac {{{\left({xm'}\ derecha)}^{2}}-m{'^{2}}}{D}}}}dx}}}={\frac {m'}{1}}\\{\frac {\delta ^{ 2}}{1}}={\frac {\int \limits _{-\infty }^{\infty }{{x^{2}}{e^{{\lambda _{3}}{x^ {2}}+{\lambda _{2}}x+{\lambda _{1}}-1}}dx}}{\int \limits _{-\infty }^{\infty }{{e^{ {\lambda _{3}}{x^{2}}+{\lamb da _{2}}x+{\lambda _{1}}-1}}dx}}}={\frac {{\frac {1}{\sqrt {D2\pi }}}\int \limits_{ -\infty }^{\infty }{{x^{2}}{e^{-{\frac {1}{2}}{\frac {({\left({xm'}\right)}^ {2}}-m{'^{2}}}{D}}}}dx}}{{\frac {1}{\sqrt {D2\pi }}}\int \limits _{-\infty } ^{\infty }{{e^{-{\frac {1}{2}}{\frac {{{\left({xm'}\right)}^{2}}-m{'^{2 }}}{D}}}}dx}}}={\frac {1}{\sqrt {D2\pi }}}\int \limits _{-\infty }^{\infty }{{x^{ 2}}{e^{-{\frac {1}{2}}{\frac {{\left({xm'}\right)}^{2}}{D}}}}dx}=D+ m {'^{2}}\\1=\int \limits _{-\infty }^{\infty }{{e^{{\lambda _{3}}{x^{2}}+{\ lambda _ {2}}x+{\lambda_{1}}-1}}dx}={e^{{\lambda_{1}}-1}}\int \limits_{-\infty }^{ \ infinito {{e^{-{\frac {1}{2}}{\frac {{{\left({xm'}\right)}^{2}}-m{'^{2}} } {D}}}}dx}={e^{{\lambda _{1}}-1+{\frac {m{'^{2}}}{2D}}}}{\sqrt {D2\ pi }}\end{matriz}}\derecha.$ ,

dónde

$\left\{{\begin{matriz}{l}m=m'={\frac {\lambda _{2}}{-2{\lambda _{3}}}}\\{\delta ^{2}}-{m^{2}}={\delta ^{2}}-m{'^{2}}=D=-{\frac {1}{2{\lambda _{3} ))}\\{e^{{\lambda _{1}}-1}}={\frac {e^{-{\frac {m^{2}}{2D}}}}{\sqrt { D2\pi }}}\end{matriz}}\right.$ .

Obviamente, es la varianza de la distribución . ${\ estilo de visualización D}$ ${\ estilo de visualización f (x)}$

Finalmente, la función se puede escribir como . ${\ estilo de visualización f (x)}$ $f(x)={e^{{\lambda _{1}}-1}}{e^{{\lambda _{3}}{x^{2}}+{\lambda _{2} }}x}}={\frac {e^{-{\frac {m^{2}}{2D}}}}{\sqrt {D2\pi }}}{e^{-{\frac {1 {2}}{\frac {{{\left({xm'}\right)}^{2}}-m{'^{2}}}{D}}}}={\frac {1} {\sqrt {D2\pi }}}{e^{-{\frac {1}{2}}{\frac {{\left({xm}\right)}^{2}}{D}}} }$

Entonces, obtuvimos una distribución normal con media y varianza . ${\ estilo de visualización m}$ ${\ estilo de visualización D}$

Es fácil ver que inicialmente era posible establecer no el segundo momento inicial de la distribución, sino su varianza, y aun así se habría obtenido una distribución normal con los parámetros dados.

Tabla de distribuciones extremas

En la siguiente tabla, cada distribución listada maximiza la entropía bajo las condiciones impuestas a la distribución, como se indica en la tercera columna. La cuarta columna muestra el dominio de definición de la variable aleatoria.

Tabla de distribuciones extremas

Distribución	Función probabilidades/densidad probabilidades	Restricciones, superpuesto a distribución	Región definiciones aleatorio cantidades
Uniforme (discreto)	$f(k)={\frac {1}{b-a+1))$	No	${\begin{matriz}{l}\{a,a+1,\\...,\\b-1,b\}\,\\\end{matriz}}$
Uniforme (continuo)	$f(x)={\frac{1}{ba}}$	No	$[a,b]\,$
Bernoulli	${\displaystyle f(k)=p^{k}(1-p)^{1-k))$	$M[k]=p\,$	${\ estilo de visualización \ {0,1 \} \,}$
Geométrico	${\ estilo de visualización f (k) = (1-p) ^ {k-1} \, p}$	$M[k]={\frac{1}{p}}\,$	${\ estilo de visualización \ {1,2,3,...\}\,}$
Exponencial	$f(x)=\lambda \exp \left(-\lambda x\right)$	$M[x]={\frac {1}{\lambda}}\,$	$[0,\infty)\,$
Laplace	$f(x)={\frac {1}{2b}}\exp \left(-{\frac {\|x-\mu \|}{b}}\right)$	$M[\|x-\mu \|]=b\,$	$(-\infty,\infty)\,$
inglés Distribución_asimétrica_de_Laplace	$f(x)={\frac {\lambda \,e^{-(xm)\lambda s\kappa ^{s))}{\kappa +1/\kappa }}\,(s\! =\!\nombre del operador {sgn}(x\!-\!m))$	$M[(xm)s\kappa^{s}]=1/\lambda\,$	$(-\infty,\infty)\,$
Pareto	${\displaystyle f(x)={\frac {\alpha x_{m}^{\alpha }}{x^{\alpha +1))))$	$M[\ln(x)]={\frac {1}{\alpha }}+\ln(x_{m})\,$	$[x_{m},\infty)\,$
Normal	$f(x)={\frac {1}{\sqrt {2\pi \sigma ^{2))))\exp \left(-{\frac {(x-\mu )^{2} {2\sigma ^{2}}}\derecho)$	${\begin{arreglo}{l}M[x]=\mu ,\,\\M[(x-\mu )^{2}]=\sigma ^{2}\\\end{arreglo }}$	$(-\infty,\infty)\,$
inglés Von_Mises_distribución	$f(\theta )={\frac {1}{2\pi I_{0}(\kappa )}}\exp {(\kappa \cos {(\theta -\mu )})}$	${\begin{array}{l}M[\cos \theta ]={\frac {I_{1}(\kappa )}{I_{0}(\kappa )))\cos \mu ,\ ,\\M[\sin \theta ]={\frac {I_{1}(\kappa )}{I_{0}(\kappa )}}\sin \mu \\\end{matriz}}$	${\ estilo de visualización [0,2 \ pi) \,}$
Rayleigh	$f(x)={\frac {x}{\sigma ^{2}}}\exp \left(-{\frac {x^{2}}{2\sigma ^{2}}}\ Correcto)$	${\begin{array}{l}M[x^{2}]=2\sigma ^{2},\\M[\ln(x)]={\frac {\ln(2\sigma ^{2})-\gamma _{E}}{2}}\,\\\end{matriz}}$	$[0,\infty)\,$
Beta	$f(x)={\frac {x^{\alpha -1}(1-x)^{\beta -1}}{B(\alpha ,\beta )))$	${\begin{array}{l}M[\ln(x)]=\psi (\alpha )-\psi (\alpha +\beta ),\,\\M[\ln(1-x )]=\psi (\beta)-\psi (\alpha +\beta)\,\\\end{matriz}}$	${\ estilo de visualización [0,1] \,}$
cauchy	$f(x)={\frac {1}{\pi (1+x^{2})))$	${\ estilo de visualización M [\ ln (1 + x ^ {2})] = 2 \ ln 2}$	$(-\infty,\infty)\,$
inglés distribución_chi	$f(x)={\frac {2}{2^{k/2}\Gamma (k/2)))x^{k-1}\exp \left(-{\frac {x^ {2}}{2}}\derecho)$	${\begin{array}{l}M[x^{2}]=k,\,\\M[\ln(x)]={\frac {1}{2))\left[\ psi \left({\frac {k}{2}}\right)\!+\!\ln(2)\right]\\\end{matriz}}$	$[0,\infty)\,$
chi-cuadrado	$f(x)={\frac {1}{2^{k/2}\Gamma (k/2)}}x^{{\frac {k}{2}}\!-\!1 }\exp \left(-{\frac {x}{2}}\right)$	${\begin{array}{l}M[x]=k,\,\\M[\ln(x)]=\psi \left({\frac {k}{2}}\right) +\ln(2)\\\end{matriz}}$	$[0,\infty)\,$
inglés Erlang_distribución	$f(x)={\frac {\lambda ^{k}}{(k-1)!}}x^{k-1}\exp(-\lambda x)$	${\begin{array}{l}M[x]=k/\lambda ,\,\\M[\ln(x)]=\psi (k)-\ln(\lambda )\\\ fin {matriz}}$	$[0,\infty)\,$
Gama	$f(x)={\frac {x^{k-1}\exp(-{\frac {x}{\theta }})}{\theta ^{k}\Gamma (k)))$	${\begin{array}{l}M[x]=k\theta ,\,\\M[\ln(x)]=\psi (k)+\ln(\theta )\\\end {formación}}$	$[0,\infty)\,$
logaritmo normal	$f(x)={\frac {1}{\sigma x{\sqrt {2\pi ))))\exp \left(-{\frac {(\ln x-\mu )^{2 }}{2\sigma ^{2}}}\derecha)$	${\begin{array}{l}M[\ln(x)]=\mu ,\\M[(\ln(x)-\mu )^{2}]=\sigma ^{2} \,\\\end{matriz}}$	$[0,\infty)\,$
Maxwell	$f(x)={\frac {1}{a^{3}}}{\sqrt {\frac {2}{\pi }}}\,x^{2}\exp \left(- {\frac{x^{2}}{2a^{2}}}\right)$	${\begin{array}{l}M[x^{2}]=3a^{2},\,\\M[\ln(x)]\!=\!1\!+\! \ln \left({\frac {a}{\sqrt {2}}}\right)\!-\!{\frac {\gamma _{E}}{2}}\\\end{matriz}}$	$[0,\infty)\,$
Weibulla	$f(x)={\frac {k}{\lambda ^{k))}x^{k-1}\exp \left(-{\frac {x^{k)){\lambda ^ {k}}}\derecho)$	${\begin{array}{l}M[x^{k}]=\lambda ^{k},\\M[\ln(x)]=\ln(\lambda )-{\frac { \gamma _{E}}{k}}\,\\\end{matriz}}$	$[0,\infty)\,$
Multidimensional normal	$f_{X}({\vec{x)))=$ ${\frac {\exp \left(-{\frac {1}{2}}({\vec {x}}-{\vec {\mu }})^{\top }\Sigma ^{ -1}\cdot ({\vec {x}}-{\vec {\mu }})\right)}{(2\pi )^{N/2}\left\|\Sigma \right\|^{1 /2}}}$	${\begin{array}{l}M[{\vec {x}}]={\vec {\mu )),\,\\M[({\vec {x}}-{\vec {\mu )))({\vec {x))-{\vec {\mu )))^{T}]=\Sigma \,\\\end{matriz))$	$(-{\vec {\infty)),{\vec {\infty)))\,$
Binomio	${\displaystyle f(k)={n \elegir k}p^{k}(1-p)^{nk))$
veneno	$f(k)={\frac {\exp ^{-\lambda }\lambda ^{k}}{k!)}}$

Véase también

Notas

↑ 12 Jaynes , ET Teoría de la información y mecánica estadística (inglés) // Physical Review : revista. - 1957. - vol. Serie II , n. 4 . - P. 620-630 . -doi :/ PhysRev.106.620 . - .
↑ Jaynes, ET Teoría de la información y mecánica estadística II (inglés) // Revisión física : revista. - 1957. - vol. Serie II , n. 2 . - pág. 171-190 . -doi :/ PhysRev.108.171 . - .
↑ 123 E.C. _ _ Shannon. Una teoría matemática de la comunicación . Archivado desde el original el 29 de marzo de 2016.
↑ I. N. beckman Informática. Curso de conferencias . — P. Etapas de formación del concepto de entropía . Archivado desde el original el 13 de diciembre de 2016.
↑ VA Fursov. Teoría de la información. - Sámara: SGAU, 2011. - Pág. 15.

Literatura

Golitsyn G.A. Información y creatividad. - M. : Mundo ruso, 1997. - 304 p. — ISBN 5-85810-039-2 .
Yu. G. Rudoy. Entropía de Información Generalizada y Distribución No Canónica en Mecánica Estadística de Equilibrio
Jaynes, ET Teoría de la información y mecánica estadística // Física estadística (sin especificar) / Ford, K. (ed.). - Nueva York: Benjamin, 1963. - S. 181.
Jaynes, ET, 1986 (nueva versión en línea 1996), 'Monkeys, kangaroos and ' $norte$ , en Maximum-Entropy and Bayesian Methods in Applied Statistics , JH Justice (ed.), Cambridge University Press, Cambridge, p. 26
Bajkova, AT, 1992, La generalización del método de máxima entropía para la reconstrucción de funciones complejas . Transacciones astronómicas y astrofísicas, V.1, número 4, pág. 313-320.
Giffin, A. y Caticha, A., 2007, Actualización de probabilidades con datos y momentos
Guiasu, S. y Shenitzer, A., 1985, 'El principio de máxima entropía', The Mathematical Intelligencer, 7 (1), 42-48.
Harremoës P. y Topsøe F., 2001, Fundamentos de máxima entropía , Entropía, 3(3), 191-226.
Kapur, JN; y Kesavan, HK , 1992, Principios de optimización de entropía con aplicaciones , Boston: Academic Press. ISBN 0-12-397670-7
Kitamura, Y., 2006, Empirical Likelihood Methods in Econometrics: Theory and Practice , Documentos de debate de la Fundación Cowles 1569, Fundación Cowles, Universidad de Yale.
Lazar, N., 2003, "Verosimilitud empírica bayesiana", Biometrika, 90, 319-326.
Owen, AB, Verosimilitud empírica , Chapman y Hall.
Schennach, SM, 2005, "Verosimilitud empírica inclinada exponencialmente bayesiana", Biometrika, 92(1), 31-46.
Uffink, Jos, 1995, '¿Se puede explicar el principio de máxima entropía como un requisito de consistencia?' , Estudios de Historia y Filosofía de la Física Moderna 26B , 223-261.

Principio de máxima entropía

Historia

Funcionalidad

Entropía de Shannon

La entropía máxima de Shannon y el método del multiplicador de Lagrange

Entropía de una distribución continua

Máxima entropía diferencial y cálculo de variaciones

Distribuciones extremas

No se sabe nada sobre la variable aleatoria (casos discretos y continuos)

Solo se conoce la esperanza matemática (caso discreto)

Solo se conoce el segundo momento inicial (caso discreto)

Se conocen la expectativa y el segundo momento inicial (caso discreto)

Solo se conoce el valor esperado (caso continuo)

Solo se conoce el segundo momento inicial (caso continuo)

Se conocen la expectativa y el segundo momento inicial (caso continuo)

Tabla de distribuciones extremas

Véase también

Notas

Literatura

Enlaces