Entropía de Renyi

En la teoría de la información, la entropía de Rényi , una generalización de la entropía de Shannon , es una familia de funcionales utilizados como medida de la diversidad cuantitativa, la incertidumbre o la aleatoriedad de algún sistema. El nombre de Alfred Renyi .

Si algún sistema tiene un conjunto discreto de estados disponibles , que corresponde a la distribución de probabilidad para (es decir , la probabilidad de que el sistema esté en estados ), entonces la entropía de Rényi con el parámetro (en y ) del sistema se define como $X=\{x_{1},...,x_{n}\}$ $Pi}$ ${\ estilo de visualización i = 1,..., n}$ $Pi}$ $x_{yo}$ $\alfa$ ${\ estilo de visualización \ alfa \ geq 0}$ ${\ estilo de visualización \ alfa \ neq 1}$

H_{\alpha }(X)={\frac {1}{1-\alpha }}\log \sum _{i=1}^{n}p_{i}^{\alpha }={ \frac {1}{1-\alpha }}\log {\Gran \langle }p^{\alpha -1}{\Gran \rangle }

donde los paréntesis angulares denotan la esperanza matemática por distribución ( es la probabilidad de que el sistema se encuentre en un determinado estado como variable aleatoria ), el logaritmo se toma en base 2 (para contar en bits) o en otra base conveniente (debe ser mayor que 1). La base del logaritmo determina la unidad de entropía. Por eso, en estadística matemática , se suele utilizar el logaritmo natural . $Pi}$ $pags$

Si todas las probabilidades son , entonces para cualquiera la entropía de Rényi es . De lo contrario , la entropía disminuye en función de . Además, los valores más altos (que van al infinito) dan valores de entropía de Renyi que están determinados en gran medida solo por las probabilidades más altas de eventos (es decir, la contribución de los estados de baja probabilidad a la disminución de la entropía). El caso intermedio en el límite da la entropía de Shannon, que tiene propiedades especiales. Los valores más bajos (que van a cero) dan un valor de entropía de Rényi que pondera los eventos posibles de manera más uniforme, menos dependiente de sus probabilidades. Y cuando conseguimos la máxima -entropía posible igualamos independientemente de la distribución (aunque sólo sea ). $p_{i}=1/n$ $\alfa$ $H_{\alpha }(X)=\log n$ $\alfa$ $\alfa$ $\alfa$ ${\ estilo de visualización \ alfa = 1}$ $\alfa$ ${\ estilo de visualización \ alfa = 0}$ $\alfa$ $\log n$ $p_{i}\neq 0$

El significado del parámetro se puede describir, hablando informalmente, como la susceptibilidad del funcional a la desviación del estado del sistema del estado de equilibrio: cuanto mayor , más rápido disminuye la entropía cuando el sistema se desvía del estado de equilibrio. El significado de la restricción es proporcionar un aumento en la entropía cuando el sistema se acerca a un estado de equilibrio (más probable). Este requisito es natural para el concepto de entropía . Cabe señalar que para la entropía de Tsallis , que es equivalente a la entropía de Renyi hasta una transformación monotónica independiente de , se suele omitir la restricción correspondiente, mientras que para valores negativos del parámetro, en lugar de maximizar la entropía, se minimiza su minimización. se usa $\alfa$ $\alfa$ ${\ estilo de visualización \ alfa \ geq 0}$ $X$

La entropía de Rényi juega un papel importante en ecología y estadística, definiendo los llamados índices de diversidad . La entropía de Rényi también es importante en la información cuántica y puede usarse como una medida de complejidad . En la cadena de Heisenberg, la entropía de Rényi se calculó en términos de funciones modulares en función de . También conducen a un espectro de exponentes de dimensión fractal . ${\ estilo de visualización XY}$ $\alfa$

H α para algunos valores específicos de α

Algunos casos especiales

Para , la entropía de Rényi no depende de las probabilidades de estado (el caso degenerado) y es igual al logaritmo del número de estados (el logaritmo de la potencia del conjunto ): $\alpha=0$ $X$

H_{0}(X)=\log n=\log |X|

Esta entropía a veces se denomina entropía de Hartley . Se utiliza, por ejemplo, en la formulación del principio de Boltzmann .

En el límite en , se puede demostrar, usando la regla de L'Hopital , que converge a la entropía de Shannon . Por lo tanto, la familia de entropía Rényi puede extenderse por el funcional ${\ estilo de visualización \ alfa \ a 1}$ ${\ Displaystyle H_ {\ alfa}}$

H_{1}(X){\stackrel {\mathrm {df} }{\;=\;}}\lim _{\alpha \to 1}H_{\alpha }(X)=H(X )=-\sum_{i=1}^{n}p_{i}\log p_{i}

La entropía cuadrática, a veces llamada entropía de colisión, es la entropía de Rényi con el parámetro : ${\ estilo de visualización \ alfa = 2}$

H_{2}(X)=-\log \sum _{i=1}^{n}p_{i}^{2}=-\log \operatorname {Prob} \{x=y\}

donde y son variables aleatorias independientes igualmente distribuidas en el conjunto con probabilidades ( ). La entropía cuadrática se utiliza en física , procesamiento de señales y economía . $X$ $y$ $X$ $Pi}$ ${\ estilo de visualización i = 1,..., n}$

hay un limite

H_{\infty}(X){\stackrel {\mathrm {df} }{\;=\;}}\lim _{\alpha \to \infty }H_{\alpha }(X)=- \log \sup _{i}p_{i}

que se llama min-entropía porque es el valor más pequeño de . Esta entropía es también un caso degenerado, ya que su valor está determinado únicamente por el estado más probable. ${\ Displaystyle H_ {\ alfa}}$

Desigualdades para diferentes valores de α

Los dos últimos casos están relacionados por . Por otro lado, la entropía de Shannon puede ser arbitrariamente alta para una distribución X con una entropía mínima fija. ${\displaystyle H_{\infty }<H_{2}<2H_{\infty ))$ $H_{1}(X)$

{\displaystyle H_{2}<2H_{\infty ))

porque _

\log \sum \limits _{i=1}^{n}{p_{i}^{2}}\geq \log \sup _{i}p_{i}^{2}=2\ registro \sup _{i}p_{i}

{\displaystyle H_{\infty }<H_{2))

, porque .

\log \sum \limits _{i=1}^{n}{p_{i}^{2}}<\log \sup _{i}p_{i}\left({\sum \limits _{i=1}^{n}{p_{i}}}\right)=\log\sup_{i}p_{i}

H_{1}\geq H_{2}

según la desigualdad de Jensen .

\sum \limits _{i=1}^{n}{p_{i}\log p_{i}}\leq \log \sum \limits _{i=1}^{n}{p_{ yo}^{2}}

Divergencias (divergencias) de Renyi

Además de la familia de la entropía, Rényi también definió un rango de medidas de divergencia (divergencias) generalizando la divergencia Kullback-Leibler . Las fórmulas de esta sección están escritas en forma general, a través de un logaritmo en una base arbitraria. Por lo tanto, debe comprender que cada fórmula dada es una familia de funcionales equivalentes definidos hasta un factor constante (positivo).

La divergencia de Rényi con parámetro , donde y , distribución relativa a distribución (o "distancia de a ") se define como $\alfa$ $\alfa >0$ ${\ estilo de visualización \ alfa \ neq 1}$ $q$ $PAGS$ $PAGS$ $q$

D_{\alpha }(P\|Q)={\frac {1}{\alpha -1}}\log \sum _{i=1}^{n}p_{i}^{\alpha }q_{i}^{1-\alpha }={\frac {1}{\alpha -1}}\log {\Big \langle }(p/q)^{\alpha -1}::P{ \grande\ángulo}

o (formalmente, sin tener en cuenta la normalización de probabilidades)

D_{\alpha }(P\|Q)=-H_{\alpha }{\Bigg (}{\frac {p}{q^{1-1/\alpha }}}{\Bigg )}

{\displaystyle H_{\alpha }(P)=-\left.D_{\alpha }(P\|Q)\right|_{q=1))

Al igual que la divergencia de Kullback-Leibler de , la divergencia de Rényi no es negativa para . $\alfa >0$

Algunos casos especiales

Para , la divergencia de Renyi no está definida, pero la familia de divergencias puede extenderse por el elemento $\alpha=0$

D_{0}(P\|Q){\stackrel {\mathrm {df} }{\;=\;}}\lim _{\alpha \to 0}D_{\alpha }(P\| Q)=-\log \sum _{i=1}^{n}q_{i}\operatorname {sgn} p_{i}

: menos el logaritmo de la suma de probabilidades tal que el correspondiente .

q

p>0

${\displaystyle D_{1/2}(P\|Q)=-2\log \sum _{i=1}^{n}{\sqrt {p_{i}q_{i))))$ : distancia de Bhattacharya (menos el logaritmo del coeficiente de Bhattacharya , ignorando un factor insignificante ). Esta discrepancia, hasta una transformación monótona , es equivalente a la distancia de Hellinger y la distancia esférica de Bhattacharya-Rao , pero a diferencia de ellas, no satisface la desigualdad del triángulo , y por lo tanto no es una métrica en el espacio de distribuciones. $2$

$D_{1}(P\|Q){\stackrel {\mathrm {df} }{\;=\;}}\lim _{\alpha \to 1}D_{\alpha }(P\| Q)=D_{KL}(P\|Q)=\sum_{i=1}^{n}p_{i}\log {\frac {p_{i}}{q_{i}}}={ \Gran \langle }\log {\frac {p}{q}}::P{\Gran \rangle }$ : Divergencia de Kullback-Leibler (igual a la media de la distribución del logaritmo de la razón de probabilidad ). $PAGS$ $p/q$

$D_{2}(P\|Q)=\log \sum _{i=1}^{n}{\frac {p_{i}^{2}}{q_{i}}}=\ log {\Gran \langle }{\frac {p}{q}}::P{\Gran \rangle}$ : logaritmo del valor esperado sobre la distribución de razón de probabilidad . Esta discrepancia, salvo una transformación monótona , es equivalente a la distancia chi-cuadrado . $PAGS$ $p/q$ $D_{\chi ^{2}}(Q\|P)=\sum _{i=1}^{n}{\frac {(p_{i}-q_{i})^{2} {q_{i}}}$

$D_{\infty }(P\|Q){\stackrel {\mathrm {df} }{\;=\;))\lim _{\alpha \to \infty }D_{\alpha }(P \|Q)=\log \sup _{i}{\frac {p_{i}}{q_{i}}}$ : logaritmo de la razón máxima de probabilidades . $p/q$

Interpretación financiera (juego)

Considere un juego (lotería) adivinando alguna variable aleatoria. Las tasas oficiales de ganancias se conocen y publican como una distribución de probabilidad . Mientras tanto, la verdadera distribución de probabilidad puede no coincidir con . Conocer la verdadera distribución le permite al jugador ganar. El crecimiento esperado del capital es exponencial. Considerando que la distribución es correcta , el jugador puede calcular (su) expectativa matemática de la tasa de crecimiento exponencial del capital (por ronda del juego) [Soklakov2020 ]: $metro$ $metro$ $b$

Crecimiento Esperado

={\frac {1}{R}}\,D_{1}(b\|m)+{\frac {R-1}{R}}\,D_{1/R}(b\ |m)\,,

donde denota la medida relativa de la aversión al riesgo de Arrow-Pratt. $R$

Denotando la verdadera distribución (que no necesariamente coincide con la opinión del jugador ), el crecimiento real obtenido se puede calcular en el límite de un juego múltiple [Soklakov2020 ]: $pags$ $b$

Altura real

={\frac {1}{R}}\,{\Grande (}D_{1}(p\|m)-D_{1}(p\|b){\Grande)}+{\ fracción {R-1}{R}}\,D_{1/R}(b\|m)\,.

¿Por qué el caso α = 1 es especial

El valor de , que corresponde a la entropía de Shannon y la divergencia de Kullback-Leibler , es especial porque solo en este caso se pueden extraer las variables A y X de la distribución de probabilidad conjunta tal que $\alpha=1$

{\displaystyle H(A,X)=H(A)+\mathbb {E} _{p(a)}\{H(X|a)\))

para la entropía, y

D_{\mathrm {KL} }(p(x|a)p(a)||m(x,a))=\mathbb {E}_{p(a)}\{D_{\mathrm {KL} }(p(x|a)||m(x|a))\}+D_{\mathrm {KL} }(p(a)||m(a))

—

por divergencia.

Esto último significa que si buscamos una distribución que minimice las discrepancias de algunas medidas subyacentes y obtenemos nueva información que solo afecta la distribución , entonces la distribución no se verá afectada por los cambios en . ${\ estilo de visualización p (x, a)}$ ${\ estilo de visualización m (x, a)}$ $a$ ${\ estilo de visualización p (x | un)}$ ${\ estilo de visualización m (x | un)}$

En el caso general, las divergencias de Rényi con valores arbitrarios satisfacen las condiciones de no negatividad, continuidad e invariancia bajo la transformación de coordenadas de variables aleatorias. Una propiedad importante de cualquier entropía y divergencia de Rényi es la aditividad: cuando y son independientes, se sigue que $\alfa$ $A$ $X$ ${\ estilo de visualización p (A, X) = p (A) p (X)}$

H_{\alpha }(A,X)=H_{\alpha }(A)+H_{\alpha }(X)

D_{\alpha }(P(A)P(X)\|Q(A)Q(X))=D_{\alpha }(P(A)\|Q(A))+D_{\ alfa }(P(X)\|Q(X))

Las propiedades de caso más fuertes , que involucran la definición de información condicional e información mutua de la teoría de la comunicación, pueden ser muy importantes en otras aplicaciones, o no tener importancia, dependiendo de los requisitos de esas aplicaciones. $\alpha=1$

Entropía cruzada de Renyi

La entropía cruzada de dos distribuciones con probabilidades y ( ) en el caso general se puede definir de diferentes formas (dependiendo de la aplicación), pero debe cumplir la condición . Una de las definiciones (la entropía cruzada de Shannon tiene una propiedad similar ): ${\ Displaystyle H_ {\ alfa} (P, Q)}$ $Pi}$ $q_{yo}$ ${\ estilo de visualización i = 1,..., n}$ $H_{\alpha }(P,P)=H_{\alpha }(P)$

H_{\alpha }(P,Q)=H_{\alpha }(P)+D_{\alpha }(P,Q)

Otra definición propuesta por A. Renyi puede obtenerse de las siguientes consideraciones. Definimos el número efectivo de estados del sistema como la media geométrica ponderada de los valores con pesos : ${\ estilo de visualización 1/q_ {i}}$ $Pi}$

{\overline {n}}=\prod_{i=1}^{n}(1/q_{i})^{p_{i}}

Esto implica la expresión de la entropía cruzada de Shannon

H(P,Q)=\log {\overline {n}}=-\sum _{i=1}^{n}p_{i}\log q_{i}

Argumentando de manera similar, definimos el número efectivo de estados del sistema como un promedio ponderado de valores de ley de potencia con pesos y parámetros : ${\ estilo de visualización 1/q_ {i}}$ $Pi}$ $1-\alfa$

{\overline {n}}=\left(\sum _{i=1}^{n}p_{i}(1/q_{i})^{1-\alpha }\right)^{ \frac {1}{1-\alpha }}=\left(\sum _{i=1}^{n}p_{i}q_{i}^{\alpha -1}\right)^{\frac {1}{1-\alfa}}

Por lo tanto, la entropía cruzada de Renyi tiene la forma

H_{\alpha }(P,Q)=\log {\overline {n}}={\frac {1}{1-\alpha }}\log \sum_{i=1}^{n }p_{i}q_{i}^{\alpha -1}={\frac {1}{1-\alpha }}\log {\Big \langle }q^{\alpha -1}::P{ \grande\ángulo}

Es fácil ver que si las distribuciones de probabilidad y coinciden, la entropía cruzada de Rényi coincide con la entropía de Rényi. $pags$ $q$
También en , la entropía cruzada de Renyi converge a la entropía cruzada de Shannon . ${\ estilo de visualización \ alfa \ a 1}$
La propiedad , que es válida para la entropía cruzada de Shannon, no se cumple en el caso general. La entropía cruzada de Renyi puede ser mayor o menor que la entropía de Renyi. $H(P,Q)=H(P)+D_{KL}(P\|Q)\geq H(P)$

Caso continuo

Para una generalización formal de la entropía de Shannon al caso de una distribución continua, se utiliza el concepto de entropía diferencial . La entropía diferencial de Rényi se define exactamente de la misma manera:

H_{\alpha }(f)={\frac {1}{1-\alpha }}\log \int \limits _{X}^{}{f^{\alpha }(x)}dx

La divergencia de Rényi en el caso continuo también es una generalización de la divergencia de Kullback-Leibler y tiene la forma

D_{\alpha }(g,f)={\frac {1}{\alpha -1}}\log \int \limits _{X}^{}{g^{\alpha }(x) f^{1-\alfa}(x)}dx

La definición de entropía cruzada, propuesta por A. Renyi, en el caso continuo tiene la forma

H_{\alpha }(g,f)={\frac {1}{1-\alpha }}\log \int \limits _{X}^{}{g(x)f^{\alpha -1}(x)}dx

En las fórmulas anteriores , y son algunas funciones de densidad de probabilidad , definidas en el intervalo , y se supone que, . $f(x)$ $g(x)$ $X\subseteq R$ $\alfa >0$ ${\ estilo de visualización \ alfa \ neq 1}$

Literatura

A. Renyi (1961). “Sobre medidas de información y entropía” (PDF) . Actas del 4º Simposio de Berkeley sobre Matemáticas, Estadística y Probabilidad 1960 . páginas. 547-561.
A. O. Hero, O. Michael y J. Gorman. Divergencias alfa para clasificación, indexación y recuperación (inglés) : revista. — 2002.
F. Nielsen y S. Boltz. Los centroides de Burbea-Rao y Bhattacharyya (neopr.) . — 2010.
Análisis EEG de OA Rosso utilizando herramientas de información basadas en wavelet. Revista de métodos de neurociencia 153 (2006) 163–182
La entropía de Rényi como medida del entrelazamiento en la cadena de espín cuántico: F. Franchini, AR Its, VE Korepin, Journal of Physics A: Math. teor. 41 (2008) 025302 [1]

Soklakov, AN (2020). “Economía del desacuerdo: intuición financiera para la divergencia Rényi” . entropía _ 22 (8) : 860. arXiv : 1811.08308 . DOI : 10.3390/e22080860 .