F-divergencia

f -divergencia ( f -discrepancia ) es una clase de funcionalesque generalmente definen una medida asimétrica de divergencia entre dos distribuciones de probabilidad y. Comúnmente aplicado en la teoría de la información y la teoría de la probabilidad . El funcional está únicamente determinado (generado) por una funciónque satisface ciertas condiciones. $D_{f}(P\parallel Q)$ $PAGS$ $q$ $pie)$

Esta clase de divergencias fue introducida y estudiada de forma independiente por Csiszár (1963 ), Morimoto (1963 ) y Ali & Silvey (1966 ). Por lo tanto, a veces puedes encontrar los nombres f -divergencia Chisara , divergencia Chisara-Morimoto o distancia Ali-Silvi.

Definición

Sean y sean distribuciones de probabilidad dadas en el conjunto tal que es absolutamente continua con respecto a . Sea la función convexa para y . Entonces la función define la f -divergencia con respecto a la siguiente forma: $PAGS$ $q$ $\Omega$ $PAGS$ $q$ $pie)$ $t\geq 0$ ${\ estilo de visualización f (1) = 0}$ $F$ $PAGS$ $q$

D_{f}(P\parallel Q)=\int_{\Omega }f\left({\frac {dP}{dQ))\right)dQ=\operatorname {E}_{Q}f \left({\frac {dP}{dQ}}\right).

Si es cualquier medida de , y ambas distribuciones y son continuas con respecto a , es decir, hay funciones y , entonces la f -divergencia se puede escribir como $\mu$ $\Omega$ $PAGS$ $q$ $\mu$ $p={\frac {dP}{d\mu}}$ $q={\frac {dQ}{d\mu}}$

D_{f}(P\parallel Q)=\int_{\Omega }f\left({\frac {p}{q))\right)q\,d\mu .

En el caso de la medida de Lebesgue, las distribuciones tienen densidades y , entonces la divergencia f toma la forma ${\ estilo de visualización \ mu = x}$ $p(x)$ $q(x)$

D_{f}(P\parallel Q)=\int_{\Omega }f\left({\frac {p(x)}{q(x)))\right)q(x)\, dx.

Para distribuciones discretas y , donde , $P=\{p_{i}\}$ $Q=\{q_{i}\}$ ${\ estilo de visualización i = 1,..., N}$

D_{f}(P\parallel Q)=\sum _{i=1}^{N}f\left({\frac {p_{i}}{q_{i}}}\right)q_ {i}.

Cabe señalar que la función está definida hasta el término , donde es una constante arbitraria. De hecho, la forma de la divergencia f no depende de la elección de , ya que el término de la función hace una contribución cero al valor de la integral. Además, la función puede contener una constante multiplicativa positiva , que especifica la unidad de medida de la divergencia. Al respecto, algunos autores (por ejemplo, Basseville (2010 )) indican restricciones adicionales a la función : $pie)$ ${\ estilo de visualización c (t-1)}$ $C$ $C$ ${\ estilo de visualización c (t-1)}$ $pie)$ $pie)$ $k$ $pie)$

{\ estilo de visualización f' (1) = 0,}

{\ estilo de visualización f'' (1) = 1.}

La primera de estas restricciones fija la constante , la segunda fija la constante . La condición puede ser útil porque en este caso con un mínimo en un punto (ver Liese & Vajda (2006 )), la expresión para la divergencia f es intuitivamente más fácil de entender. Sin embargo, esta forma de concretar una función no siempre es conveniente: por ejemplo, la existencia de una versión continua de la f -entropía asociada con una f -divergencia dada puede requerir un valor diferente de la constante . $C$ $k$ ${\ estilo de visualización f' (1) = 0}$ ${\ estilo de visualización f (t) \ geq 0}$ $t=1$ $pie)$ $C$

La divergencia f puede expandirse en una serie de Taylor y escribirse como una suma ponderada de distancias tipo χ (ver Nielsen & Nock (2013 )).

Casos especiales de divergencia f

Muchas divergencias bien conocidas, como la divergencia de Kullback-Leibler , la distancia de Hellinger al cuadrado , la distancia de chi-cuadrado y muchas otras, son casos especiales de divergencia f , que corresponden a una determinada elección de función . La siguiente tabla enumera algunos tipos comunes de divergencias entre las distribuciones de probabilidad y su función correspondiente (ver Liese & Vajda (2006 )). $pie)$ $pie)$

Divergencia	función generativa $pie)$
Divergencia Kullback-Leibler	${\ estilo de visualización t \ ln t}$
Divergencia inversa de Kullback-Leibler	${\ estilo de visualización - \ ln t}$
distancia Hellinger al cuadrado	${\frac {1}{2}}({\sqrt {t}}-1)^{2},\,1-{\sqrt {t}},\,t-{\sqrt {t } }}$
Distancia de variación completa	${\frac{1}{2}}\|t-1\|\,$
distancia de Pearson $\chi^{2}$	${\ estilo de visualización (t-1)^{2},\,t^{2}-1,\,t^{2}-t}$
distancia de Neumann ${\ estilo de visualización \ chi ^ {2}}$	${\frac {1}{t}}-1,\,{\frac {1}{t}}-t$
divergencia alfa	${\begin{cases}{\frac {4}{1-\alpha ^{2}}}{\big (}tt^{(1+\alpha )/2}{\big )},& {\text{si}}\ \alpha \neq \pm 1,\\t\ln t,&{\text{if}}\ \alpha =1,\\-\ln t,&{\text{si }}\ \alpha =-1\end{casos}}$
Divergencia alfa (otras notaciones)	${\begin{cases}{\frac {t^{\alpha }-t}{\alpha (\alpha -1))),&{\text{if))\ \alpha \neq 0,\ ,\alpha \neq 1,\\t\ln t,&{\text{if}}\ \alpha =1,\\-\ln t,&{\text{if}}\ \alpha =0\end {casos}}$

Propiedades

No negatividad : La divergencia ƒ siempre es no negativa, y es cero solo si las distribuciones y son las mismas. Esto se sigue directamente de la desigualdad de Jensen : $PAGS$ $q$ $D_{f}(P\!\parallel \!Q)=\int _{\Omega }\!f{\bigg (}{\frac {dP}{dQ}}{\bigg)}dQ\ geq f{\bigg (}\int _{\Omega }{\frac {dP}{dQ}}dQ{\bigg )}=f(1)=0.$
Monotonicidad : si es una probabilidad de transición arbitraria que toma las medidas y respectivamente a y , entonces $\kappa$ $PAGS$ $q$ ${\ Displaystyle P_ {\ kappa}}$ ${\ Displaystyle Q_ {\ kappa}}$ $D_{f}(P\!\parallel \!Q)\geq D_{f}(P_{\kappa }\!\parallel \!Q_{\kappa }).$ La igualdad aquí tiene lugar si y solo si la transición es generada por una estadística suficiente con respecto a . ${\ estilo de visualización \ {P, Q \}}$
Convexidad conjunta : para cualquier ${\ estilo de visualización 0 \ leq \ lambda \ leq 1}$ $D_{f}{\Big (}\lambda P_{1}+(1-\lambda )P_{2}\parallel \lambda Q_{1}+(1-\lambda )Q_{2}{\ Grande )}\leq \lambda D_{f}(P_{1}\!\parallel \!Q_{1})+(1-\lambda )D_{f}(P_{2}\!\parallel \!Q_ {2}).$ Esto se sigue de la convexidad del mapeo en . $(p,q)\mapsto qf(p/q)$ ${\ estilo de visualización \ mathbb {R} _ {+}^ {2}}$
Auto- dualidad : si es una f -divergencia, entonces también es una f -divergencia, es decir la clase de divergencias f contiene divergencias tanto directas como inversas (dual). En realidad, ${\ estilo de visualización D (P \ paralelo Q)}$ ${\ estilo de visualización D (Q \ paralelo P)}$ ${D^{*}}_{f}(P\parallel Q){\stackrel {\mathrm {df} }{\;=\;}}D_{f}(Q\parallel P)=\ int _{\Omega}f\left({\frac {dQ}{dP}}\right)dP=\int _{\Omega}f^{*}\left({\frac {dP}{dQ}} \right)dQ=D_{f^{*}}(P\parallel Q),$ donde es la función generadora dual. Es fácil ver que , es continua (excepto quizás por el punto ) y casi en todas partes debido a la convexidad de , es decir, la función satisface las condiciones de la función generadora de f -divergencia. $f^{*}(t)=tf(1/t)$ ${\ estilo de visualización f ^ {*} (1) = f (1) = 0}$ ${\ estilo de visualización f ^ {*} (t)}$ $t = 0$ ${f^{*}}''(t)={\frac {1}{t^{3}}}f''(1/t)\geq 0$ $t\geq 0$ $F$ ${\ estilo de visualización f ^ {*} (t)}$

Teniendo en cuenta la última propiedad, la clase de divergencias f podría definirse de manera equivalente como . Una definición similar se encuentra, por ejemplo, en Zhang (2004 ). Así, la interpretación de la distribución como verdadera, que se deriva de la definición de f -divergencia, no es su propiedad fundamental, sino sólo una consecuencia del acuerdo sobre el orden de los argumentos en la definición. En otras palabras, los argumentos y son conceptualmente iguales. ${D^{*}}_{f}(P\parallel Q)=\operatorname {E} _{P}f\left({\frac {dQ}{dP}}\right)$ $q$ $PAGS$ $q$

También vale la pena señalar que la f -divergencia es una cantidad adimensional , independientemente de la dimensión del conjunto . $\Omega$

Conceptos relacionados

Además de f -divergencia, I. Chisar definió el concepto relacionado de f -entropía ( Csiszár (1972 )).

Enlaces

Csiszár, I. Eine informationstheoretische Ungleichung und ihre Anwendung auf den Beweis der Ergodizitat von Markoffschen Ketten (alemán) // Magyar. Tud. Akád. Estera. Int. de Kutato Kozl: tienda. - 1963. - Bd. 8 _ - S. 85-108 .
Morimoto, T. Procesos de Markov y el teorema H // J. Phys . soc. Jpn. : diario. - 1963. - vol. 18 , núm. 3 . - P. 328-331 . -doi : 10.1143/ JPSJ.18.328 . - .
Ali, SM; Silvey, SD Una clase general de coeficientes de divergencia de una distribución de otra // Revista de la Royal Statistical Society, Serie B : diario. - 1966. - Vol. 28 , núm. 1 . - pág. 131-142 . — .
Mentiras, F.; Vajda, I. Sobre divergencias e información en estadística y teoría de la información (inglés) // IEEE Transactions on Information Theory : diario. - 2006. - vol. 52 , núm. 10 _ - Pág. 4394-4412 . -doi : 10.1109/ TIT.2006.881731 .
Nielsen, F.; Nock, R. Sobre el cuadrado de Chi y las distancias de Chi de orden superior para aproximar divergencias f // Letras de procesamiento de señales IEEE: revista. - 2013. - Vol. 21 . - P. 10-13 . -doi : 10.1109/ LSP.2013.2288355 . — . -arXiv : 1309.3029 . _
Basseville, M. Medidas de divergencia para el procesamiento de datos estadísticos (inglés) // Publications Internes de l'IRISA: journal. - 2010. - Vol. 11 _ - Pág. 1-23 .
Zhang, J. Función de divergencia, dualidad y análisis convexo // Computación neuronal. - 2004. - vol. 16 _ - pág. 159-195 .
Csiszár, I. Una clase de medidas de informatividad de los canales de observación (inglés) // Periodica Math. Hungría: revista. - 1972. - vol. 2 . - pág. 191-213 .