Información mutua

La versión actual de la página aún no ha sido revisada por colaboradores experimentados y puede diferir significativamente de la versión revisada el 20 de octubre de 2016; las comprobaciones requieren 5 ediciones .

La información mutua es una función estadística de dos variables aleatorias que describe la cantidad de información contenida en una variable aleatoria en relación con la otra.

La información mutua se define a través de la entropía y la entropía condicional de dos variables aleatorias como

I(X;Y)=H(X)-H(X\mid Y)=H(X)+H(Y)-H(X,Y)

Propiedades de Información Mutua

La información mutua es una función simétrica de variables aleatorias:

{\ estilo de visualización I (X; Y) = I (Y; X)}

La información mutua no es negativa y no excede la entropía de información de los argumentos:

0\leq I(X;Y)\leq \min[H(X),H(Y)]

En particular, para variables aleatorias independientes, la información mutua es cero:

I(X;Y)=H(X)-H(X\mid Y)=H(X)-H(X)=0

En el caso de que una variable aleatoria (por ejemplo, ) sea una función determinista de otra variable aleatoria ( ), la información mutua es igual a la entropía: $X$ $Y$

I(X;Y)=H(X)-H(X\mid Y)=H(X)-0=H(X)

Información mutua condicional y relativa

La información mutua condicional es una función estadística de tres variables aleatorias que describe la cantidad de información contenida en una variable aleatoria en relación con otra, dado el valor de la tercera:

I(X;Y\mid Z=z)=H(X\mid Z=z)-H(X\mid Y,Z=z)

La información mutua relativa es una función estadística de tres variables aleatorias que describe la cantidad de información contenida en una variable aleatoria en relación con otra, siempre que se dé la tercera variable aleatoria:

I(X;Y\mid Z)=H(X\mid Z)-H(X\mid Y,Z)=H(X\mid Z)+H(Y\mid Z)-H(X ,Y\mid Z)

Propiedades

Son funciones simétricas:

I(X;Y\mid Z)=I(Y;X\mid Z)

I(X;Y\mid Z=z)=I(Y;X\mid Z=z)

Satisface las desigualdades:

0\leq I(X;Y\mid Z)\leq \min[H(X\mid Z),H(Y\mid Z)]

0\leq I(X;Y\mid Z=z)\leq \min[H(X\mid Z=z),H(Y\mid Z=z)]

Información mutua de tres variables aleatorias

También se determina la información mutua de tres variables aleatorias :

I(X;Y;Z)=I(X;Y)-I(X;Y\mid Z)

La información mutua de tres variables aleatorias puede ser negativa. Considere una distribución uniforme en triples de bits tal que . Definamos variables aleatorias como valores de bits , respectivamente. Después $(x, y, z)$ $x\oplus y\oplus z=0$ ${\ estilo de visualización X, Y, Z}$ $x, y, z$

I(X;Y)=H(X)-H(X\mid Y)=1-1=0,

pero al mismo tiempo

I(X;Y\mid Z)=H(X\mid Z)-H(X\mid Y,Z)=1+0=1,

y, por lo tanto, . ${\ estilo de visualización I (X; Y; Z) = -1}$

Literatura

Gabidulin E. M. , Pilipchuk N. I. Conferencias sobre teoría de la información - Instituto de Física y Tecnología de Moscú , 2007. - 214 p. — ISBN 978-5-7417-0197-3
Vereshchagin N.K., Shchepin E.V. Información, codificación y predicción. - M. : FMOP, MTsNMO, 2012. - 238 p.

métodos de compresión

Teoría

Información	Propio Mutual entropía Entropía condicional Complejidad Redundancia
Unidades	Un poco natural Picar Hartley Fórmula Hartley

sin pérdidas

Compresión de entropía	Sistemas numéricos asimétricos Algoritmo de Huffman Algoritmo de Huffman adaptativo Algoritmo de Shannon-Fano Algoritmo de Shannon Codificación aritmética ( intervalo ) Códigos Golomb Delta código universal Elías fibonacci
Métodos de diccionario	RLE Desinflar LZ ( LZ77/LZ78 LZSS LZW LZWL LZO LZMA LZX LZRW LZJB LZT LZ4 Brotli zestándar )
Otro	RLE CTW BWT MTF ppm DMC

Audio

Teoría	Circunvolución PCM alias Muestreo Teorema de Kotelnikov
Métodos	LPC LAR LSP WLPC CELP ACELP Una ley ley μ ADPCM MDCT Transformada de Fourier modelo psicoacústico
Otro	Compresor de sonido Compresión de voz Codificación de banda

Imágenes

Términos	espacio de color píxel Submuestreo de saturación Artefactos de compresión
Métodos	RLE DPCM fractales ondícula EZW ALCOHOL LP Deberes PCL
Otro	tasa de bits Imagen de prueba estándar PSNR cuantización

Video

Términos	Características del vídeo Cuadro Tipos de cuadros Calidad de video
Métodos	Compensación de movimiento Deberes cuantización ondícula
Otro	Códec de vídeo Tasa de teoría de la distorsión CBR ABR VBR