Información propia

La información propia es una función estadística de una variable aleatoria discreta .

La información propia es en sí misma una variable aleatoria, que debe distinguirse de su valor promedio : la entropía de la información .

Para una variable aleatoria que tiene un número finito de valores: $X$

P_{X}(x_{i})=p_{i},\quad p_{i}\geqslant 0,i=1,2,\dots,n,\quad \sum _{i=1} ^{n}p_{i}=1

propia información se define como

I(X)=-\log P_{X}(X).

Las unidades de medida de la información dependen de la base del logaritmo . En el caso de un logaritmo con base 2, la unidad de medida es bit , si se usa un logaritmo natural entonces nat , si es decimal entonces hartley .

Base del logaritmo	Unidad de medida	La cantidad de información sobre la caída de la moneda "águila" hasta
2	un poco	${\ estilo de visualización - \ registro _ {2} (1/2) = \ registro _ {2} 2 = 1}$ un poco
mi	natural	${\ estilo de visualización - \ ln (1/2) = \ ln 2 \ aproximadamente 0,69}$ nata
diez	harley	$-\log _{10}(1/2)=\log _{10}2\aproximadamente 0,30$ harley

La autoinformación puede entenderse como una "medida de sorpresa" de un evento: cuanto menor es la probabilidad de un evento, más información contiene.

Propiedades de la información propia

No negatividad : . en , es decir, el hecho predeterminado no lleva ninguna información. $I(x)\geqslant 0$ $yo(x)=0$ $p(x)=1$
Monotonicidad : si . $Yo(x_{1})>Yo(x_{2})$ $p(x_{1})<p(x_{2})$
Aditividad : verdadero para independientes . ${\displaystyle x_{1},\puntos,x_{n))$ $I(x_{1},\dots,x_{n})=\sum _{i=1}^{n}I(x_{i})$

Véase también

Literatura

Gabidulin E. M. , Pilipchuk N. I. Conferencias sobre teoría de la información - Instituto de Física y Tecnología de Moscú , 2007. - 214 p. — ISBN 978-5-7417-0197-3

métodos de compresión

Teoría

Información	Propio Mutual entropía Entropía condicional Complejidad Redundancia
Unidades	Un poco natural Picar Hartley Fórmula Hartley

sin pérdidas

Compresión de entropía	Sistemas numéricos asimétricos Algoritmo de Huffman Algoritmo de Huffman adaptativo Algoritmo de Shannon-Fano Algoritmo de Shannon Codificación aritmética ( intervalo ) Códigos Golomb Delta código universal Elías fibonacci
Métodos de diccionario	RLE Desinflar LZ ( LZ77/LZ78 LZSS LZW LZWL LZO LZMA LZX LZRW LZJB LZT LZ4 Brotli zestándar )
Otro	RLE CTW BWT MTF ppm DMC

Audio

Teoría	Circunvolución PCM alias Muestreo Teorema de Kotelnikov
Métodos	LPC LAR LSP WLPC CELP ACELP Una ley ley μ ADPCM MDCT Transformada de Fourier modelo psicoacústico
Otro	Compresor de sonido Compresión de voz Codificación de banda

Imágenes

Términos	espacio de color píxel Submuestreo de saturación Artefactos de compresión
Métodos	RLE DPCM fractales ondícula EZW ALCOHOL LP Deberes PCL
Otro	tasa de bits Imagen de prueba estándar PSNR cuantización

Video

Términos	Características del vídeo Cuadro Tipos de cuadros Calidad de video
Métodos	Compensación de movimiento Deberes cuantización ondícula
Otro	Códec de vídeo Tasa de teoría de la distorsión CBR ABR VBR