Teorema de la fuente de cifrado de Shannon

En la teoría de la información, el teorema de la fuente de cifrado de Shannon (o teorema de cifrado silencioso) establece un límite en la compresión máxima de datos y un valor numérico para la entropía de Shannon .

El teorema muestra que (cuando la cantidad de datos tiende a infinito en un flujo de variables aleatorias independientes e igualmente distribuidas (IED)) es imposible comprimir los datos para que la estimación del código (número promedio de bits por símbolo) sea menor que la entropía de Shannon de los datos originales, sin pérdida de precisión de la información. Sin embargo, es posible obtener un código cercano a la entropía de Shannon sin pérdida significativa.

El teorema de la fuente de cifrado para códigos de caracteres trae límites superior e inferior a la longitud mínima posible de palabras cifradas en función de la entropía de la palabra de entrada (que se representa como una variable aleatoria) y el tamaño del alfabeto requerido.

Declaración

El código fuente es un mapeo (secuencia) del almacén de información en una secuencia de caracteres alfabéticos (generalmente bits) de modo que el carácter fuente se puede obtener únicamente a partir de dígitos binarios (fuente de codificación sin pérdida) u obtenido con alguna diferencia (fuente de codificación con pérdida) . Esta es la idea detrás de la compresión de datos.

Fuente de cifrado para códigos de caracteres

En informática, el teorema de la fuente de cifrado (Shannon 1948) establece que:

Una variable aleatoria N con entropía H ( X ) se puede comprimir en más de N  H ( X ) bits con un riesgo insignificante de pérdida de datos si N tiende a infinito, pero si la compresión es menor que N  H ( X ) bits, entonces el datos más probables de perderse. (MacKay 2003)."

Teorema de la fuente de cifrado para códigos de caracteres

Sea , denote dos alfabetos finitos, y sea y denote el conjunto de todas las palabras finitas de estos alfabetos (ordenados). $\Sigma_1$ $\Sigma _{2}$ ${\ estilo de visualización \ Sigma _ {1} ^ {*}}$ ${\ estilo de visualización \ Sigma _ {2} ^ {*}}$

Supongamos que X es una variable aleatoria que toma un valor de , yf es un código descifrable de a , donde . Sea S una variable aleatoria dada por la longitud de palabra f ( X ). $\Sigma_1$ ${\ estilo de visualización \ Sigma _ {1} ^ {*}}$ ${\ estilo de visualización \ Sigma _ {2} ^ {*}}$ ${\ estilo de visualización | \ Sigma _ {2} | = un}$

Si f es óptima en el sentido de que tiene la longitud de palabra mínima para X , entonces

{\frac {H(X)}{\log _{2}a}}\leq \mathbb {E} S<{\frac {H(X)}{\log _{2}a}} +1

(Shannon 1948).

Prueba del teorema de la fuente de cifrado

Dado que es un NOR, su serie temporal X 1 , …, X n es también un NOR con entropía H ( X ) en el caso de valores discretos, y con entropía diferencial en el caso de valores continuos. El teorema de la fuente de encriptación establece que para cada, para cada estimación mayor que la entropía del recurso, hay un n suficientemente grande y un encriptador que toma n copias NOP del recurso , , , y las asigna a bits binarios de tal manera que el carácter original puede recuperarse de bits binarios, X con una probabilidad de al menos . $X$ ${\ estilo de visualización \ épsilon > 0}$ ${\ estilo de visualización X ^ {1: n}}$ ${\ estilo de visualización n. (H (X) + \ épsilon)}$ ${\ estilo de visualización X ^ {1: n}}$ ${\ estilo de visualización 1-\ épsilon}$

Prueba

Tomemos algunos . la fórmula para, , se ve así: ${\ estilo de visualización \ épsilon > 0}$ ${\ Displaystyle A_ {n}^ {\ épsilon}}$

$A_{n}^{\epsilon }=\;\left\{x_{1}^{n}:\left|-{\frac {1}{n}}\log p(X_{1} ,X_{2},...,X_{n})-H_{n}(X)\right|<\epsilon\right\}$

AEP muestra que para n suficientemente grande , la secuencia generada a partir de la fuente no es confiable en el caso típico - , convergente. En el caso de suficientemente grande: n , (ver AEP) ${\ Displaystyle A_ {n}^ {\ épsilon}}$ $P(A_{n}^{\epsilon})>1-\epsilon$

La definición de conjuntos típicos implica que aquellas sucesiones que se encuentran en un conjunto típico satisfacen:

2^{-n(H(X)+\epsilon)}\leq p(x_{1},x_{2},...,x_{n})\leq 2^{-n(H (X)-\epsilon)}

Darse cuenta de:

La probabilidad de que la sucesión se haya obtenido a partir de $X$

${\displaystyle {A_{\epsilon}}^{(n)))$ más que ${\ estilo de visualización 1-\ épsilon}$

${\displaystyle \left|{A_{\epsilon }}^{(n)}\right|\leq 2^{n(H(X)+\epsilon )))$ ya que la probabilidad de la población total es la más grande. ${\displaystyle {A_{\epsilon}}^{(n)))$

${\displaystyle \left|{A_{\epsilon }}^{(n)}\right|\geq (1-\epsilon)2^{n(H(X)-\epsilon )))$ . Para la prueba, use un límite de probabilidad superior para cada término en el caso típico y un límite inferior para el caso general . ${\displaystyle {A_{\epsilon}}^{(n)))$

Comenzar con bits es suficiente para distinguir cualquier cadena $\left|{A_{\epsilon }}^{(n)}\right|\leq 2^{n(H(X)+\epsilon )},n.(H(X)+\epsilon ) \;$

Algoritmo de cifrado: el codificador verifica si la secuencia entrante es falsa, si es así, luego devuelve el índice de la frecuencia entrante en la secuencia, si no, luego devuelve un número de dígito aleatorio. valor numérico. Si la probabilidad de entrada es incorrecta en la secuencia (con una frecuencia de aproximadamente ), el codificador no genera un error. Es decir, la probabilidad de error es mayor que ${\ estilo de visualización n. (H (X) + \ épsilon)}$ ${\ estilo de visualización 1-\ épsilon}$ $\epsilon$

Prueba de reversibilidad La prueba de reversibilidad se basa en el hecho de que se requiere demostrar que para cualquier secuencia de tamaño menor que (en el sentido del exponente) cubrirá la frecuencia de la secuencia acotada por 1. ${\ Displaystyle A_ {n}^ {\ épsilon}}$

Prueba del teorema de la fuente de cifrado para códigos de caracteres

Sea la longitud de la palabra para cada posible ( ). Definamos , donde C se elige de tal manera que: . $si}$ $x_{yo}$ $i = 1, \ldots, n$ $q_{i}=a^{-s_{i}}/C$ ${\ estilo de visualización \ suma q_ {i} = 1}$

Después

{\begin{alineado}H(X)&=-\sum _{i=1}^{n}p_{i}\log _{2}p_{i}\leqslant \\&\leqslant - \sum_{i=1}^{n}p_{i}\log_{2}q_{i}=\\&=-\sum_{i=1}^{n}p_{i}\log _ {2}a^{-s_{i}}+\sum_{i=1}^{n}p_{i}\log_{2}C=\\&=-\sum_{i=1 }^{n}p_{i}\log _{2}a^{-s_{i}}+\log _{2}C\leqslant \\&\leqslant -\sum _{i=1}^{ n}-s_{i}p_{i}\log _{2}a\leqslant \\&\leqslant \mathbb {E} S\log _{2}a,\\\end{alineado}}

donde la segunda línea es la desigualdad de Gibbs y la quinta línea es la desigualdad de Kraft , . $C=\sum _{i=1}^{n}a^{-s_{i}}\leqslant 1$ ${\ estilo de visualización \ registro C \ leq 0}$

para la segunda desigualdad podemos establecer

s_{i}=\lceil -\log _{a}p_{i}\rceil,

asi que

-\log _{a}p_{i}\leqslant s_{i}<-\log _{a}p_{i}+1,

y entonces

a^{-s_{i}}\leqslant p_{i}

\sum a^{-s_{i}}\leqslant \sum p_{i}=1.

Por lo tanto, el mínimo S satisface

{\begin{alineado}\mathbb {E} S&=\sum p_{i}s_{i}<\\&<\sum p_{i}\left(-\log _{a}p_{i }+1\right)=\\&=\sum -p_{i}{\frac {\log _{2}p_{i}}{\log _{2}a}}+1=\\&= {\frac {H(X)}{\log _{2}a}}+1.\\\end{alineado}}

Notas

Portada, Thomas M. Capítulo 5: Compresión de datos // Elementos de la teoría de la información (neopr.) . - John Wiley & Sons , 2006. - ISBN 0-471-24195-4 .
C. E. Shannon, " Una teoría matemática de la comunicación ", Bell System Technical Journal , vol. 27, págs. 379-423, 623-656, julio, octubre de 1948