Codificación de entropía
Codificación de entropía : codificación de una secuencia de valores con la posibilidad de una recuperación inequívoca para reducir la cantidad de datos (longitud de la secuencia) al promediar las probabilidades de aparición de elementos en la secuencia codificada.
Se supone que antes de la codificación, los elementos individuales de la secuencia tienen una probabilidad de ocurrencia diferente. Después de codificar en la secuencia resultante, las probabilidades de ocurrencia de caracteres individuales son casi las mismas ( la entropía por carácter es máxima).
Hay varias opciones de código:
- Hacer coincidir cada elemento de la secuencia de origen con un número diferente de elementos de la secuencia resultante. Cuanto mayor sea la probabilidad de ocurrencia del elemento original, más corta será la secuencia resultante correspondiente. Algunos ejemplos son el código de Shannon-Fano , el código de Huffman ,
- Hacer coincidir varios elementos de la secuencia de origen con un número fijo de elementos de la secuencia final. Un ejemplo es el código Tunstall .
- Otros códigos de estructura basados en operaciones sobre una secuencia de caracteres. Un ejemplo es la codificación de longitud de ejecución .
- Si las características de entropía aproximadas del flujo de datos se conocen de antemano, puede ser útil un código estático más simple, como la codificación unaria , el código gamma de Elias, el código de Fibonacci , el código de Golomb o la codificación de Rice .
Según el teorema de Shannon , existe un límite de compresión sin pérdidas que depende de la entropía de la fuente. Cuanto más predecibles sean los datos, mejor se podrán comprimir. Una sucesión equiprobable independiente aleatoria no se puede comprimir sin pérdida.
Véase también
Literatura