Entropía absoluta de una lengua

La entropía absoluta de una lengua es un valor igual a la máxima información que puede transmitir una unidad de una determinada lengua . En la teoría de la información, una unidad de lenguaje generalmente se entiende como un símbolo (letra) del alfabeto correspondiente, y la entropía absoluta se calcula bajo la condición de que todas las secuencias de símbolos sean igualmente probables.

Si el alfabeto de un idioma usa letras diferentes, entonces la entropía absoluta del idioma ( bits por letra) se puede calcular como: $L$

R=\log _{{2}}{L}

Este valor no tiene en cuenta la posible falta de pronunciación de las "palabras" recibidas.

Para inglés, este valor es de aproximadamente 4,7 bits por letra. Este valor es mucho mayor que la entropía real de la lengua , ya que la lengua inglesa, como todas las lenguas naturales, tiene redundancia .

Literatura

Schneier B. Capítulo 11. Fundamentos matemáticos. Entropía del lenguaje. // Criptografía aplicada. Protocolos, algoritmos, código fuente en lenguaje C = Criptografía Aplicada. Protocolos, Algoritmos y Código Fuente en C. - M. : Triumf, 2002. - P. 269. - 816 p. - 3000 copias. - ISBN 5-89392-055-4 .