Teoría de la información

La teoría de la información  es una rama de las matemáticas aplicadas , la ingeniería de radio ( teoría del procesamiento de señales ) y la informática , relacionada con la medición de la cantidad de información , sus propiedades y el establecimiento de relaciones limitantes para los sistemas de transmisión de datos. Como toda teoría matemática, la teoría opera con modelos matemáticos , y no con objetos físicos reales (fuentes y canales de comunicación ). Utiliza principalmente el aparato matemático de la teoría de la probabilidad y la estadística matemática .

Las ramas principales de la teoría de la información son la codificación de fuente (codificación compresiva ) y la codificación de canal ( corrección de ruido ). La teoría de la información está estrechamente relacionada con la entropía de la información , los sistemas de comunicación, la criptografía y otras disciplinas afines.

El campo se encuentra en la intersección de las matemáticas , la estadística , la informática , la física , la neurociencia , la ingeniería de la información y la ingeniería eléctrica . La teoría también ha encontrado aplicaciones en otros campos, incluida la inferencia estadística , el procesamiento del lenguaje natural , la criptografía , la neurociencia [1] , la visión humana [2] , la evolución [3] y la función [4] de códigos moleculares ( bioinformática ), modelo estadístico selección [5] , física térmica [6] , computación cuántica , lingüística , detección de plagio [7] , reconocimiento de patrones y detección de anomalías [8] . Los subcampos importantes de la teoría de la información incluyen la compresión de datos , la codificación de canales , la teoría de la complejidad algorítmica , la teoría de la información algorítmica , la seguridad de la teoría de la información, el análisis relacional de Gray y la medición de la información.

Introducción

El surgimiento de la teoría de la información está asociado con la publicación por parte de Claude Shannon de la obra " Teoría matemática de la comunicación " en 1948 . Desde el punto de vista de Shannon, la teoría de la información es una rama de la teoría matemática de la comunicación. La teoría de la información establece los límites principales de las posibilidades de los sistemas de transmisión de información, establece los principios iniciales para su desarrollo e implementación práctica. La gama de problemas de la teoría de la información se presenta utilizando un diagrama de bloques, un sistema típico para transmitir o almacenar información.

En el esquema, una fuente es cualquier objeto en el universo que genera mensajes que deben moverse en el espacio y el tiempo . Independientemente de la naturaleza física original, todos los mensajes que se transmiten generalmente se convierten en señales eléctricas , tales señales se consideran como la salida de la fuente. El codificador fuente representa la información en la forma más compacta. El codificador de canal procesa la información para proteger los mensajes de interferencias durante la transmisión por el canal de comunicación o posibles distorsiones durante el almacenamiento de la información. El modulador convierte los mensajes generados por el codificador de canal en señales consistentes con la naturaleza física del canal de comunicación o el medio de almacenamiento de información. El medio de difusión de información ( canal de comunicación ) introduce ruido aleatorio en el proceso de transmisión de información, lo que distorsiona el mensaje y, por lo tanto, dificulta su lectura. Los bloques ubicados en el lado receptor realizan las operaciones inversas y brindan información al destinatario en un formato fácil de entender .

Historia

El nacimiento de la teoría de la información a menudo se asocia con la publicación en julio-octubre de 1948 por parte de Claude Shannon de un trabajo en la revista de la compañía telefónica estadounidense Bell System bajo el título "Teoría matemática de la comunicación". Pero vale la pena mencionar que la contribución a la formulación y construcción de la teoría de la información también fue realizada por muchos otros científicos destacados. El propio Shannon al comienzo de su artículo escribió: “Algunas de las disposiciones principales de esta teoría se encuentran en las importantes obras de Nyquist y Hartley . En la actualidad, la teoría se ha ampliado para incluir una serie de nuevos factores, en particular, la influencia del ruido en el canal.

Básicamente, Shannon desarrolló la dirección del trabajo de Hartley, utilizando el concepto de "información", pero el término en sí no explica, solo estipula que los mensajes pueden tener algún tipo de "significado", es decir, se refieren a un sistema que tiene su propia esencia física o especulativa ( sistema cibernético ). La teoría de Shannon se consideró inicialmente como un problema matemático formulado con precisión y permitió determinar el rendimiento de un canal de comunicación ruidoso.

Codificación de datos

La codificación es el proceso de transición de un mensaje en la entrada de un canal de comunicación a un código de mensaje en la salida, mientras que el valor informativo del mensaje debe permanecer sin cambios. En la teoría de la información, se pueden distinguir las siguientes secciones:

1. Codificación de fuentes discretas (modelo de codificación de datos sin pérdidas).

2. Codificación de datos que garantiza su transmisión sin errores a través de un canal ruidoso.

Un código es decodificable de forma única si cualquier secuencia de caracteres del alfabeto del código (y en su mayoría 0 y 1) se divide en palabras separadas. Si ninguna de las palabras clave es el comienzo de otra, el código se denomina código de prefijo y es decodificable de forma única. Por lo tanto, tener un prefijo es una condición suficiente pero no necesaria para la decodificación única. El requisito del prefijo limita el conjunto de longitudes de las palabras de código y no permite elegir palabras de código demasiado cortas. Una condición necesaria y suficiente para la existencia de un código de volumen de prefijo con longitudes de palabra de código es el cumplimiento de la desigualdad de Kraft:

También se requiere considerar el código Shannon-Fano  , un algoritmo para la codificación no uniforme de prefijos. Este método de codificación aprovecha la redundancia del mensaje, que radica en la distribución de frecuencia no uniforme de los caracteres de su alfabeto, es decir, reemplaza los códigos de caracteres más frecuentes por secuencias binarias cortas, y los códigos de caracteres más raros por secuencias binarias más largas. secuencias binarias. Considere una fuente que selecciona letras de un conjunto con probabilidades . Suponemos que las letras están ordenadas en orden descendente de probabilidades ( ). La palabra clave del código de Shannon para un mensaje con un número es una secuencia binaria, que son los primeros dígitos después del punto decimal en la notación binaria del número :

3. La codificación de datos para sistemas con muchos usuarios describe la interacción óptima de los suscriptores que utilizan un recurso común, por ejemplo, un canal de comunicación.

Véase también

• teoría de la codificación
• Filosofía de la Información
• entropía de la información
• Compresión de datos
• Teoría de la información algorítmica

Notas

1. ↑ F. Rieke; D. Warland; R. Ruyter van Steveninck; W. Bialek. Spikes: Explorando el Código Neural  (indefinido) . - La prensa del MIT, 1997. - ISBN 978-0262681087 .
2. ↑ Delgado-Bonal, Alfonso; Martín-Torres, Javier. La visión humana se determina en base a la teoría de la información  // Scientific  Reports. - 2016. - 3 de noviembre ( vol. 6 , no. 1 ). — ISSN 2045-2322 . -doi : 10.1038/ srep36038 . - . Archivado desde el original el 24 de febrero de 2021.
3. ↑ cf; Huelsenbeck, JP; Ronquist, F.; Nielsen, R.; Bollback, JP Inferencia bayesiana de la filogenia y su impacto en la biología evolutiva  (inglés)  // Ciencia: revista. - 2001. - vol. 294 , núm. 5550 . - Pág. 2310-2314 . -doi : 10.1126 / ciencia.1065889 . - .
4. ↑ Allikmets, Rando; Wasserman, Wyeth W.; Hutchinson, Amy; Smallwood, Felipe; Nathans, Jeremy; Rogan, Peter K. Thomas D. Schneider , Michael Dean (1998) Organización del gen ABCR: análisis del promotor y secuencias de unión de empalme  ]  // Gen : diario. - Elsevier , 1998. - Vol. 215 , núm. 1 . - P. 111-122 . - doi : 10.1016/s0378-1119(98)00269-8 . Archivado desde el original el 21 de agosto de 2008.
5. ↑ Burnham, KP y Anderson DR (2002) Selección de modelos e inferencia multimodelo: un enfoque práctico teórico de la información, segunda edición (Springer Science, Nueva York) ISBN 978-0-387-95364-9 .
6. ↑ Jaynes, Teoría de la información ET y mecánica estadística   // Phys . Rvdo.  : diario. - 1957. - vol. 106 , núm. 4 . — Pág. 620 . -doi : 10.1103/ physrev.106.620 . - . Archivado desde el original el 30 de agosto de 2011.
7. ↑ Bennet, Charles H.; Li, Ming; Mamá, Bin. Cartas en cadena e historias evolutivas  (inglés)  // Scientific American . - Naturaleza de Springer , 2003. - Vol. 288 , núm. 6 _ - Pág. 76-81 . -doi : 10.1038 / cientificamerican0603-76 . — . —PMID 12764940 . Archivado desde el original el 7 de octubre de 2007.
8. ↑ David R. Anderson. Algunos antecedentes sobre por qué las personas en las ciencias empíricas pueden querer comprender mejor los métodos teóricos de la información (pdf) (1 de noviembre de 2003). Consultado el 23 de junio de 2010. Archivado desde el original el 23 de julio de 2011. (indefinido)

Literatura

• Kudryashov B. D.  Teoría de la información, Universidad Estatal de San Petersburgo NRU ITMO
• Leontiev VK , Gordeev EN Aspectos combinatorios de la teoría de la información . M.: MIPT , 2019.
• Fursov V. A. Conferencias sobre teoría de la información ISBN 5-7883-0458-X
• Claude E. Shannon , Warren Weaver. La teoria matematica de la comunicacion. Prensa de la Universidad de Illinois, 1963. ISBN 0-252-72548-4
• Thomas M. Cover , Joy A. Thomas. Elementos de la teoría de la información Nueva York: Wiley, 1991.ISBN 0-471-06259-6
• R. Landauer , La información es un proceso físico. Taller de Física y Computación PhysComp'92 ( IEEE Comp. Sci.Press, Los Alamitos, 1993) pp. 1-4.
• Maxwell's Demon: Entropy, Information, Computing, HS Leff y AF Rex, Editores, Princeton University Press , Princeton, NJ (1990). ISBN 0-691-08727-X
• Shannon K. Trabaja en teoría de la información y cibernética. — M.: Ed. extranjero lit., 1963. - 830 p.
• Kolmogorov AN Tres enfoques para la definición del concepto "cantidad de información", Probl. peredachi inform., 1 :1 (1965), 3-11
• Mackay, David. Teoría de la información, inferencia y algoritmos de aprendizaje . - Cambridge University Press, 2003. - ISBN 9780521642989 .

Enlaces

• Teoría de la información  // Enciclopedia " Krugosvet ".
• Norberto Wiener . "Cibernética o Control y Comunicación en Animal y Máquina"
• K. Shannon . "Carro"
• Publicaciones importantes en teoría de la información   (ing.)
• Enfoques tradicionales para la cuantificación de la información
• Teoría de la información sinérgica
• Holevo A. S. Introducción a la teoría cuántica de la información
• Holevo A. S. Sistemas cuánticos, canales, información (c2) M.: MTsNMO , 2014, 327 p. (En el portal de la editorial, pdf, 2M)
• compresion.ru
• Libro de texto electrónico sobre teoría de la información.
• Libro de texto electrónico sobre teoría de la información.

diccionarios y enciclopedias	Gran danés Gran catalán gran ruso alrededor del mundo Britannica (en línea) universalis
En catálogos bibliográficos BNE : XX527336 BNF : 119321069 TIERRA : 4026927-9 J9U : 987007550715205171 LCCN : sh85066289 LNB : 000053186 NDL : 00575012 NKC : ph126560