Teoría matemática de la comunicación (artículo)

" A  Mathematical Theory of Communication " es un artículo publicado por Claude Shannon en 1948 en la revista de resúmenes de la compañía telefónica estadounidense "Bell System" [1] y que le dio fama mundial. Contiene una gran cantidad de ideas innovadoras y fructíferas, este trabajo inició muchos estudios científicos en todo el mundo que continúan hasta el día de hoy, sentando las bases para el desarrollo de métodos para procesar, transmitir y almacenar información.

Sobre el autor

Claude Elwood Shannon es un matemático e ingeniero estadounidense  , fundador de la teoría de la información , autor de numerosos libros y artículos sobre cibernética .

Historia

El concepto mismo de teoría de la información apareció mucho antes de la publicación de este artículo. Muchos autores sentaron las bases de una nueva teoría con su trabajo. Por ejemplo, en la misma revista del Bell System en 1924, había una publicación de Nyquist que contenía algunas de las disposiciones subyacentes a este artículo [2] .

Shannon no creía que estuviera haciendo un descubrimiento cuando lo publicó. Se basó en gran medida en la experiencia de sus predecesores; al principio del artículo, escribió que “Algunos de los puntos principales de esta teoría se encuentran en las importantes obras de Nyquist y Hartley . En este artículo, ampliaremos la teoría para incluir una serie de nuevos factores, en particular, la influencia del ruido en el canal”.

Contenidos

Shannon generalizó las ideas de Hartley usando el concepto de "información" contenida en mensajes transmitidos a través de un canal de comunicación. No explica el concepto en sí, solo menciona que los mensajes pueden tener algún “significado”, es decir, referirse a un sistema que tiene su propia esencia física o especulativa. También comenzó a considerar conjuntos continuos de mensajes, no solo finitos. Su trabajo permitió resolver los principales problemas de la teoría de la información: codificación, transmisión de mensajes y eliminación de redundancia; También se investigó la inmunidad al ruido .

El libro introduce la función logarítmica como medida de información y muestra su conveniencia:

1. Es prácticamente conveniente. Los parámetros importantes en las aplicaciones de ingeniería, como el tiempo, el ancho de banda, la cantidad de interruptores, etc., generalmente cambian linealmente a medida que la cantidad de posibilidades cambia logarítmicamente. Por ejemplo, agregar un interruptor duplica la cantidad de estados posibles de su grupo, aumentando su logaritmo de base 2 en 1. Duplicar el tiempo da como resultado un aumento cuadrático en la cantidad de mensajes, o duplicar su logaritmo, y así sucesivamente.
2. Está cerca de nuestra idea intuitiva de tal medida. Esto está muy relacionado con el punto anterior, ya que intuitivamente medimos cantidades comparándolas linealmente con estándares. Entonces, nos parece que se puede colocar el doble de información en dos tarjetas perforadas, y se puede transmitir el doble de información a través de dos canales idénticos.
3. Es matemáticamente conveniente. Muchos pasajes al límite son simples en logaritmos, mientras que en términos del número de opciones no son triviales.C. Shannon [3]

También se introduce el concepto de un sistema de comunicación generalizado, que consta de una fuente de información, un transmisor, un canal, un receptor y un destino. Shannon divide todos los sistemas en discretos, continuos y mixtos.

Influencia en diversas áreas de la ciencia

[2] Mucho después de su aparición, contrariamente a la creencia popular, el trabajo de Shannon era casi desconocido. Esto es lo que escribe el académico A. N. Kolmogorov , por ejemplo, sobre esto :

— Recuerdo que allá por el Congreso Internacional de Matemáticos de Amsterdam (1954), mis colegas americanos, especialistas en teoría de la probabilidad, consideraron un tanto exagerado mi interés por la obra de Shannon, ya que es más técnica que matemática.A. Kolmogorov [4]

Pero poco a poco, los científicos de varios campos de la ciencia comenzaron a mostrar más y más interés en el artículo. Ahora bien, es difícil nombrar un área del conocimiento humano en la que no intentarían aplicar esta maravillosa fórmula de una forma u otra. El número de publicaciones creció, lo que no pudo sino provocar una respuesta del mismo Shannon, ya que en un principio esta medida estaba pensada únicamente para problemas puramente aplicados de la tecnología de la comunicación. En 1956, publicó un breve artículo "Bandwagon", en el que instó ardientemente a escribir más modestamente sobre la teoría de la información, a no considerar esta teoría omnipotente y universal, a no exagerar su significado:

Muy raramente es posible abrir varios secretos de la naturaleza al mismo tiempo con la misma llave. El edificio de nuestro bienestar un tanto artificial puede derrumbarse con demasiada facilidad, tan pronto como un día resulta que con la ayuda de algunas palabras mágicas, como "información", "entropía", "redundancia", es imposible para resolver todos los problemas no resueltos.C. Shannon [5]

Como resultado, aparecieron dos conceptos: "teoría de la información" y "teoría de la transmisión de información". El primero define conceptos tan fundamentales como "la cantidad de información" y se utiliza para resolver una amplia variedad de problemas en diversas ramas de la ciencia. La segunda -ya por su nombre refleja el adecuado alcance de sus ideas [6] .

Con el desarrollo de la teoría de la transmisión de información, comenzaron a enfrentarse al problema de encontrar métodos fiables de codificación y decodificación. Esto condujo al surgimiento de una nueva gran parte de la teoría de la transmisión de información: la teoría de la codificación. Sabemos que, en primer lugar, la conclusión importante que se deriva de la teoría de la información de Shannon es que construir canales demasiado buenos es un desperdicio; es más económico usar codificación. En segundo lugar, debido al hecho de que el teorema de codificación principal de Shannon no es constructivo, es decir, solo prueba la existencia de un código de corrección de errores óptimo que proporciona la máxima coincidencia de señal con el canal, solo corrobora la posibilidad fundamental de construir códigos de corrección de errores. códigos que proporcionan transmisión ideal, pero no indica el método de su construcción. Como resultado, la teoría de Shannon movilizó los esfuerzos de los científicos para desarrollar códigos específicos. [7]

En la década de 1950, se invirtió mucho esfuerzo en intentar construir explícitamente clases de códigos para lograr la probabilidad de error arbitrariamente pequeña prometida, pero los resultados fueron escasos. En la década siguiente, se prestó menos atención a este fascinante problema; en cambio, los investigadores de código lanzaron un ataque sostenido en dos frentes principales:

• la primera dirección era de naturaleza puramente algebraica y se consideraba principalmente códigos de bloques ( lineales ).
• La segunda línea de investigación sobre la codificación era de naturaleza más bien probabilística. Asociados con estos estudios hubo intentos de comprender la codificación y decodificación desde un punto de vista probabilístico, y estos intentos llevaron al surgimiento de la decodificación secuencial.

En la decodificación secuencial, se introduce una clase de códigos sin bloques de longitud infinita, que pueden describirse mediante un árbol y decodificarse mediante algoritmos de búsqueda de árboles. Los códigos de árbol más útiles son los códigos de estructura fina conocidos como códigos convolucionales [8] .

También en los años setenta, debido a las dificultades técnicas que surgieron, la teoría de los algoritmos comenzó a desarrollarse activamente. Fue necesario desarrollar algoritmos para comprimir los datos a transmitir. Posteriormente, se comenzaron a desarrollar algoritmos de compresión de datos en bancos de información, compresión de imágenes para transmisión por cable coaxial, entre otros.

Tiempo presente

Hoy en día, la teoría de la transmisión de información  es una teoría compleja, principalmente matemática, que incluye la descripción y evaluación de métodos para extraer, transmitir, almacenar y clasificar información . Consiste en teoría de codificación, algoritmos y muchos otros.

• Se ha hecho un gran progreso en el desarrollo de la teoría de la codificación. Han aparecido muchos códigos de corrección de errores diferentes, que difieren entre sí en la base, la distancia, la redundancia, la estructura, la funcionalidad, la eficiencia energética, las propiedades de correlación, los algoritmos de codificación y decodificación y la forma del espectro de frecuencia (ver. Codificación de corrección de ruido ) .
• En la actualidad, las recomendaciones prácticas basadas en la teoría de algoritmos tienen gran éxito en el diseño y desarrollo de sistemas de software [9] .

El artículo en sí sigue siendo relevante, siendo fundamental para muchos trabajos.

Literatura

• Artículo original: Shannon CE A Mathematical Theory of Communication  (inglés)  // Bell System Technical Journal  : journal. - 1948. - Vol. 27. - Pág. 379-423.
• Traducción al ruso: Shannon K. E. Teoría matemática de la comunicación // Obras sobre teoría de la información y cibernética / Per. S. Karpova. — M .: IIL , 1963. — 830 p.

Enlaces

1. ↑ Shannon, 1948 .
2. ↑ 1 2 Nyquist, H. Ciertos factores que afectan la velocidad del telégrafo  // Bell System Technical  Journal : diario. - 1924. - Vol. 3 . — Pág. 22:324-346 .
3. ↑ Shannon, 1963 , pág. 243-322.
4. ↑ Shannon, 1963 , pág. 5.
5. ↑ Shannon K. E. " Bandwagon Archivado el 15 de abril de 2012 en Wayback Machine "
6. ↑ Doctor en Física y Matemáticas RL Dobrushin, Ph.D. norte. B. S. Tsybakov " Teoría de la transmisión de información " Copia de archivo fechada el 15 de febrero de 2010 en Wayback Machine , en la colección "Boletín de la Academia de Ciencias de la URSS". - 1976, pág. 76-81
7. ↑ Kuzmin I. V. " Fundamentos de teoría y codificación de la información  (enlace inaccesible) ", 1986 - 240 p.
8. ↑ Kinegin S. V. " Historia de la codificación que controla errores Copia archivada del 13 de enero de 2012 en Wayback Machine "
9. ↑ Eremeev F. " Teoría de los algoritmos Archivado el 21 de noviembre de 2012 en Wayback Machine "

diccionarios y enciclopedias	gran chino Britannica (en línea)