Entropía

La versión actual de la página aún no ha sido revisada por colaboradores experimentados y puede diferir significativamente de la versión revisada el 25 de agosto de 2022; la verificación requiere 41 ediciones .

Entropía (del griego ἐν  "en" + τροπή "inversión; transformación") es un término  ampliamente utilizado en las ciencias naturales y exactas (introducido por primera vez en el marco de la termodinámica como una función del estado de un sistema termodinámico ), que denota una medida de disipación irreversible de energía o inutilidad de la energía (porque no toda la energía del sistema se puede utilizar para convertirla en algún trabajo útil ). Para el concepto de entropía en esta sección, los físicos usan el nombre de entropía termodinámica ; La entropía termodinámica generalmente se usa para describir procesos de equilibrio (reversibles) .

En física estadística , la entropía caracteriza la probabilidad de la implementación de cualquier estado macroscópico . Además de la física, el término es muy utilizado en matemáticas: teoría de la información y estadística matemática . En estas áreas del conocimiento, la entropía se determina estadísticamente y se denomina entropía estadística o informacional. Esta definición de entropía también se conoce como la entropía de Shannon (en matemáticas) y la entropía de Boltzmann-Gibbs (en física).

Aunque los conceptos de termodinámica y entropía informacional se introducen en el marco de diferentes formalismos, tienen un significado físico común: el logaritmo del número de microestados disponibles del sistema . La relación entre estos conceptos fue establecida por primera vez por Ludwig Boltzmann . En los procesos de no equilibrio (irreversibles), la entropía también sirve como una medida de la proximidad del estado del sistema al equilibrio : cuanto mayor es la entropía, más cerca está el sistema del equilibrio (en el estado de equilibrio termodinámico, la entropía de el sistema es máximo).

Lo opuesto a la entropía se llama negentropía o, más raramente, extropía .

Uso en diversas disciplinas

En termodinámica

El concepto de entropía fue introducido por primera vez por Clausius en termodinámica en 1865 para definir una medida de la disipación irreversible de energía , una medida de la desviación de un proceso real de uno ideal. Definida como la suma de los calores reducidos, es una función de estado y permanece constante en los procesos cerrados reversibles , mientras que en los procesos cerrados irreversibles su cambio es siempre positivo. En un sistema abierto, puede ocurrir una disminución de la entropía del sistema en consideración debido a la eliminación de energía, por ejemplo, en forma de radiación, mientras que la entropía total del entorno aumenta [1] .

Matemáticamente, la entropía se define como una función del estado de un sistema, definido hasta una constante arbitraria. La diferencia de entropías en dos estados de equilibrio 1 y 2, por definición, es igual a la cantidad reducida de calor ( ), que debe ser reportada al sistema para transferirlo del estado 1 al estado 2 a lo largo de cualquier camino cuasi-estático [2] :

. (una)

Dado que la entropía se define hasta una constante aditiva arbitraria, podemos condicionalmente tomar el estado 1 como el inicial y poner . Después

, (2)

Aquí la integral se toma como un proceso cuasiestático arbitrario . La función diferencial tiene la forma

. (3)

La entropía establece una conexión entre macro y microestados. La peculiaridad de esta característica radica en el hecho de que esta es la única función en física que muestra la dirección de los procesos. Dado que la entropía es una función de estado, no depende de cómo se realice la transición de un estado del sistema a otro, sino que está determinada únicamente por los estados inicial y final del sistema.

El significado físico de la entropía

La entropía como cantidad física se distingue por su carácter abstracto; el significado físico de la entropía no se deriva directamente de su expresión matemática y no es susceptible de una simple percepción intuitiva.

Desde un punto de vista físico, la entropía caracteriza el grado de irreversibilidad, no idealidad de un proceso termodinámico real. Es una medida de la disipación (disipation) de energía, así como una medida de la evaluación de la energía en términos de su idoneidad (o eficiencia) de uso para convertir calor en trabajo. [3] Las dos últimas declaraciones no se aplican a sistemas inusuales con una temperatura absoluta negativa, en los que el calor puede convertirse espontáneamente en trabajo.

En la teoría de la información

Para la entropía (más a menudo en matemáticas) también existe el nombre de información de Shannon o la cantidad de información según Shannon [4] .

La entropía se puede interpretar como una medida de incertidumbre (desorden) o complejidad de algún sistema, por ejemplo, cualquier experiencia (prueba), que puede tener diferentes resultados, y por lo tanto la cantidad de información [5] [6] . Así, otra interpretación de la entropía es la capacidad de información del sistema. Relacionado con esta interpretación está el hecho de que el creador del concepto de entropía en la teoría de la información ( Claude Shannon ) primero quiso llamar a esta cantidad información .

El concepto de entropía de la información se utiliza tanto en la teoría de la información y la estadística matemática como en la física estadística ( entropía de Gibbs y su versión simplificada, la entropía de Boltzmann ) [7] [8] . El significado matemático de la entropía de la información  es el logaritmo del número de estados disponibles del sistema (la base del logaritmo puede ser diferente, pero mayor que 1, determina la unidad de entropía) [9] . Tal función del número de estados proporciona la propiedad de aditividad de la entropía para sistemas independientes. Además, si los estados difieren en el grado de accesibilidad (es decir, no son igualmente probables), el número de estados del sistema debe entenderse como su número efectivo, que se determina de la siguiente manera.

Sean los estados del sistema igualmente probables y tengan probabilidad , entonces el número de estados , a . En el caso de diferentes probabilidades de estado, considere el valor promedio ponderado

donde  es el número efectivo de estados. A partir de esta interpretación, la expresión de la entropía informativa de Shannon sigue directamente :

Una interpretación similar también es válida para la entropía de Renyi , que es una de las generalizaciones del concepto de entropía de la información , pero en este caso el número efectivo de estados del sistema se define de manera diferente. La entropía de Rényi corresponde al número efectivo de estados definido [10] como un promedio ponderado de ley de potencia con un parámetro de .

Cabe señalar que la interpretación de la fórmula de Shannon basada en el promedio ponderado no es su justificación. Una derivación rigurosa de esta fórmula se puede obtener a partir de consideraciones combinatorias utilizando la fórmula asintótica de Stirling y radica en que la distribución combinatoria (es decir, el número de formas en que se puede realizar) después de tomar el logaritmo y normalizar en el límite coincide con la expresión para la entropía en la forma, propuesta por Shannon [11] [12] .

En biología

La entropía, generalmente presentada como una "medida de desorden o indeterminación de un sistema", se usa a menudo para razonar sobre la dirección de los procesos evolutivos. Según este punto de vista, la biosfera es una estructura autoorganizada supercompleja, que se "alimenta" de la entropía ilimitada de la radiación solar [13] [14] . La bacteriorrodopsina realiza la misma función que la clorofila (efecto túnel): proporciona la conversión de la radiación electromagnética en la energía de los enlaces químicos. Si hablamos de orden, entonces el ordenamiento de la disposición de los elementos de la cadena de transporte de electrones fotosintéticos lo proporciona la membrana fotosintética (unidad estructural de los cloroplastos ), que determina la transferencia dirigida de electrones y protones, creando y manteniendo la diferencia en potenciales electroquímicos de los iones, separando los productos oxidados y reducidos e impidiendo su recombinación [15 ] .

Se cree que la complejidad de la organización afecta la sustentabilidad de diferentes maneras en la naturaleza animada e inanimada [16] [17] . En la naturaleza inanimada, un aumento de la complejidad conduce a una disminución de la estabilidad de la materia viva. Por el contrario, en la naturaleza viva, las organizaciones (sociales) complejas son más estables (en términos de capacidad de supervivencia) que la estabilidad de cada elemento por separado. Por ejemplo, la cantidad de organismos que consisten en una pequeña cantidad de células (por ejemplo, los mosquitos) es mucho mayor que la cantidad de organismos que consisten en una gran cantidad de células (por ejemplo, los elefantes). Sin embargo, esto no dice nada sobre la estabilidad relacionada con el componente elemental. Si un citólogo quisiera hacer estadísticas y recolectara aleatoriamente una colección de células, encontraría en ella la mayoría de las células pertenecientes a los mamíferos. Esto sugiere que con la complicación de los organismos vivos, la estabilidad de sus componentes elementales (células) aumenta significativamente [18] .

Por analogía con la definición de entropía de Shannon, como medida de organización, podemos considerar la cantidad

donde es la relación entre el número de enlaces disponibles para un elemento en un momento dado y el número de todos los enlaces posibles de este elemento. Aquí, como en el caso de determinar la entropía de la fuente de información, la condición es cierta, sin embargo, la condición que se cumple para el caso de determinar la entropía ya no se cumple aquí y se reemplaza por la desigualdad Para un elemento que no tiene conexión con ningún otro elemento, por el contrario, cuando el elemento está conectado con todos los demás elementos, y

La expresión para la medida de la organización relativa se escribe de la siguiente manera:

La organización máxima se encuentra igualando todos los ceros, lo que da como resultado un sistema de ecuaciones:

Para cualquiera de estas ecuaciones,

Por lo tanto, para lograr la máxima organización, la relación de conexión debe ser igual a (donde está el número de Euler ),

Esta interpretación no estocástica de la organización también tiene la ventaja de permitir extraer una serie de conclusiones interesantes. Para tener en cuenta en el grado de conexión la presencia de una conexión entre dos elementos a través de elementos intermedios, será necesario utilizar no el número de conexiones adecuado para el elemento , sino el número que se determina a partir de la expresión

donde es el grado de parentesco (fuerza de la conexión) entre los elementos y En este caso, representará en la fórmula la fuerza total relativa de la conexión (en lugar del número de conexiones, como era antes) para el elemento [19 ]

Definición axiomática de entropía

La expresión para la entropía de la información se puede derivar en base a algún sistema de axiomas . Un enfoque es el siguiente sistema de axiomas, conocido como el sistema de axiomas de Khinchin : [20] .

1 . Sea algún sistema en cada uno de los estados disponibles con probabilidad , donde . La entropía es una función de probabilidades solamente : . 2 . Para cualquier sistema , , donde es un sistema con una distribución de probabilidad uniforme: . 3 . Si agregamos un estado al sistema , entonces la entropía del sistema no cambiará. 4 . La entropía del conjunto de dos sistemas tiene la forma , donde es la entropía condicional promediada sobre el conjunto .

Este conjunto de axiomas conduce únicamente a una fórmula para la entropía de Shannon.

Algunos autores [21] llaman la atención sobre la falta de naturalidad del último axioma de Khinchin. De hecho, el requisito de aditividad de entropía para sistemas independientes es más simple y más obvio. Así, el último axioma puede ser reemplazado por la siguiente condición.

4 ' La entropía de la totalidad de dos sistemas independientes y tiene la forma .

Resulta que el sistema de axiomas con el punto 4' conduce no solo a la entropía de Shannon, sino también a la entropía de Rényi .

f -entropía

Además de la entropía de Rényi , también se conocen otras generalizaciones de la entropía estándar de Shannon, por ejemplo, la clase de f -entropías propuesta [22] por I. Chisar en 1972. En 1971, S. Arimoto también propuso [23] la concepto de f -entropía, que define una clase diferente de funcionales. Además, se considera el concepto de I. Chisar . El concepto de f -entropía está conectado [24] con el concepto de f -divergencia . Los elementos de estas clases forman una correspondencia de pares, y cada par de funcionales está determinado por alguna función convexa en , que satisface la condición .

Para una función dada, la f -entropía de una distribución discreta se define como

Los casos especiales más conocidos de f -entropía son:

La entropía de Shannon es la única entropía aditiva en la clase de entropía f .

El concepto de f -entropía se define en términos generales de la siguiente manera. Sea una distribución de probabilidad y sea cualquier medida en la que exista una función absolutamente continua con respecto a . Después

Sin embargo, las versiones continuas de f -entropías pueden no tener sentido debido a la divergencia de la integral.

f -entropía es un funcional cóncavo de la distribución de probabilidad.

Se puede ver que la función se puede especificar hasta el término , donde es una constante arbitraria. Independientemente de la elección , la función genera un único f -divergencia funcional . Y el funcional de entropía f resulta estar definido hasta una constante aditiva arbitraria, es decir Al elegir una constante , puede establecer el punto de referencia de entropía. En este caso, surge el siguiente matiz (más característico de la versión continua de f - entropía ): en deja de ser aleatorio. En particular, en la versión discreta de la entropía, la constante debe fijarse en . Por lo tanto, para f -entropía, para no reducir la generalidad de la definición, se puede indicar explícitamente una constante aditiva. Por ejemplo, si es la medida de Lebesgue en , entonces es la densidad de distribución de probabilidad y

donde es una constante arbitraria.

La función también se puede especificar hasta un factor positivo arbitrario, cuya elección es equivalente a la elección de la unidad de medida de la correspondiente f -entropía o f -divergencia .

Comparando las expresiones para f -entropía y f -divergencia en forma general, podemos escribir la siguiente relación conectándolas [25] :

donde es la distribución uniforme de . Si asumimos que las derivadas de las distribuciones con respecto a la medida son los argumentos de entropía y divergencia , tenemos la notación formal

Esta conexión es fundamental y juega un papel importante no sólo en las clases de f -entropía y f -divergencia . Así, esta relación es válida para la entropía y divergencia de Rényi y, en particular, para la entropía de Shannon y la divergencia de Kullback-Leibler . Esto se debe al hecho de que, según la axiomática generalmente aceptada, la entropía alcanza su máximo en una distribución de probabilidad uniforme .

Véase también

Notas

  1. Zubarev D. N., Morozov V. G. Disipación de energía // Enciclopedia física  : [en 5 volúmenes] / Cap. edición A. M. Projorov . - M . : Enciclopedia soviética (vol. 1-2); Gran Enciclopedia Rusa (vols. 3-5), 1988-1999. — ISBN 5-85270-034-7 .
  2. Sivukhin D.V. Curso general de física. - M. , 1979. - T. II. Termodinámica y física molecular. - art. 127.
  3. Shambadal P. Desarrollo y aplicación de la entropía, 1967 , p. 61-64.
  4. Tsypkin Ya. Z., 1995 , p. 77.
  5. Zubarev D. N., Morozov V. G. Entropy // Enciclopedia física  : [en 5 volúmenes] / Cap. edición A. M. Projorov . - M . : Enciclopedia soviética (vol. 1-2); Gran Enciclopedia Rusa (vols. 3-5), 1988-1999. — ISBN 5-85270-034-7 .
  6. Entropía // Gran enciclopedia soviética  : [en 30 volúmenes]  / cap. edición A. M. Projorov . - 3ra ed. - M.  : Enciclopedia soviética, 1969-1978.
  7. http://emf.pskgu.ru/ebooks/astros/0401_O.pdf
  8. http://profbeckman.narod.ru/poryadok/Doclad_poryadok.pdf
  9. Wentzel ES, 1969 , p. 468-475.
  10. Zaripov R. G., 2005 , pág. 13-22, 108-125.
  11. Janes E. T. Sobre la justificación de los métodos de máxima entropía // TIER. - 1982. - T. 70 , núm. 9 _ - S. 33-51 .
  12. Kolmogorov, 1987 , pág. 29-39.
  13. Rapaport A. - Aspectos matemáticos del análisis abstracto de sistemas // Estudios en la teoría general de sistemas. M.: Progreso. 1969. S. 83-105.
  14. N. N. Brushlinskaya, Factor de invariancia de las ecuaciones de la cinética química a lo largo de un conjunto unidimensional en el espacio de parámetros, Uspekhi Mat. Nauk, 1975, volumen 30, número 6 (186), 161–162.
  15. Kadoshnikov S. I. - Propiedades fotoeléctricas y espectrales de membranas artificiales de clorofila-lípido.
  16. Uskov A.A., Kruglov V.V. - Estabilidad de grandes sistemas.
  17. George J. Klir - Arquitectura de solución de problemas de sistemas.
  18. G. Foerster - Bio-logic // "Problemas de la biónica: prototipos biológicos y sistemas sintéticos", ed. "Mir", M., 1965.
  19. R. Boyell - Memoria con conexiones semánticas // "Problemas de la biónica: Prototipos biológicos y sistemas sintéticos", ed. "Mir", M., 1965.
  20. Khinchin A. Ya. El concepto de entropía en la teoría de la probabilidad  // Uspekhi matematicheskikh nauk. - 1953. - T. 8 , núm. 3(55) . - S. 3-20 .
  21. Plastino A., Plastino AR Tsallis Entropy and Jaynes' Information Theory Formalism  // Brazilian Journal of Physics. - 1999. - T. 29 , núm. 1 . - art. 53 .
  22. Csiszár I. Una clase de medidas de informatividad de los canales de observación.  // Matemáticas periódicas. hungaro - 1972. - T. 2 . — S. 191–213 .
  23. Arimoto S. Consideraciones teórico-informativas sobre problemas de estimación  // Información y Control. - 1971. - T. 19 , núm. 3 . — S. 181–194 .
  24. Csiszár I. Caracterizaciones axiomáticas de medidas de información.  // entropía. - 2008. - Edición. 10 _ - S. 261-273 .
  25. Cichocki A., Amari S.-I. Familias de divergencias Alfa, Beta y Gamma: Medidas de similitud flexibles y robustas.  // entropía. - 2010. - T. 12 , núm. 6 _ - S. 1532-1568 .

Literatura

Enlaces