Энтропия
Из проекта Викизнание
Энтропи́я (от греч. εντροπία — поворот, превращение) — понятие, впервые возникшее в термодинамике как мера необратимого рассеяния энергии; широко применяется в других областях: в статистической механике — как мера вероятности осуществления состояния системы; в теории информации — как мера неопределённости сообщений; в теории вероятностей — как мера неопределённости опыта, испытания с различными исходами; её альтернативные трактовки имеют глубокую внутреннюю связь: например из вероятностных представлений об информации можно вывести все важнейшие положения статистической механики.
Оглавление |
В физике
В термодинамике
В термодинамике понятие энтропии было введено немецким физиком Р.Клаузисом (1865), когда он показал, что процесс превращения теплоты в работу подчиняется закономерности — второму началу термодинамики, которое формулируется строго математически, если ввести функцию состояния системы — энтропию. Клаузис также показал важность понятия энтропии для анализа необратимых (неравновесных) процессов, если отклонения от термодинамики равновесия невелики и можно ввести представление о локальном термодинамическом равновесии в малых, но ещё макроскопических объёмах. В целом энтропия неравновесной системы равна сумме энтропий её частей, находящихся в локальном равновесии.
В статистической механике
Статистическая механика связывает энтропию с вероятностью осуществления макроскопического состояния системы знаменитым соотношением Больцмана «энтропия — вероятность»
- S = kBlnW,
где W — термодинамическая вероятность осуществления данного состояния (число способов реализации состояния), а kB — постоянная Больцмана.
В отличие от термодинамики статистическая механика рассматривает специальный класс процессов — флуктуации, при которых система переходит из более вероятных состояний в менее вероятные и вследствие этого её энтропия уменьшается. Наличие флуктуаций показывает, что закон возрастания энтропии выполняется только статистически: в среднем для большого промежутка времени.
В математике и информатике
В теории вероятностей
Понятие энтропии распределения в теории вероятностей математически совпадает с понятием информационной энтропии. Из вероятностной трактовки энтропии выводятся основные распределения статистической механики: каноническое распределение Гиббса, которое соответствует максимальному значению информационной энтропии при заданной средней энергии; и большое каноническое распределение Гиббса — при заданной средней энергии и количестве частиц в системе.
В теории информации
Энтропия в статистической механике имеет тесную связь с информационной энтропией — мерой неопределённости сообщений, которые описываются множеством символов 
и вероятностей 
появления этих символов в сообщении. В теории информации энтропией сообщения с дискретным распределением вероятностей называют величину
-
,Sn = − ∑ pklnpk, k
| ∑ | pk = 1. |
| k |
Информационная энтропия равна нулю, когда какая-либо вероятность равна единице (а остальные — нулю), т. е. когда информация полностью предсказуема и не несёт ничего нового для приёмника. Энтропия принимает наибольшее значение для равновероятного распределения, когда все вероятности pk одинаковы; т. е. когда неопределённость, разрешаемая сообщением максимальна. Информационная энтропия также обладает всеми теми математическими свойствами, которыми обладает термодинамическая энтропия. Например, она аддитивна: энтропия нескольких сообщений равна сумме энтропий отдельных сообщений.