Энтропия

Из проекта Викизнание

Энтропи́я (от греч. εντροπίαповорот, превращение) — понятие, впервые возникшее в термодинамике как мера необратимого рассеяния энергии; широко применяется в других областях: в статистической механике — как мера вероятности осуществления состояния системы; в теории информации — как мера неопределённости сообщений; в теории вероятностей — как мера неопределённости опыта, испытания с различными исходами; её альтернативные трактовки имеют глубокую внутреннюю связь: например из вероятностных представлений об информации можно вывести все важнейшие положения статистической механики.

Оглавление

В физике

Более подробную информацию можно найти в статье «Термодинамическая энтропия».

В термодинамике

В термодинамике понятие энтропии было введено немецким физиком Р.Клаузисом (1865), когда он показал, что процесс превращения теплоты в работу подчиняется закономерности — второму началу термодинамики, которое формулируется строго математически, если ввести функцию состояния системы — энтропию. Клаузис также показал важность понятия энтропии для анализа необратимых (неравновесных) процессов, если отклонения от термодинамики равновесия невелики и можно ввести представление о локальном термодинамическом равновесии в малых, но ещё макроскопических объёмах. В целом энтропия неравновесной системы равна сумме энтропий её частей, находящихся в локальном равновесии.

В статистической механике

Статистическая механика связывает энтропию с вероятностью осуществления макроскопического состояния системы знаменитым соотношением Больцмана «энтропия — вероятность»

S = kBlnW,

где W — термодинамическая вероятность осуществления данного состояния (число способов реализации состояния), а kBпостоянная Больцмана.

В отличие от термодинамики статистическая механика рассматривает специальный класс процессов — флуктуации, при которых система переходит из более вероятных состояний в менее вероятные и вследствие этого её энтропия уменьшается. Наличие флуктуаций показывает, что закон возрастания энтропии выполняется только статистически: в среднем для большого промежутка времени.

В математике и информатике

В теории вероятностей

Понятие энтропии распределения в теории вероятностей математически совпадает с понятием информационной энтропии. Из вероятностной трактовки энтропии выводятся основные распределения статистической механики: каноническое распределение Гиббса, которое соответствует максимальному значению информационной энтропии при заданной средней энергии; и большое каноническое распределение Гиббса — при заданной средней энергии и количестве частиц в системе.

В теории информации

Энтропия в статистической механике имеет тесную связь с информационной энтропией — мерой неопределённости сообщений, которые описываются множеством символов x_1,\ldots,x_n и вероятностей p_1,\ldots,p_n появления этих символов в сообщении. В теории информации энтропией сообщения с дискретным распределением вероятностей называют величину

Sn = − pklnpk,
k
,
где
pk = 1.
k

Информационная энтропия равна нулю, когда какая-либо вероятность равна единице (а остальные — нулю), т. е. когда информация полностью предсказуема и не несёт ничего нового для приёмника. Энтропия принимает наибольшее значение для равновероятного распределения, когда все вероятности pk одинаковы; т. е. когда неопределённость, разрешаемая сообщением максимальна. Информационная энтропия также обладает всеми теми математическими свойствами, которыми обладает термодинамическая энтропия. Например, она аддитивна: энтропия нескольких сообщений равна сумме энтропий отдельных сообщений.

См.также