Реклама на сайте (разместить):



Реклама и пожертвования позволяют нам быть независимыми!

Условная энтропия

Материал из Викизнание
Перейти к: навигация, поиск

В теории информации, условная энтропия (у|энтропия) определяет количество остающейся энтропии (то есть, остающейся неопределенности) случайной величины \xi после того, как распределение второй случайной величины \eta становится известным. Она называется «энтропия \xi при условии \eta », и обозначается H(\xi |\eta ). Как и другие энтропии, у|энтропия измеряется в битах (двоичные единицы), натах (натуральные единицы), или банах (хартлиевские единицы).

Для заданных дискретных случайных величин \eta на {\mathbf  {R}}_{\eta } и \xi на {\mathbf  {R}}_{\xi }, у|энтропия \xi при условии \eta определяется как:

H(\xi |\eta )=\sum _{{y\in {\mathbf  {R}}_{\eta }}}\pi (y)H(\xi |\eta =y)=-\sum _{{y\in {\mathbf  {R}}_{\eta }}}\pi (y)\sum _{{x\in {\mathbf  {R}}_{\xi }}}\pi (x|y)\ln \pi (x|y)=
=-\sum _{{y\in {\mathbf  {R}}_{\eta }}}\sum _{{x\in {\mathbf  {R}}_{\xi }}}\pi (x,y)\ln \pi (x|y)=-{\mathbf  {E}}_{{\pi (x,y)}}\ln \pi (\xi |\eta ).

Здесь обозначено: \pi (y)={\mathbf  {P}}(\eta =y),\pi (x|y)={\mathbf  {P}}(\xi =x|\eta =y),\pi (x,y)={\mathbf  {P}}(\xi =x,\eta =y).

Из этого определения и теоремы Байеса следуют соотношения у|аддитивности энтропии (иногда называемые цепным правилом для у|энтропии):

H(\xi ,\eta )=H(\xi )+H(\eta |\xi )=H(\xi |\eta )+H(\eta ),

которые верны, потому что

H(\xi |\eta )=-{\mathbf  {E}}_{{\pi (x,y)}}\ln \pi (x|y)=-{\mathbf  {E}}_{{\pi (x,y)}}\ln {\frac  {\pi (x,y)}{\pi (y)}}=
=-{\mathbf  {E}}_{{\pi (x,y)}}\ln \pi (x,y)+{\mathbf  {E}}_{{\pi (y)}}\ln \pi (y)=H(\xi ,\eta )-H(\eta ).

Интуитивно, объединенная система содержит H(\xi ,\eta ) битов информации. Иначе говоря, требуется H(\xi ,\eta ) битов информации, чтобы восстановить точное состояние системы. Когда мы узнаем распределение \eta , мы извлекаем H(\eta ) битов информации, и в системе остается H(\xi |\eta ) битов информации, нами неопределенной. H(\xi |\eta )=0, если и только если значение \xi полностью определяется значением \eta . Наоборот, H(\xi |\eta )=H(\xi ), если и только если \xi и \eta - независимые случайные величины.

В квантовой теории информации, у|энтропия обобщена до квантовой у|энтропии.

Литература[править]

  1. Стратонович Р.Л. Теория информации. – М.: «Советское радио». – 1975.
  2. Theresa M. Korn; Korn, Granino Arthur. Mathematical Handbook for Scientists and Engineers: Definitions, Theorems, and Formulas for Reference and Review. - Dover Publications. - New York. – pp. 613-614. ISBN 0-486-41147-8.
Статью можно улучшить?
✍ Редактировать 💸 Спонсировать 🔔 Подписаться 📩 Переслать 💬 Обсудить
Позвать друзей
Вам также может быть интересно: