Реклама на сайте (разместить):



Реклама и пожертвования позволяют нам быть независимыми!

Обсуждение:Энтропия

Материал из Викизнание
Перейти к: навигация, поиск

Чтобы освоиться с понятием энтропии, решим несколько задач.

Задача 1.1
Колода-52 состоит из 26 красных и 26 чёрных [игральных] карт.
Чему равна вероятность вытаскивания наугад из Колоды-52 одной красной и одной чёрной карт?
Чему равна энтропия вытаскивания наугад из Колоды-52 одной красной и одной чёрной карт?

Ответы:
Вероятность вытаскивания наугад из Колоды-52 одной красной и одной чёрной карт = (C(26, 1))2 / C(52, 2) = 26 / 51 ≈ 0,51.
Энтропия вытаскивания наугад из Колоды-52 одной красной и одной чёрной карт = −log2((C(26, 1))2 / C(52, 2)) = −log2(26 / 51) ≈ 0,97 бита.
Также энтропия вытаскивания наугад из Колоды-52 одной красной и одной чёрной карт = −log3((C(26, 1))2 / C(52, 2)) = −log3(26 / 51) ≈ 0,61 трита.
Кроме того, энтропия вытаскивания наугад из Колоды-52 одной красной и одной чёрной карт = −loge((C(26, 1))2 / C(52, 2)) = −ln(26 / 51) ≈ 0,67 ната.
Кроме того, энтропия вытаскивания наугад из Колоды-52 одной красной и одной чёрной карт = −log10((C(26, 1))2 / C(52, 2)) = −lg(26 / 51) ≈ 0,29 дита.
Из ответов к задаче 1.1 можно догадаться, что:
а) энтропия события это отрицательный логарифм вероятности события,
б) энтропия события измеряется:
б.1) в битах, если основание логарифма равно 2,
б.2) в тритах, если основание логарифма равно 3,
б.3) в натах, если основание логарифма равно числу Эйлера (число Эйлера = е ≈ 2,71828),
б.4) в дитах, если основание логарифма равно 10.


Задача 1.2
Колода-52 состоит из 26 красных и 26 чёрных карт.
Чему равна вероятность вытаскивания наугад из Колоды-52 двух красных карт?
Чему равна энтропия вытаскивания наугад из Колоды-52 двух красных карт?
Чему равна взвешенная энтропия вытаскивания наугад из Колоды-52 двух красных карт?

Ответы:
Вероятность вытаскивания наугад из Колоды-52 двух красных карт = C(26, 2) / C(52, 2) = 25/102 ≈ 0,245.
Энтропия вытаскивания наугад из Колоды-52 двух красных карт = −log2(C(26, 2) / C(52, 2)) = −log2(25/102) ≈ 2,03 бита.
Взвешенная энтропия вытаскивания наугад из Колоды-52 двух красных карт = (С(26, 2)/С(52, 2)) ⋅ −log2(C(26, 2) / C(52, 2)) = (25/102) ⋅ −log2(25/102) ≈ 0,497 бита.
Из ответов к задаче 1.2 можно догадаться, что:
а) энтропия события это отрицательный логарифм вероятности события,
б) взвешенная энтропия события это произведение вероятности события на энтропию события,
в) взвешенная энтропия события измеряется:
в.1) в битах, если энтропия события измеряется в битах,
в.2) в тритах, если энтропия события измеряется в тритах,
в.3) в _ _ _, если энтропия события измеряется в _ _ _.

Задача 1.3
Колода-52 состоит из 26 красных и 26 чёрных карт. Разумеется, в Колоде-52 нет ни одной серобуромалиновой карты.
Чему равна вероятность вытаскивания наугад из Колоды-52 одной красной и одной серобуромалиновой карт?
Чему равна энтропия вытаскивания наугад из Колоды-52 одной красной и одной серобуромалиновой карт?
Чему равна взвешенная энтропия вытаскивания наугад из Колоды-52 одной красной и одной серобуромалиновой карт?

Ответы:
Вероятность вытаскивания наугад из Колоды-52 одной красной и одной серобуромалиновой карт = (C(26, 1) ⋅ C(0, 1)) / C(52, 2) = (26 ⋅ 0) / 51 = 0
Энтропия вытаскивания наугад из Колоды-52 одной красной и одной серобуромалиновой карт = limP → 0  (−log2(P)) = +∞ бит.
Взвешенная энтропия вытаскивания наугад из Колоды-52 одной красной и одной серобуромалиновой карт = limP → 0   (P ⋅ −log2(P)) = 0 бит.
Из ответов к задаче 1.3 можно догадаться, что:
a) вероятность невозможного события = 0,
б) энтропия невозможного события = +∞ бит (трит, нат, дит и т. п.),
в) взвешенная энтропия невозможного события = 0 бит (трит, нат, дит, и т. п.).

Задача 1
Колода-52 состоит из 26 красных и 26 чёрных карт. При этом:
0.1) из этой колоды можно вынуть либо 2 красные карты, либо 2 чёрные карты, либо 1 красную и 1 чёрную карты,
0.2) из этой колоды невозможно вынуть 1 красную и 1 серобуромалиновую карты, 2 серобуромалиновые карты и т. п.,
1.1) вероятность вытаскивания наугад из Колоды-52 двух красных карт = 25/102 = P({кр., кр.}),
1.2) энтропия вытаскивания наугад из Колоды-52 двух красных карт = −log2(P({кр., кр.})) = −log2(25/102) = H({кр., кр.}),
2.1) вероятность вытаскивания наугад из Колоды-52 двух чёрных карт = 25/102 = P({ч., ч.}),
2.2) энтропия вытаскивания наугад из Колоды-52 двух чёрных карт = −log2(P({ч., ч.})) = −log2(25/102) = H({ч., ч.}),
3.1) вероятность вытаскивания наугад из Колоды-52 одной красной и одной чёрной карт = 26/51 = P({кр., ч.}),
3.2) энтропия вытаскивания наугад из Колоды-52 одной красной и одной чёрной карт = −log2(P({кр., ч.})) = −log2(26/51) = H({кр., ч.}),
4) P({кр., кр.}) + P({ч., ч.}) + P({кр., ч.}) = 25/102 + 25/102 + 26/51 = 1.
Чему равна средняя энтропия вытаскивания наугад двух карт из Колоды-52?.

Ответ:
Средняя энтропия вытаскивания наугад двух карт из Колоды-52 =
= Н({кр., кр.} ∪ {ч., ч.} ∪ {кр., ч.}) =
= P({кр., кр.}) ⋅ H({кр., кр.})   +   P({ч., ч.}) ⋅ H({ч., ч.})   +   P({кр., ч.}) ⋅ H({кр., ч.}) ≈
≈ (25/102) ⋅ 2,03 + (25/102) ⋅ 2,03 + (26/51) ⋅ 0,97 ≈ 1,49 бита.
Статью можно улучшить?
✍ Редактировать 💸 Спонсировать 🔔 Подписаться 📩 Переслать 💬 Обсудить
Позвать друзей
Вам также может быть интересно: