💸 Как сделать бизнес проще, а карман толще?

Тот, кто работает в сфере услуг, знает — без ведения записи клиентов никуда. Мало того, что нужно видеть свое раписание, но и напоминать клиентам о визитах тоже. Проблема в том, что средняя цена по рынку за такой сервис — 800 руб/мес или почти 15 000 руб за год. И это минимальный функционал. Нашли самый бюджетный и оптимальный вариант: сервис VisitTime.
⚡️ Для новых пользователей первый месяц бесплатно. А далее 290 руб/мес, это в 3 раза дешевле аналогов. За эту цену доступен весь функционал: напоминание о визитах, чаевые, предоплаты, общение с клиентами, переносы записей и так далее.
✅ Уйма гибких настроек, которые помогут вам зарабатывать больше и забыть про чувство «что-то мне нужно было сделать».
Сомневаетесь? нажмите на текст, запустите чат-бота и убедитесь во всем сами!

Энтропия дискретного ансамбля сообщений

Среднее количество информации, содержащееся в ансамбле , определяется математическим ожиданием

. (2.6)

Величина называется энтропией ансамбля и имеет размерность . Под термином сообщение понимается элемент ансамбля : это может быть символ или набор символов, образующих некоторое сообщение и т. д.

Пример 1. Положим, образуют ансамбль сообщений . Вероятности реализаций этих сообщений соответственно равны 0.1, 0.4, 0.2, 0.3. Определим количество информации, содержащуюся в каждом сообщении, и меру неопределённости в ансамбле .

После расчетов получим

3.3219 , 1.3219 , 2.3219 , 1.7369 .

Энтропия ансамбля равна 1.84644 .

Как видно, наибольшее количество информации содержится в сообщении , которая реализуется с наименьшей вероятностью, и наименьшее количество информации содержится в сообщении , вероятность реализации которой наибольшая. Чем ближе к единице вероятность реализации сообщения, тем меньше информации содержится в этом сообщении. Эти выводы хорошо согласуются с субъективным представлением о ценности получаемых сведений.

Пример 2. Положим, одно из сообщений ансамбля реализуется с вероятностью 0. Тогда какое-то другое сообщение будет реализовываться с вероятностью 1. Вычислим энтропию вновь полученного ансамбля .

.

Получили неопределённость типа . Разрешив эту неопределённость, получим . Неопределённость в ансамбле отсутствует.

Энтропия характеризует меру средней неопределённости ансамбля .Пусть задан ансамбль : { } с распределением вероятностей , . Тогда энтропия удовлетворяет неравенству

. (2.7)

Доказательство. Левая часть неравенства следует из определения энтропии ансамбля . Для доказательства правой части рассмотрим разность и преобразуем её

В дальнейшем используем неравенство , рисунок 2.1. Знак равенства будет только в случае . Тогда имеем

.

Из последнего неравенства следует, что знак равенства в правой части неравенстве (2.7) будет в том случае, если

= 1 или .

Энтропия ансамбля будет максимальной, если все события равновероятны. Ценность информации в каждом сообщении, с точки зрения частоты её появления в результате опытов, будет равна .

Вычислим энтропию произведения ансамблей : и : . Произведение ансамблей образует матрицу сообщений

с распределением вероятностей

.

Пользуясь определением энтропии ансамбля, запишем энтропию произведения ансамблей

=

(2.8)

Условная энтропия зависит от условной меры информации - количества информации, содержащаяся в сообщении , при условии, что уже реализовалось сообщение , т.е. - это не случайное событие в условной мере информации , случайность реализации учитывается в вероятности .

Если ансамбли и независимы, т.е. , то энтропия произведения ансамблей равна сумме энтропий ансамблей и

. (2.9)

Пользуясь методикой, применяемой при доказательстве неравенства (2.6), можно показать, что

. (2.10)

Если имеется множество ансамблей , то энтропия произведения ансамблей равна

,

(2.11)