💸 Как сделать бизнес проще, а карман толще?

Тот, кто работает в сфере услуг, знает — без ведения записи клиентов никуда. Мало того, что нужно видеть свое раписание, но и напоминать клиентам о визитах тоже. Проблема в том, что средняя цена по рынку за такой сервис — 800 руб/мес или почти 15 000 руб за год. И это минимальный функционал. Нашли самый бюджетный и оптимальный вариант: сервис VisitTime.
⚡️ Для новых пользователей первый месяц бесплатно. А далее 290 руб/мес, это в 3 раза дешевле аналогов. За эту цену доступен весь функционал: напоминание о визитах, чаевые, предоплаты, общение с клиентами, переносы записей и так далее.
✅ Уйма гибких настроек, которые помогут вам зарабатывать больше и забыть про чувство «что-то мне нужно было сделать».
Сомневаетесь? нажмите на текст, запустите чат-бота и убедитесь во всем сами!

Энтропия как мера неопределенности выбора

Факт получения информации всегда связан с уменьшением разнообразия или неопределенности. Установим количественные меры неопределенности для информации и выясним ее свойства.

Дискретный источник информации может в каждый момент времени случайным образом принять одно из конечного множества возможных состояний. Различные состояния u _i «реализуются вследствие выбора их источником». Ансамбль состояний U характеризуется суммой вероятностей их появления:

= 1. (2.1)

Введем меру неопределенности выбора состояния источника. Ее можно рассматривать и как меру количества информации. За такую меру можно было бы взять число состояний источника (при их равновероятности). Тогда она отвечала бы условию монотонного возрастания при увеличении числа возможных состояний источника.

Однако такая мера не отвечает требованию аддитивности:

Если два независимых источника с числом равновероятных состояний N и M рассматривать как один источник, одновременно реализующий пары состояний n_im_j, то неопределенность объединенного источника должна равняться сумме неопределенностей исходных источников:

f (NM) = f (N) + f (M). (2.2)

Соотношение (2.2) выполняется, если в качестве меры неопределенности источника с равновероятными состояниями принять логарифм числа состояний:

H (U) = log N. (2.3)

Тогда при N = 1 и H (U) = 0 требование аддитивности выполняется (Р. Хартли). Основание логарифма не имеет принципиального значения и определяет только масштаб или единицу неопределенности. Технические соображения подсказывают выбор основания логарифма – 2. При этом единица неопределенности называется битом (от англ. binary digit). Иногда используется дит (от decimal).

Пример: Определить минимальное число взвешиваний для выявления одной фальшивой монеты среди 27: H (U) = log₃27. Одно взвешивание: три возможных исхода, означают, что и неопределенность: H (U ¢) = log₃3 и основание логарифма также должно быть равным 3. Поэтому H (U) = 3log₃3 = H (U ¢), т.е. требуется 3 взвешивания.

Предложенная мера удачна, но широко не применяется, т.к. использует слишком грубую модель источника информации (равновероятную).

К. Шеннон предложил более широко используемую меру:

H (U) = – C , (2.4)

где C – произвольное положительное число.

Такую меру называют энтропией дискретного источника информации, или энтропией конечного ансамбля. Это единственный функционал (утверждение К. Шеннона, строго доказанное Л. Я. Хинчиным), удовлетворяющий всем требованиям к мере неопределенности (мере информации).

Для двоичной системы измерения, приняв С = 1, получим

N (U) = – , (2.5)

Формальная структура (2.4) совпадает с энтропией физической системы (Больцман). Согласно второму закону термодинамики энтропия замкнутого пространства определяется как

H = – , (2.6)

где M_П – число молекул в данном пространстве; m_i – число молекул, обладающих скоростью от v до v + D v.

Так как m_i / M_П есть вероятность того, что молекула имеет скорость от v до v + D v, то (2.6) можем переписать: H = – .

Совпадение имеет глубокий физический смысл, поскольку в обоих случаях величина H характеризует степень разнообразия состояний системы.

Мера Шеннона является естественным обобщением меры Хартли на случай ансамбля с неравновероятными состояниями. Она позволяет учесть статистические свойства источника информации.

Некоторые свойства энтропии:

1. Энтропия является вещественной и неотрицательной величиной, т.к. для любого p_i (1£ i £ N) она изменяется в интервале от 0 до 1, log p_i отрицателен и, следовательно, - p_i log p_i положительно.

2. Энтропия – величина ограниченная. Для слагаемых - p_i log p_i в диапазоне 0 < p_i < 1 ограниченность очевидна. Предел для - p_i log p_i при p_i ® 0, по правилу Лопиталя, равен 0.

3. Энтропия обращается в ноль, если вероятность одного из состояний равна 1.

4. Энтропия максимальна, когда все состояния источника равновероятны, что доказывается использованием метода неопределенных множителей Лагранжа.

5. Энтропия источника u с двумя состояниями u ₁ и u ₂ изменяется от 0 до 1, достигая максимума при равенстве их вероятностей:

p (u ₁) = p = p (u ₂) = 1 – p = 0, 5.

6. Энтропия объединения нескольких статистически независимых источников информации равна сумме энтропий исходных источников.

7. Энтропия характеризует среднюю неопределенность выбора одного состояния из ансамбля и ничего больше (при оценке неопределенности воздействия лекарств безразлично, выздоровеет ли 90 % пациентов, а 10 % умрет, или наоборот).

Энтропия может характеризовать не только дискретный, но и непрерывный источник информации. Энтропию для такого источника называют дифференциальной энтропией:

H (U) = . (2.7)

Эта величина при D u ® 0 стремится к бесконечности (неопределенность выбора из бесконечного числа возможных состояний (значений) бесконечно велика).

Первый член в правой части выражения (2.7) имеет конечное значение, зависящее только от закона распределения U, и не зависит от шага квантования D u. Он имеет точно такую же структуру, как и энтропия дискретного источника.

Второй член зависит лишь от шага квантования D u. Он ответственен за то, что H (U) обращается в бесконечность.

К трактовке выражения (2.7) известны два подхода.

Первый состоит в том, что в качестве меры неопределенности непрерывного источника принимают первый член. Эта величина получила название дифференциальной энтропии непрерывного источника. Ее можно трактовать как среднюю неопределенность выбора случайной величины U с произвольным законом распределения по сравнению со средней неопределенностью выбора случайной величины U ¢, изменяющейся в диапазоне, равном 1, и имеющей равномерное распределение.

Условная энтропия непрерывного источника может быть выражена как

H_V (U) = . (2.8)

При втором подходе для количественного определения информационных свойств непрерывного источника предлагается принять во внимание практическую невозможность обеспечения бесконечно большой точности различения значений непрерывной величины U. Поэтому все бесконечное число значений U в пределах заданной точности измерений следует рассматривать как одно значение.

Из средней неопределенности выбора источником некоторого значения в этом случае необходимо вычесть среднюю неопределенность того же источника, полученную при условии, что мы знаем результаты определения с некоторой точностью e. Тогда информационные свойства непрерывного источника будут оцениваться разностью безусловной (2.7) и условной (2.8) энтропий. Такая разность является мерой снятой неопределенности, которую называют количеством информации.

Количество информации
как мера снятой неопределенности

Передача информации диктуется желанием устранить неопределенность относительно последовательности состояний, реализуемых источником. Передача информации либо инициируется самим источником, либо осуществляется по запросу. Информация проявляется всегда в форме сигналов. Сигналы, поступающие с выхода первичного преобразователя источника информации на вход канала связи, принято называть сообщениями, в отличие от сигналов, формирующихся на входе линии связи.

Отдельные первичные сигналы с выхода источника сообщений называют элементами сообщений. Каждому элементу сообщения соответствует определенное состояние источника информации. Если источник информации реализует множество состояний параллельно (лист бумаги с текстом), первичный преобразователь обеспечивает их последовательное отображение элементами сообщений (произнесение звуков человеком).

Основное понятие теории информации – количество информации – рассматривается здесь применительно к передаче отдельных статистически несвязанных элементов сообщения. Дискретный источник информации сообщений при этом полностью характеризуется ансамблем

Z = .

Непрерывный источник информации характеризуется одномерной плотностью распределения p (z) случайной величины z.