Передача информации от дискретного источника

💸 Как сделать бизнес проще, а карман толще?

Тот, кто работает в сфере услуг, знает — без ведения записи клиентов никуда. Мало того, что нужно видеть свое раписание, но и напоминать клиентам о визитах тоже. Проблема в том, что средняя цена по рынку за такой сервис — 800 руб/мес или почти 15 000 руб за год. И это минимальный функционал. Нашли самый бюджетный и оптимальный вариант: сервис VisitTime.
⚡️ Для новых пользователей первый месяц бесплатно. А далее 290 руб/мес, это в 3 раза дешевле аналогов. За эту цену доступен весь функционал: напоминание о визитах, чаевые, предоплаты, общение с клиентами, переносы записей и так далее.
✅ Уйма гибких настроек, которые помогут вам зарабатывать больше и забыть про чувство «что-то мне нужно было сделать».
Сомневаетесь? нажмите на текст, запустите чат-бота и убедитесь во всем сами!

Как меняется неопределенность относительно состояния источника сообщения при получении адресатом элемента сообщения с выхода канала связи? Алфавиты передаваемых и принимаемых элементов сообщения будем считать идентичными.

Вследствие воздействия помех полученный элемент сообщения в общем случае отличается от переданного. Обозначим принимаемые элементы сообщения буквами w ₁, …, w_i, …, w_n.

Априорная неопределенность (неопределенность до получения элемента сообщения) относительно состояния источника не является полной. Предполагается, что адресату известен алфавит элементов сообщения, а из прошлого опыта – вероятности их появления. Считая, что состояния источника реализуются независимо, априорная частная неопределенность появления элемента сообщения z_i:

где p (z_i) – априорная вероятность появления элемента сообщения z_i.

Обычно считают, что между элементами сообщения и помехой статистические связи отсутствуют, искажения отдельных элементов сообщения являются событиями независимыми и адресату известна совокупность условных вероятностей

, (1 £ i £ n, 1 £ j ≤ m), того, что вместо элемента сообщения z_i будет принят элемент сообщения w_j.

При получении конкретного элемента сообщения w_j адресату становится известным значение условной вероятности p(z_i/w_j), называемой апостериорной (послеопытной) вероятностью реализации источником элемента сообщения z_i. Это позволяет найти апостериорную частную неопределенность, остающуюся у адресата и относящуюся к выдаче источником элемента сообщения z_i после получения конкретного элемента сообщения w_j:

Определим частное количество информации I (z_i), получаемое при приеме элемента сообщения w_j относительно некоторого реализованного источником элемента сообщения z_i, как разность частных неопределенностей, имевшихся у адресата до и после получения элемента сообщения:

Анализ выражения (2.10) позволяет сделать следующие заключения.

1. Частное количество информации растет с уменьшением априорной и увеличением апостериорной вероятностей реализации элемента сообщения источником, что находится в соответствии с интуитивным представлением.

2. Частное количество информации об элементе сообщения может быть не только положительным, но и отрицательным, а также нулем, что зависит от соотношения априорной p (z_i) и апостериорной p(z_i/w_j) вероятностей. Если вероятность того, что источником был реализован элемент сообщения z_i, увеличилась после приема элемента сообщения w_j, т.е. p(z_i/w_j) > p (z_i), то полученное частное количество информации положительно. Если эта вероятность не изменилась, т.е. p(z_i/w_j) = p (z_i), то имевшая место неопределенность тоже не изменилась и частное количество информации равно 0. Случай p(z_i/w_j) < p (z_i) соответствует увеличению неопределенности относительно реализации z_i после получения элемента сообщения w_j, и частное количество информации отрицательно.

3. В случае отсутствия помехи апостериорная вероятность p(z_i/w_j) = 1. Частное количество информации численно совпадает с априорной неопределенностью реализации данного элемента сообщения z_i: I (z_i ) = H (z_i ) =

. Это максимальное частное количество информации, которое можно получить об элементе сообщения z_i.

4. Частное количество информации относительно реализации источником элемента сообщения z_i, содержащееся в принятом источником элементе сообщения w_j, равно частному количеству информации относительно w_j, содержащемуся в элементе сообщения z_i:

Для большинства применений важны усредненные характеристики функционирования информационных систем.

Среднее количество информации, содержащееся в любом принятом элементе сообщения относительно переданного (реализованного) источником через вероятности вычисляется так: I (z, w) =

Если частный характер количества информации специально не оговаривается, всегда идет речь о количестве информации, приходящемся в среднем на один элемент сообщения.