Передача информации от дискретного источника

Как меняется неопределенность относительно состояния источника сообщения при получении адресатом элемента сообщения с выхода канала связи? Алфавиты передаваемых и принимаемых элементов сообщения будем считать идентичными.

Вследствие воздействия помех полученный элемент сообщения в общем случае отличается от переданного. Обозначим принимаемые элементы сообщения буквами w ₁, …, w_i, …, w_n.

Априорная неопределенность (неопределенность до получения элемента сообщения) относительно состояния источника не является полной. Предполагается, что адресату известен алфавит элементов сообщения, а из прошлого опыта – вероятности их появления. Считая, что состояния источника реализуются независимо, априорная частная неопределенность появления элемента сообщения z_i:

H (z_i) = –log p (z_i),

где p (z_i) – априорная вероятность появления элемента сообщения z_i.

Обычно считают, что между элементами сообщения и помехой статистические связи отсутствуют, искажения отдельных элементов сообщения являются событиями независимыми и адресату известна совокупность условных вероятностей , (1 £ i £ n, 1 £ j ≤ m), того, что вместо элемента сообщения z_i будет принят элемент сообщения w_j.

При получении конкретного элемента сообщения w_j адресату становится известным значение условной вероятности p(z_i/w_j), называемой апостериорной (послеопытной) вероятностью реализации источником элемента сообщения z_i. Это позволяет найти апостериорную частную неопределенность, остающуюся у адресата и относящуюся к выдаче источником элемента сообщения z_i после получения конкретного элемента сообщения w_j:

.(2.9)

Определим частное количество информации I (z_i), получаемое при приеме элемента сообщения w_j относительно некоторого реализованного источником элемента сообщения z_i, как разность частных неопределенностей, имевшихся у адресата до и после получения элемента сообщения:

I (z_i ) = H (z_i ) – . (2.10)

Анализ выражения (2.10) позволяет сделать следующие заключения.

1. Частное количество информации растет с уменьшением априорной и увеличением апостериорной вероятностей реализации элемента сообщения источником, что находится в соответствии с интуитивным представлением.

2. Частное количество информации об элементе сообщения может быть не только положительным, но и отрицательным, а также нулем, что зависит от соотношения априорной p (z_i) и апостериорной p(z_i/w_j) вероятностей. Если вероятность того, что источником был реализован элемент сообщения z_i, увеличилась после приема элемента сообщения w_j, т.е. p(z_i/w_j) > p (z_i), то полученное частное количество информации положительно. Если эта вероятность не изменилась, т.е. p(z_i/w_j) = p (z_i), то имевшая место неопределенность тоже не изменилась и частное количество информации равно 0. Случай p(z_i/w_j) < p (z_i) соответствует увеличению неопределенности относительно реализации z_i после получения элемента сообщения w_j, и частное количество информации отрицательно.

3. В случае отсутствия помехи апостериорная вероятность p(z_i/w_j) = 1. Частное количество информации численно совпадает с априорной неопределенностью реализации данного элемента сообщения z_i: I (z_i ) = H (z_i ) = . Это максимальное частное количество информации, которое можно получить об элементе сообщения z_i.

4. Частное количество информации относительно реализации источником элемента сообщения z_i, содержащееся в принятом источником элементе сообщения w_j, равно частному количеству информации относительно w_j, содержащемуся в элементе сообщения z_i:

. (2.11)

Для большинства применений важны усредненные характеристики функционирования информационных систем.

Среднее количество информации, содержащееся в любом принятом элементе сообщения относительно переданного (реализованного) источником через вероятности вычисляется так: I (z, w) = .

Если частный характер количества информации специально не оговаривается, всегда идет речь о количестве информации, приходящемся в среднем на один элемент сообщения.