Передача информации от непрерывного источника

Количество информации, получаемой от непрерывного источника по каналу с помехами, определяется точно так же, как выше, но с использованием понятия дифференциальной энтропии (2.7).

Среднее количество информации, содержащееся в каждом принятом значении случайной величины w источника, имеющего непрерывное множество состояний относительно переданного значения случайной величины z, можно получить как разность априорной и апостериорной дифференциальных энтропий:

I (z, w ) = H (z ) – H_w (z). (2.12)

Основные свойства количества информации:

1. Несмотря на то, что частное количество информации может быть величиной отрицательной, количество информации неотрицательно.

Действительно, если H_w (z) £ H (z), тогда I (z, w ) = H_w (z ) – H (z) ³ 0.

2. При отсутствии статистической связи между случайными величинами z и w имеем H_w (z) = H (z), следовательно, в этом случае I (z, w) = 0 (принятые элементы сообщения не несут никакой информации относительно переданных).

3. Количество информации в w относительно z равно количеству информации в z относительно w.

4. При взаимно однозначном соответствии между множествами передаваемых и принимаемых элементов сообщений (в отсутствие помехи) апостериорная энтропия равна нулю и количество информации численно совпадает с энтропией источника: I (z, w) = H (z).

Это максимальное количество информации о состоянии дискретного источника. Для непрерывного источника оно бесконечно.

Информационные характеристики
источника сообщений и канала связи

Основные понятия и определения. Источники сообщений и каналы связи в системах передачи имеют разнообразную структуру и физическую природу. Для выяснения общих закономерностей необходимо абстрагироваться от их конкретного физического воплощения и оперировать формализованными понятиями.

Источник дискретных сообщений формирует дискретные последовательности из ограниченного числа элементарных сообщений. На выходе источника непрерывных сообщений образуются непрерывные сообщения. Источник полностью определяется статистическими данными о формируемых сообщениях.

Под каналом связи подразумевают совокупность устройств и физических сред, обеспечивающих передачу сообщений из одного места в другое (или во времени). Каналы также подразделяются на дискретные и непрерывные.

Так как в процессе передачи дискретных сообщений модулятором в соответствии с поступающей последовательностью символов осуществляется изменение информативного параметра непрерывного сигнала, то часть дискретного канала является непрерывным каналом связи. Именно модулятор (демодулятор), а также кодирующие и декодирующие устройства отличают дискретный канал от непрерывного.

Если вредным влиянием помех в канале можно пренебречь, то его можно назвать каналом без помех и проводить анализ идеализированного канала. В таком (идеальном) канале каждому сообщению на входе однозначно соответствует определенное сообщение на выходе и наоборот (не надо вводить сообщений w_j). Более сложная модель – канал с помехами.

Канал считается заданным, если известны статистические данные о сообщениях на его входе и выходе и ограничения, накладываемые на входные сообщения физическими характеристиками канала. Канал прямой передачи, дополненный обратным каналом, называют каналом с обратной связью.

Информационные характеристики
источника дискретных сообщений

Модели источника дискретных сообщений. Потребителя чаще всего интересует не одно конкретное состояние источника, а последовательности состояний (телеграммы, ТВ-сюжеты и пр.). Для построения моделей непрерывных и дискретных случайных процессов необходимо знать объем l алфавита знаков (z ₁, z ₂, …, z _l), из которых источником формируются сообщения, и вероятности создания им отдельных знаков с учетом возможной взаимосвязи между ними.

При доказательстве основных положений теории информации К. Шенноном использовалась модель, называемая эргодическим источником сообщений. Предполагается, что создаваемые им сообщения математически можно представить в виде эргодической случайной последовательности.

Такая последовательность удовлетворяет условиям стационарности и эргодичности, т.е. вероятность отдельных знаков и их сочетаний не зависит от расположения их по длине сообщения, и статистические закономерности, полученные при исследовании одного, достаточно длинного сообщения, с вероятностью, близкой к единице, справедливы для всех сообщений, создаваемых источником. Из статистических характеристик в данном случае интересна средняя неопределенность в расчете на один знак последовательности.

Стационарный источник сообщений, выбирающий каждый знак формируемой последовательности независимо от других знаков, всегда является эргодическим. Его также называют «источником без памяти».

На практике чаще встречаются источники, у которых вероятность выбора зависит от того, какие знаки были выбраны источником раньше (источники с памятью).