Условная энтропия (энтропия помехи)

В теоремах 10 и 16 говорится, что дезинформационное действие случайной погрешности, шума или помех при передаче сигнала определяется энтропией шума как случайной величины. В теореме 16 показывается, что если шум в вероятностном смысле не зависит от передаваемого сигнала, то независимо от статистики сигнала шуму можно приписать определенную величину энтропии, которая и характеризует его дезин­формационное действие. Это очень важное положение, так как точный анализ суммы сложного сигнала и шума математически весьма труден. На основе же 16-й теоремы Шеннона этот анализ (при статистически независимом шуме) можно вести раздельно для сигнала и шума, что резко упрощает решение такой задачи.

Теорема 10 по формулировке относится к теории кодирования, однако по существу она является доказательством предыдущего положения. Здесь утверждается, что количество передаваемой информа­ции q равно энтропии передаваемого сигнала за вычетом энтро­пии шума , т.е.

(6.1.6)

Отсюда теорема 10 формулируется следующим образом.

Теорема 10. Если на вход канала передачи информации подается сигнал с энтропией , а шум в канале имеет энтропию , то количество информации на выходе канала , т.е. меньше энтропии передаваемого сигнала на величину энтропии шума .

Если, кроме основного канала передачи, имеется второй параллельный канал, то для исправления ошибок, возникших от шума с энтро­пией , по этому коррекционному каналу необходимо передать дополнительное количество информации, не меньшее, чем . Эти данные можно так закодировать, что будет возможно корректи­ровать все ошибки, вызванные шумом, за исключением произвольно малой доли этих ошибок.

Другими словами, эта теорема утверждает, что потери информации от помех, шума или случайных погрешностей с точностью до бес­конечно малой величины равны энтропии этой случайной погрешности и для восстановления этой потери информации при оптимальном ко­дировании необходимо дополнительное количество информации не меньше . При меньшем количестве дополнительной ин­формации полная коррекция ошибок невозможна, а при большем возможно использование не оптимального кодирования.

Таким образом, 10 и 16 теоремы приводят к основному соотношению теории информации – количество передаваемой инфор­мации по каналу передачи при наличии помех равно

Здесь – энтропия передаваемого сообщения, а в случае изме­рения – исходная, или априорная, энтропия измеряе­мой величины X, определяемая лишь ее законом распределения р (х); – энтропия шума, а в случае измерения – энтропия случайной погрешности измерения, или так называемая условная энтропия.