Информационных оценок каналов передачи информации

Вопрос об учете явления «краевого эффекта» рассматривается при доказательстве 11-й и 17-й теорем. Сущность «краевого эффекта» состоит в следующем. Пусть по каналу передачи информации передается случайная величина X, которая может принимать ряд значений в пределах от X = Х ₁ до X = Х ₂.

В результате измерения получаем показание прибора, например, в виде точки Х _п. Из-за случайной погрешности прибора этому показанию с теми или иными вероятностями может соответствовать целый ряд действительных значений X. Не учитывая маловероятных случаев, такую ситуацию можно изобразить веером лучей, сходящихся в точке Х _п. Неопределенность, вносимая в результат измерения этим веером, обусловленным случайной погрешностью прибора, и описывается условной энтропией , т.е. энтропией действительных значений X при известном значении Х _п. Но наличие случайной погрешности прибора создает и другое явление. При передаче по каналу крайних значений Х ₁и Х ₂передаваемой величины X полученные показания прибора могут быть и за границами Х ₁и Х ₂. Поэтому распределение различных значений Х _пбудет шире распределения X.

Точное определение этого «расширенного» распределения и его энтропии пока точно не известно, однако можно установить возможные пределы результата. Считая как вносимую погрешность, так и измеряемую величину X независимыми случайными величинами, для их суммирования между собой можно использовать 15-ю теорему. В любом частном случае результирующий закон распределения может быть найден как свертка заданных законов распределения и , а затем может быть вычислено значение его энтропии и энтропийной мощности.

Вследствие сложности подобного точного решения, теоремы 17, 18, 19, 22 и 23 посвящаются поиску приближенных решений проблемы «краевого эффекта» и дают ряд рекомендаций. В теореме 17 он показывает, что число различимых градаций полученного результата Х _пможет быть оценено приближенно не по энтропийной мощности, а по соотношению полных мощностей сигнала Р_х и шума Р _ш. Если считать, что полная ширина разброса значений Х _п(от Х _{п max} до Х _{п min}) пропорциональна , а ширина веера лучей вокруг данного значения X соответственно пропорциональна , то число различимых градаций Х _правно

, (6.1.8)

где – коэффициент Шеннона. Этот коэффициент должен быть порядка единицы. Если полагать = 1, то количество информации, получаемое при данной мощности сигнала и мощности шума, равно логарифму числа А различимых градаций, т.е.

(6.1.9)

Грубость приближения состоит в том, что оба его члена выражаются не через понятия энтропии и энтропийной мощности, а через полные мощности. Таким образом, приближение заключается в том, что точное выражение заменяется выражением , где не равен , a не равен . Поэтому в теоремах 18, 19, 22 и 23 Шеннон рассматривает ряд дальнейших приближений. В 18-й теореме он показывает, что лучшими приближениями вместо дроби являются соотношения и где – значение энтропийной мощности шума. Теорема 19 рекомендует в знаменателе этой дроби всегда использовать , а в числителе заменять на при > . В 22 и 23 теоремах он приходит к заключению, что если под понимать допустимую дисперсию ошибки передачи, то рассматриваемую дробь лучше писать в виде вместо , где – энтропийная мощность сигнала, а – его полная мощность.

Таким образом, от различных приближенных методов учета «краевого эффекта» в виде соотношений: , или , Шеннон приходит к выражению , т.е. вообще к отказу от использования поправки на «краевой эффект», однако с заменой полных мощностей сигнала и шума их энтропийными значениями. Это существенное обстоятельство. Упрощение в виде замены энтропии или энтропийной мощности значением средней мощности или дисперсии равносильно отказу от энтропийного подхода. Это просто возврат к обычным методам теории вероятности и отказ от основного рационального зерна теории информации. Однако пренебрежение «краевым эффектом» при > > вполне правомерно и весьма упрощает математические преобразования, и, наоборот, сохранение под знаком логарифма вместо отношения суммы резко усложняет их, так как логарифм суммы не раскрывается, и дальнейшие преобразования становятся затруднительными.