Суммирование нескольких погрешностей

Рассматривая энтропию непрерывных случайных функций можно сказать, что максимальная энтропия при заданной средней мощности (т.е. при данном значении ) имеет шум или погрешность с нормальным распределением. Исходя из этого, для характеристики помех с законом распределения, отличным от нормального, используется энергетически информационное понятие энтропийной мощности. Она определяется как мощность шума с нормальным распределением, имеющим то же самое значение энтропии, что и данный шум с произвольным законом распределения.

Располагая понятиями полной и энтропийной мощности помехи или погрешности, в 15-й теореме формулируется основное соотношение, характерное для случая суммирования ряда случайных погрешностей с различными законами распределения.

Из теории вероятностей известно, что при суммировании нескольких независимых случайных величин с дисперсиями дисперсия их суммы равна сумме дисперсий, т.е.

. (6.1.7)

Однако форма закона распределения при суммировании случайных величин сохраняется лишь для небольшого числа законов распределения (например, нормального, закона Пуассона и некоторых других). В общем же случае при суммировании случайных величин законы их распределения деформируются и закон распределения суммы оказывается отличным от закона распределения слагаемых. Так, например, при суммировании двух погрешностей с равномерными законами распределения закон распределения суммы является трапецеидальным или даже треугольным. А так как энтропия зависит именно от формы закона распределения (в то время как дисперсия суммы равна сумме дисперсий независимо от формы закона распределения), то соотношения между дисперсией и энтропией могут оказаться достаточно разнообразными. Задача о поиске этого соотношения и указания на некоторые его ограничения формулируются в виде 15-й теоремы.

Теорема 15. Пусть средние мощности двух ансамблей равны и , а их энтропийные мощности пусть равны и . Тогда энтропийная мощность суммы ограничена неравенствами + ≥ ≥ + .

Теорема 15 утверждает, что энтро­пийная мощность суммы случайных погрешностей не меньше суммы их энтропийных мощностей и не больше суммы полных мощностей, а, следовательно, не может быть найдена ни путем сум­мирования энтропийных мощностей, ни путем суммирования полных мощностей. Таким образом, 15-я теорема Шеннона является не решением, а лишь постановкой задачи точного суммирования случайных погрешностей.