Погрешности

Количество информации, получаемое в результате любого сообщения (в том числе и измерения), равно убыли неопределенности

,

т.е. разности энтропии до и после получения сообщения. При этом исходная неопределенность, т.е. безусловная энтропия , зависит только от распределения вероятностей различных значений измеряемой величины (различных сообщений) и не зависит от распределе­ния вероятностей погрешности, Неопределенность, остающаяся после получения сообщения (результата измерения), т.е. условная энтропия , равна энтропии распределения вероятностей погрешностей. Поэтому каждый из членов основного соотношения теории информации может исследоваться отдельно и независимо от другого члена.

В связи с этим дезинформационное действие шума, помехи или погрешности зависит только от их закона распределения и может быть однозначно указано путем вычисления энтропии этого закона распределения. Поэтому единственным эффективным критерием дезинформационного действия любого шума, помехи или погрешности является их энтропия.

Однозначного соответствия между мощностью помехи (т.е. ее дисперсией ) и вносимой ею дезинформацией (то есть значением ее энтропии) не наблюдается, так как при одной и той же мощности помехи вносимая ею дезинформация различна и зависит от закона распределения вероятностей этой помехи. При определенном среднеквадратическом значении помехи наибольшим дезинформационным действием (наибольшей энтропией) обладает помеха с нормальным законом распределения вероятностей. При любом другом законе распределения вероятностей помехи ее энтропия (при том же среднеквадратическом значении) оказывается меньшей.

Таким образом, при произвольном законе распределения вероятностей дезинформационное действие помехи определяется не всей мощностью помехи, а только ее некоторой частью, которая называется энтропийной мощностью помехи.

При исследовании измерительных устройств удобнее оперировать энтропийным значением погрешности, которое однозначно определяет дезинформационное действие этой погрешности. Определим энтропию для равномерного и нормального законов распределения вероятностей погрешности.

Значение условной энтропии определяется выражением (6.1.11)

.

Плотность вероятности р (х) для равномерного закона распределения может быть записана как:

при х < -D и х > +D, т.е. при | х | > D;

при , т.е. при | х | < D.

Отсюда энтропия погрешности при равномерном законе распределения равна

. (6.5.1)

Видно, что энтропия погрешности равна логарифму интервала неопределенности.

Величина интервала неопределенности может быть выражена также через значение среднеквадратической погрешности. Для равномерного распределения дисперсия равна

. (6.5.2)

Отсюда для равномерного распределения , и интервал неопределенности , а, следовательно, энтропия .

Плотность вероятности р (х) для нормального закона распределе­ния может быть записана как:

.

Тогда условная энтропия, т.е. неопределенность, оставшаяся после измерения, равна

(6.5.3)

Так как

,

а по определению понятия дисперсии

,

то

. (6.5.4)

Полученное выражение для нормального распределения (6.5.4) отличается от выражения для равномерного распределения (6.5.1), ограниченным шириной 2D, распределением погрешности только произведением, стоящим под знаком логарифма. Следовательно, с информационной точки зрения неограниченное распределение вида пологой кривой приводит к получению точно такого же количества информации, как и резко ограниченное равномерное распределение, если . Другими словами, эффективный интервал неопределенности, вызываемый погрешностью с пологой кривой распределения, совершенно эквивалентен по количеству вносимой им дезинформации интервалу неопределенности, вызываемому равномерной и резко ограниченной полосой погрешностейс шириной .

Если прибор с равномерным распределением погрешностей с информационной точки зрения характеризуется погрешностью ±D, равной , то прибор с распределением погрешности по нормальному закону характеризуется эффективным значением погрешности

. (6.5.5)