Вывод формулы Шеннона

К. Шеннон, используя подход Р. Хартли, обратил внимание на то, что при передаче словесных сообщений частота (вероятность) использования различных букв алфавита не одинакова: некоторые буквы используются очень часто, другие - редко.

Рассмотрим алфавит A_m состоящий из m символов. Обозначим через p_i вероятность (частоту) появления i-ого символа в любой позиции передаваемого сообщения, состоящего из n символов. Один i – ый символ

алфавита несёт количество информации равное -Log₂(p_i). Перед логарифмом стоит «минус» потому, что количество информации величина неотрицательная, а Log₂(x) < 0 при 0< x< 1.

На месте каждого символа в сообщении может стоять любой символ алфавита A_m; количество информации, приходящееся на один символ сообщения, равно среднему значению информации по всем символам алфавита A_m:

(3.1) i =1

Общее количество информации, содержащееся в сообщении из n символов

равно:

(3.2)

Если все символы алфавита A_m появляются с равной вероятностью,

то все p_i = p. Так как Σ р_i = 1, то p = 1/m.).

=

Вывод: формула Шеннона (3.2) в случае, когда все символы алфавита равновероятны, переходит в формулу Хартли (2.2).

В общем случае количество энтропии H произвольной системы X (случайной величины), которая может находиться в m различных состояниях x₁, x₂, … x_m c вероятностями p₁, p₂, … p_m, вычисленное по формуле Шеннона, равно

(3.3)

Напомним, что p₁+ p₂+ … +p_m = 1. Если все p_i одинаковы, то все состояния системы X равновероятны; в этом случае p_i = 1/m, и формула

(3.3) переходит в формулу Хартли (2.5): H(X) = Log₂(m).

Замечание. Количество энтропии системы (случайной величины) Х не зависит от того, в каких конкретно состояниях x₁, x₂, … x_m может находиться система, но зависит от числа m этих состояний и от

вероятностей p₁, p₂, … p_m, с которыми система может находиться в этих состояниях. Это означает, что две системы, у которых число состояний одинаково, а вероятности этих состояний p₁, p₂, … p_m равны (с точностью до порядка перечисления), имеют равные энтропии.