Количество информации. Формула Хартли.

Методология «измерения количества информации»Хартли.

Р. Хартли первым ввел в теорию передачи информации методологию «измерения количества информации». При этом Р. Хартли считал, что информация, которую он собирался измерять, это «… группа физических символов – слов, точек, тире и т. п., имеющих по общему соглашению известный смысл для корреспондирующих сторон». Таким образом, Хартли ставил перед собой задачу ввести какую-то меру для измерения кодированной информации.

Пусть передаётся последовательность из n символов а₁а₂а₃…а_n, каждый из которых принадлежит алфавиту А_m, содержащему m символов. Чему равно число К различных вариантов таких последовательностей?

Если n = 1 (передаётся один символ), то K = m; если n=2 (передаётся последовательность из 2-х символов), то K = m*m = m²; в общем случае для последовательности из n символов получим

K = m m m m m  = mⁿ.

n − раз

Количество информации, содержащееся в такой последовательности, Хартли предложил вычислять как логарифм числа K по основанию 2:

I = Log₂ K, (2.1)

где K = mⁿ.

То есть, количество информации, содержащееся в последовательности

из n символов из алфавита A_m, в соответствии с формулой Хартли равно

I = Log₂(mⁿ) = n Log₂m. (2.2)

Замечание 1. Хартли предполагал, что все символы алфавита A_m могут с равной вероятностью (частотой) встретиться в любом месте сообщения. Это условие нарушается для алфавитов естественных языков: например, не все буквы русского алфавита встречаются в тексте с одинаковой частотой.

Замечание 2. Любое сообщение длины n в алфавите A_m будет содержать одинаковое количество информации. Например, в алфавите {0; 1} сообщения 00111, 11001 и 10101 содержат одинаковое количество информации. Это означает, что при вычислении количества информации, содержащегося в сообщении, мы отвлекаемся от его смыслового содержания. «Осмысленное» сообщение и сообщение, полученное из него произвольной перестановкой символов, будут содержать одинаковое количество информации.

Пример. В телеграфном сообщении используются два символа – точка (.) и тире (-), т.е. алфавит состоит из m = 2 символов. Тогда при передаче

одного символа (n =1) количество информации I = Log₂2 = 1. Это количество было принято за единицу измерения количества информации и называется 1 бит (от английского binary unit = bit). Если телеграфное сообщение в алфавите {.; -} содержит n символов, то количество информации I = n Log₂2 = n (бит).

С помощью символов 0 и 1 кодируется информация в компьютере и при передаче в вычислительных сетях, т.е. алфавит состоит из двух символов {0; 1}; один символ и в этом случае содержит I = Log₂2 = 1 бит информации, поэтому сообщение длиной n символов в алфавите {0; 1} в соответствии с формулой Хартли (2.2) будет содержать n бит информации.

Если рассматривать передачу сообщений в алфавите русского языка, состоящего из 33 букв, то количество информации, содержащееся в сообщении из n символов, вычисленное по формуле Хартли, равно

I = n*Log₂33 º n* 5.0444 бит. Английский алфавит содержит 26 букв, один символ содержит Log₂ 26 º 4.7 бит, поэтому сообщение из n символов, вычисленное по формуле Хартли, содержит n* Log₂ 26 º 4.7 *n бит информации. Однако, этот результат не является правильным, так как не все буквы встречаются в тексте с одинаковой частотой. Кроме того, к буквам алфавита надо добавить разделительные знаки: пробел, точку, запятую и др.

.