Содержательный подход к измерению информации.

Сообщение, уменьшающее неопределенность знаний человека в два раза, несет для него 1 бит информации.

Количество информации, заключенное в сообщении, определяется по формуле Хартли:

где N – количество равновероятных событий;
I – количество информации (бит), заключенное в сообщении об одном из событий.

Алфавитный (технический) подход к измерению информации - основан на подсчете числа символов в сообщении.

Если допустить, что все символы алфавита встречаются в тексте с одинаковой частотой, то количество информации, заключенное в сообщении вычисляется по формуле:

I_c – информационный объем сообщения

К – количество символов

N – мощность алфавита (количество символов)

i - информационный объем 1 символа