Количество информации

История развития теории и техники передачи информации

Под теорией информации понимают математическую дисциплину, исследующую процессы хранения, преобразования и передачи информации. Изначально под информацией понимали передачу сведений между людьми с помощью устной или письменной речи.

Первым предложил способ измерения количества информации американский специалист по связи Р. Хартли (1928 г.). Если каждое сообщение – независимо от его природы, содержания и назначения – выбирается отправителем из заранее известного получателю множества возможных различных сообщений, то на приемном конце важно знать только результат.

Развитие этих идей было продолжено в работе американских ученых К. Шеннона и У. Уивера «Математическая теория связи

1948 года. Они предложили абстрактную схему связи, состоящую из шести компонентов, а также рассмотрели вопросы пропускной способности, помехоустойчивости, кодирования и т. д. А информацию они определили как уменьшение неопределенности.Такой подход получил название – вероятностно-статистическая теория.

Развивались и другие подходы. Один из них – алгоритмический, топологическим

Исследование проблем, связанных с научным понятием информации, идет в трех основных направлениях. Первое из них состоит в разработке математического аппарата. Второе в теоретической разработке различных аспектов информации

Третье направление связано с использованием информационных методов в лингвистике, биологии, психологии, социологии, педагогике и др.

Основные понятия и определения

Информация содержится в сообщениях, которые генерируются источниками сообщений. Источник сообщений — любой процесс, объект или явление, который обладают способностью изменять свое состояние во времени или в пространстве. Символ источника сообщений - это любое мгновенное состояние источника сообщений. Сообщение — любая конечная последовательность символов. Алфавит источника сообщений — все множество различных символов, генерируемых источником сообщений. Объем алфавита источника сообщений — число различных символов, генерируемых источником сообщений. Дискретный источник сообщений — источник сообщений, обладающий конечным алфавитом. Непрерывный источник сообщений — источник сообщений, обладающий бесконечным алфавитом.

Количество информации

Количество информации в теории информации – это количество информации в одном случайном объекте относительно другого.

. Полученную меру количественной оценки информации можно понимать как меру неопределенности получения конкретного заданного сообщения, состоящего из n символов алфавита. Однако эта мера количественной оценки информации не совсем удобна.

Эти неудобства легко преодолимы, если в качестве меры количественной оценки информации () взять логарифм по какому-либо основанию от общего числа возможных сообщений

(1.1)

или логарифм вероятности появления конкретного сообщения (Р)

(1.2)

при условии, что все сообщения равновероятны, т.е.

.

Прирост количества информации (I), связанный с приемом сообщения о событии, определяется выражением

.

Единицы измерения количества информации определяются выбором основания логарифмов.