Свойства информации. Энтропия информации.

Проблему относительно определения понятия информации научные работники решают не одинаково. С одной стороны, это естественно, так как ученые по-разному используют информацию, с другой - нельзя согласиться с точкой зрения, что “нет и... не может быть единого определения понятия информация”.

Есть два подхода к определению природы информации - атрибутивный и функциональный. Приверженцы первого рассматривают информацию как объективное свойство всех материальных объектов (информация - атрибут материи). Приверженцы второго утверждают, что информация является условием и результатом направленной активности, поэтому она возникает только на социально-сознательном уровне. Не вызывает сомнения, что информация, которой обмениваются члены общества, непременно связана с отражением реальности. Еще Н.Винер понимал под информацией обозначение содержания, которое получают из внешнего мира в процессе приспособления к нему человека. При этом следует подчеркнуть разность в отношении к поиску и обработке информации человека и компьютера. Компьютер, бесспорно, быстрее обрабатывает информацию, чем человек, но это касается только замкнутой системы. С внешним миром человек работает намного эффективнее.

В узком содержании теория информации - это математическая теория передачи сообщений в системах связи. Возникла она после работ американского ученого Клода Шеннона. Основные ее постулаты такие:

- Сообщения поступают из источника информации через канал связи к приемнику информации.

- Эти сообщения изменяют систему знаний (тезаурус) приемника, уменьшают уровень его разнообразия и неопределенности, который измеряется энтропией.

- Энтропия как степень неопределенности в сообщении системы сообщений определяется их вероятностями как среднее значение логарифмов величин, обратных к этим вероятностям.

Энтропия – это среднее количество информации, приходящееся на один исход опыта или информационная энтропия — мера неопределённости источника сообщений, определяемая вероятностями появления тех или иных символов при их передаче.

Получение информации всегда связано с уменьшением неопределенности. Среднее количество информации, которое содержится в каждом исходе опыта, относительно любого, еще не наступившего исхода, равняется разности априорной и апостериорной энтропий опыта.

Априорной энтропией называется неопределенность, которая высчитывается до наступления исхода опыта. Апостериорной энтропией называют среднюю неопределенность опыта после наступления всех исходов.

Измерить среднее количество информации можно через уменьшение энтропии получателя в результате изменения его представлений. Кстати, отсюда и единица измерения информации. Она задается количеством информации о том, какое из двух равновероятных событий реализовалось, и называется бит (binary digit - бинарный разряд). К.Шенноном была предложена формула для вычисления количества информации в сообщении. Пусть некоторое событие происходит с вероятностью p, тогда количество информации І исчисляется по формуле:

І = - log₂p, где 0< p< 1.

Именно поэтому в 1916 году Клод Шеннон дает следующее определение информации:

Информация - это отрицательное значение логарифма вероятности события.

Все виды информации имеют общие свойства и закономерности. К свойствам информации можно отнести следующие:

- информация неаддитивна, т.е. отдельные сообщения невозможно алгебраически складывать, от этого изменяется содержание информации;

- информация некоммутативна, т.е. отдельные сообщения невозможно переставлять местами, от этого искажается содержание информации;

- информация имеет ценность. Ценность информации определяется ее актуальностью;

- информация имеет определенную надежность;

- информация не может существовать без материального носителя.

Кроме общих свойств, каждый из видов информации имеет свои характерные особенности. Например, такими особенностями для медико-биологической информации есть непрерывное создание, обновление и передача от поколения к поколению наследственных признаков (наследственная информация). Важным также является то, что хранение и передача информации в живых организмах осуществляется на молекулярном уровне.

Информацию о наблюдаемых объектах, процессах или явлениях получают при изучении разных физических величин. Например, состояние организма можно описать системой таких параметров как температура тела, частота пульса, давление, данные кардиограммы и т.п. Некоторые величины могут приобретать любые значения в определенном интервале. Их называют непрерывными, а информацию, которую они содержат, непрерывной или аналоговой. Непрерывными величинами являются, например, кривые изменения массы, температуры, расстояния и т.п. Много величин могут приобретать лишь целочисленных значения. Их называют дискретными, а информацию, которую они содержат - дискретной. Примеры дискретных величин: количество электронов в атоме, частота пульса, количество больных в отделении и т.п. Таким образом, несмотря на разнообразие видов, информация оказывается всего только в двух формах - непрерывной и дискретной. Любую непрерывную величину с определенной степенью точности можно передать в дискретной форме.