Измерение информации.

Введение в программирование.

Лекция №1. Информация и информационные процессы.

Измерение информации.

Информация ( от лат. information)- разъяснение, изложение, осведомленность. В наиболее общем понимании информация – это отражение предметного мира с помощью знаков и сигналов. Как бы не передавали информацию (с помощью жестов, мимики, звуков, в устной или письменной форме), она содержит сведения о каком-либо объекте и имеет определенную форму. Существуют различные подходы к определению понятия «информация» в кибернетике, философии и других науках. В информатике данное понятие введено как мера уменьшения неопределенности. При таком подходе есть возможность количественного измерения информации.

Какое количество информации содержится, к примеру, в одной серии фильма? В фортепианном концерте Чайковского или в генетическом коде человека? Ответа на эти вопросы наука не даёт и, по всей вероятности, даст не скоро.

А возможно ли объективно измерить количество информации? Важнейшим результатом теории информации является вывод: в определенных условиях можно пренебречь качественными особенностями информации, а выразить её количество числом, сравнить количество информации, содержащейся в различных группах данных.

В настоящее время получили распространение подходы к определению понятия " количество информации", основанные на том, что информацию, содержащуюся в сообщении, можно нестрого трактовать в смысле её новизны или уменьшения неопределённости наших знаний об объекте.

Так, американский инженер Р. Хартли (1928 г.) процесс получения информации рассматривает как выбор одного сообщения из конечного наперёд заданного множества из N равновероятных сообщений, а количество информации I, содержащееся в выбранном сообщении, определяет как двоичный логарифм N.

Формула Хартли: I = log₂N

Допустим, нужно угадать одно число из набора чисел от единицы до ста. По формуле Хартли можно вычислить, какое количество информации для этого требуется: I = log₂100» 6, 644. То есть сообщение о верно угаданном числе содержит количество информации, приблизительно равное 6, 644 единиц информации.

Приведем другие примеры равновероятных сообщений:

1. При бросании монеты: " выпала решка", " выпал орел";
2. На странице книги: " количество букв чётное", " количество букв нечётное".

Определим теперь, являются ли равновероятными сообщения " первой выйдет из дверей здания женщина" и " первым выйдет из дверей здания мужчина". Однозначно ответить на этот вопрос нельзя. Все зависит от того, о каком именно здании идет речь. Если это, например, станция метро, то вероятность выйти из дверей первым одинакова для мужчины и женщины, а если это военная казарма, то для мужчины эта вероятность значительно выше, чем для женщины.

Для задач такого рода американский учёный Клод Шеннон предложил в 1948 г. другую формулу определения количества информации, учитывающую возможную неодинаковую вероятность сообщений в наборе. Формула Шеннона:

I = – (p₁ log₂ p₁ + p₂ log₂ p₂ +... + p_N log₂ p_N),
где p _i — вероятность того, что именно i -е сообщение выделено в наборе из N сообщений

Легко заметить, что если вероятности p₁,..., p_N равны, то каждая из них равна 1/N, и формула Шеннона превращается в формулу Хартли.

Помимо двух рассмотренных подходов к определению количества информации, существуют и другие. Важно помнить, что любые теоретические результаты применимы лишь к определённому кругу случаев, очерченному первоначальными допущениями.

В качестве единицы информации условились принять один бит (англ. bit — binary, digit — двоичная цифра). Бит в теории информации — количество информации, необходимое для различения двух равновероятных сообщений. В вычислительной технике битом называют наименьшую " порцию" памяти, необходимую для хранения одного из двух знаков " 0" и " 1", используемых для внутримашинного представления данных и команд. Таким образом, бит – это такое количество информации, которое мы получаем при уменьшении неопределенности в два раза.

Бит — слишком мелкая единица измерения. На практике чаще применяется более крупная единица — байт, равная восьми битам. Именно восемь битов требуется для того, чтобы закодировать любой из 256 символов алфавита клавиатуры компьютера (256=2⁸).

Широко используются также ещё более крупные производные единицы информации:

• 1 Килобайт (Кбайт) = 1024 байт = 2¹⁰ байт,
• 1 Мегабайт (Мбайт) = 1024 Кбайт = 2²⁰ байт,
• 1 Гигабайт (Гбайт) = 1024 Мбайт = 2³⁰ байт.

В последнее время в связи с увеличением объёмов обрабатываемой информации входят в употребление такие производные единицы, как:

• 1 Терабайт (Тбайт) = 1024 Гбайт = 2⁴⁰ байт,
• 1 Петабайт (Пбайт) = 1024 Тбайт = 2⁵⁰ байт.

За единицу информации можно было бы выбрать количество информации, необходимое для различения, например, десяти равновероятных сообщений. Это будет не двоичная (бит), а десятичная (дит) единица информации.

Рассмотрим типичные задачи вычисления количества информации.

1. На прилавке лежат 64 карандаша разного цвета. Сколько информации содержится в сообщении о том, что куплен один карандаш?

Мы имеем дело с равновероятным событием, так как все карандаши могут быть разного цвета. Следовательно, применяем формулу Хартли. Принимаем количество информации об одном карандаше, равным I. Тогда 2 ^I = N, где N = 64 (общее количество сообщений). Теперь определяем I из выражения 2 ^I = 64. Итак, в сообщение о том, что куплен один карандаш, содержит 6 бит.

2. Студент учился хорошо в течение семестра, тогда значения вероятностей всех исходов могут быть такими:

p(5) = 0.5; p(4) = 0.3; p(3) = 0.1; p(2) = 0.1, где запись p(j) означает вероятность исхода, когда получена оценка j (j = {2, 3, 4, 5}).

Определим количество информации, содержащейся в сообщении о результате сдачи экзамена для студента-хорошиста.

Пусть I(j) – количество информации в сообщении о получении оценки j. В соответствии с формулой Шеннона имеем:

I(5) = -log2 0, 5 = 1,

I(4) = -log2 0, 3 = 1, 74,

I(3) = -log2 0, 1 = 3, 32,

I(2) = -log2 0, 1 = 3, 32.

3. Измерим в байтах объём текстовой информации в книге из 258 страниц, если на одной странице размещается в среднем 45 строк по 60 символов (включая пробелы и служебные символы в конце строк).

Сначала выясним, сколько бит необходимо для представления одного символа. Всего в таблице ASCII 256 символов. Применяем формулу Хартли: 2 ^I = 256, I= 8 бит =1 байт. Итак, один символ - 1 байт. Строка будет содержать 61 байт, учитывая и служебный символ окончания строки. Тогда
61 байт * 45 строк = 2745 байт.
Так как в книге 258 страниц текста и на каждой странице в среднем по 2745 байт информации, то объём алфавитно-цифровой информации в книге
2745 байт * 258 страниц = 708210 байт " 692 Кбайт
Таким образом, текст книги имеет объём около 692 Кбайт.