Единицы измерения информации

Лабораторная работа 2. Количество и единицы измерения информации

Теоретическое обоснование

Единицы измерения информации

Информацию, которую получает человек, можно считать мерой уменьшения неопределенности знания (энтропией). Если сообщение приводит к уменьшению неопределенности наших знаний, то можно говорить, что такое сообщение содержит информацию. За единицу количества информации принято такое количество информации, которое содержит сообщение, уменьшающее неопределенность знания в два раза. Такая единица является минимальной и названа бит. Существуют более крупные единицы измерения информации:

1 Байт=8 бит,

1 Килобайт=1024 байт=2¹⁰ байт, 1 Мегабайт = 1024 Кбайт= 2²⁰ байт,

1 Гигабайт=1024 Мбайт=2³⁰ байт, 1Терабайт=1024 Гбайт= 2⁴⁰ байт,

1 Петабайт=1024 Тбайт=2⁵⁰ байт, 1Экзабайт=1024 Пбайт= 2⁶⁰ байт.

Задания:

1) Расставьте знаки <, =, > в следующей цепочке:

20 байт … 1000 бит … 1 Мбайт … 1024 Кбайт … 1 Гбайт.

2) Упорядочите величины по возрастанию:

1025 байт, 1 Кбайт, 1 Мбайт, 1023 Кбайт, 1 Тбайт, 1025 бит.

3) Выберите правильные ответы: 5 Мбайт - … меньше 5000 Кбайт, равны 5120 Кбайт, равны 512 Кбайт, больше 5000 Кбайт, больше 1 Гбайта?

4) Установите соответствия между единицами измерения информации?

5) Найдите х из соотношений:

а)16^х бит=32 Мбайт, б)8^хКбайт=16 Гбайт

Количество информации (энтропийный способ)

1. Равновероятные события. Любая система характеризуется своими состояниями, которые происходят в результате определенных событий. События равновероятны, если при возрастающем числе опытов число состояний системы (например, «орла» и «решки» монеты) постепенно сближаются. Так, при бросании равносторонней четырехгранной пирамиды существует 4 равновероятных события, а при бросании шестигранного игрального кубика - 6 равновероятных событий.

Формула Хартли определяет количество информации I в битах для количества возможных равновероятных событий N следующим образом:

I=log ₂ N. (1)

Для определения количества возможных событий, если известно количество информации, применяют обратную формулу:

N=2^I. (2)

Для вычисления значения логарифма с помощью калькулятора можно использовать формулу

Задания:

1) Чему равно наибольшее натуральное число, кодируемое 7 битами, 128, 127, 256, или 64?

2) Сколько информации содержится в одном разряде двоичного числа?

3) Какое количество информации содержит сообщение, что нужный файл находится на одном из 8 лазерных дисков?

4) Сообщение о том, что лекция будет на 10 этаже, несет 4 бита информации. Сколько этажей в доме?

2. Неравновероятные события. Если в результате эксперимента события происходят с разными вероятностями, то события неравновероятны. Например, если одна из сторон монеты будет более тяжелой, то она будет чаще выпадать. Или если из 10 карандашей будет 2 красных и 8 синих, то вероятность доставания красного карандаша будет значительно больше, чем синего.

Количество информации для одного из событий с различными вероятностями определяется по формуле:

I = log₂ (1/p), (3)

гдевероятность p= K/N, K – количествоинтересующего события, N– общее количество событий.

Количество информации для событий с различными вероятностями определяется по формуле Шеннона:

, (4)

где p_i– вероятности отдельных событий.

Пример: В коробке лежит 8 ручек с черной пастой и 24 с красной. Сколько информации несет сообщение о том, что достали ручку с черной пастой?

Дано: K_ч=8, K_к=24. Найти I_ч=?

N=8+24=32- всего ручек

Р_ч=8/32=1/4-вероятность доставания черной ручки

I_ч=log₂(1/1/4)=2 бита

Т.о. сообщение о том, что достали ручку с черной пастой, несет 2 бита информации.

Задания:

1) Студент на первом курсе получил 100 оценок. Сообщение о том, что он получил пятерку, несет 2 бита информации. Сколько пятерок студент получил на первом курсе?

2) В группе 30 студентов. За контрольную по информатике получено 15 пятерок, 6 четверок, 8 троек и 1 двойка. Какое количество информации в сообщении о том, что Иванов получил пятерку?

3) В коробке хранятся 10 белых, 20 красных, 30 синих и 40 зеленых шариков. Какое количество информации будет содержать сообщение о цвете вынутого шарика.

4) Поступили заявки на оборудование из трех городов: А (10 заявок), В 40 заявок), С (30 заявок). Не удалось выполнить только одну из них. Какое количество информации, содержится в сообщении о том, что не выполнена заявка из города В?

3. Алфавитный подход к измерению информации. Для человека количество информации зависит от ее понятности и новизны, т.е. с точки зрения уменьшения неопределенности наших знаний (энтропии). Любое техническое устройство работает с данными и использует алфавитный подход к измерению информации, так как сигналы кодируют определенные символы в соответствии с алфавитом. Мощность алфавита – полное количество его символов, включая буквы, цифры, знаки препинания и специальные символы. Чем больше мощность алфавита, тем большее количество информации несет один символ.

Предположим, чтосимволы алфавита встречаются с одинаковой вероятностью и несут одинаковое количество информации. Для измерения информации с точки зрения алфавитного подхода (когда количество не зависит от содержания, а зависит от мощности алфавита и количества символов в тексте) используется алгоритм:

1) Найти мощность алфавита – N.

2) Найти информационный объем одного символа I_c по формуле Хартли (1).

3) Найти количество символов в сообщении К.

4)Найти информационный объем всего сообщения (количество информации) по формуле

I=I_с ∙ К, (5)

Пример: Найти объем информации, содержащейся в тексте из 1000 символов, написанном русскими буквами.

Решение: Используем алгоритм:

1) Найдем мощность алфавита N=33 русских прописных букв +33 русских строчных букв +21 спец.знаков=87 символов

2) Информационный объем одного символа по формуле (1):

I_с=log₂ 87=6, 4 бит

3) Количество символов в сообщении К=1000

4) Информационный объем всего сообщения по формуле (5):

I=6, 4∙ 1000=6400 бит.

Задания: 1) Текст из 1000 символов написан на английском, на русском и на греческом языках. Сравнить объемы информации, содержащейся в текстах.

2) Ученик читает текст со скоростью 250 символов в минуту. Текст использует алфавит из 64 символов. Какой объем информации получит ученик, если непрерывно будет читать 30 минут?

Рекомендуемая литература по теме практического занятия: ЭУК по информатике, раздел 1.4.