Студопедия

Главная страница Случайная страница

Разделы сайта

АвтомобилиАстрономияБиологияГеографияДом и садДругие языкиДругоеИнформатикаИсторияКультураЛитератураЛогикаМатематикаМедицинаМеталлургияМеханикаОбразованиеОхрана трудаПедагогикаПолитикаПравоПсихологияРелигияРиторикаСоциологияСпортСтроительствоТехнологияТуризмФизикаФилософияФинансыХимияЧерчениеЭкологияЭкономикаЭлектроника






Измерение информации. Как уже отмечалось, понятие информации можно рассматривать при различных ограничениях, накладываемых на ее свойства






 

Как уже отмечалось, понятие информации можно рассматривать при различных ограничениях, накладываемых на ее свойства, т.е. при различных уровнях рассмотрения. В основном выделяют три уровня – синтаксический, семантический и прагматический. Для определения количества информации на каждом уровне применяются различные оценки.

На синтаксическом уровне для оценки количества информации используются вероятностные методы, которые принимают во внимание только вероятностные свойства информации и не учитываются другие (смысловое содержание, полезность, актуальность и т. д.).

Вероятностный подход постулирует принцип: если некоторое сообщение приводит к уменьшению неопределенности наших знаний, то можно утверждать, что такое сообщение содержит информацию. При этом сообщения содержат информацию о каких-либо событиях, которые могут реализовываться с различными вероятностями.

Вероятность – это числовая характеристика степени возможности наступления события. Вероятность наступления достоверного события (обязательно должно произойти) равна 1, невозможного события (не произойдет никогда) – 0. Случайным называется событие, которое может произойти, а может не произойти. Вероятность случайного события лежит в интервале (0, 1). Например, вероятность выпадения «орла» при подбрасывании монеты равна 1/2, а вероятность выпадения каждой из граней при игре в кости – 1/6.

Формулу для определения количества информации для событий с различными вероятностями предложил американский ученый К. Шеннон в 1948 году. Согласно этой формуле количество информации может быть определено следующим образом:

. (1)

где I – количество информации; N – количество возможных событий (сообщений); Pi – вероятность отдельных событий (сообщений).

Определяемое с помощью формулы (1) количество информации принимает только положительное значение. Поскольку вероятность отдельных событий меньше единицы, то соответственно выражение log2 Pi является отрицательной величиной и для получения положительного значения количества информации в формуле (1) перед знаком суммы стоит знак минус.

Если вероятность появления отдельных событий одинаковая и они образуют полную группу событий,

т. е. ,

то формула (1) преобразуется в формулу Р. Хартли:

. (2)

Американский инженер Р.Хартли рассматривал процесс получения информации как выбор одного сообщения из конечного заранее заданного множества из N равновероятных сообщений, а количество информации I, содержащееся в выбранном сообщении, определял как двоичный логарифм N.

Количество информации в сообщении об одном из N равновероятных событий представлено в таблице 1.

Таблица 1

Значения I = log2N

N i N i N i N i
  0, 00000   4, 08746   5, 04439   5, 61471
  1, 00000   4, 16993   5, 08746   5, 64386
  1, 58496   4, 24793   5, 12928   5, 67243
  2, 00000   4, 32193   5, 16993   5, 70044
  2, 32193   4, 39232   5, 20945   5, 72792
  2, 58496   4, 45943   5, 24793   5, 75489
  2, 80735   4, 52356   5, 28540   5, 78136
  3, 00000   4, 58496   5, 32193   5, 80735
  3, 16993   4, 64386   5, 35755   5, 83289
  3, 32193   4, 70044   5, 39232   5, 85798
  3, 45943   4, 75489   5, 42626   5, 88264
  3, 58496   4.80735   5, 45943   5.90689
  3, 70044   4, 85798   5, 49185   5, 93074
  3, 80735   4, 90689   5, 52356   5, 95420
  3, 90689   4, 95420   5, 55459   5, 97728
  4, 00000   5, 00000   5, 58496   6, 00000

 

Для количественного определения (оценки) любой физической величины необходимо определить единицу измерения. Информацию перед обработкой, передачей и хранением необходимо подвергнуть кодированию. Кодирование производится с помощью специальных алфавитов (знаковых систем). В информатике в основном используется двоичное кодирование, при котором используется знаковая система, состоящая из двух символов 0 и 1. Поэтому в формулах (1) и (2) в качестве основания логарифма используется цифра 2.

За единицу количества информации принято такое количество информации, которое содержит сообщение, уменьшающее неопределенность знания в два раза (до получения события их вероятность равна 0, 5, после получения – 1, неопределенность уменьшается соответственно: 1/ 0, 5 = 2, т.е. в 2 раза). Такая единица измерения информации называется битом (от англ.слова binary digit – двоичная цифра). Таким образом, в качестве меры для оценки количества информации на синтаксическом уровне, при условии двоичного кодирования, принят один бит.

Поясним вышесказанное на примерах.

 

Пример 1. Студент задумал число в интервале от 1 до 8 включительно. Какое минимальное количество информации получите, если определяете задуманное число.

Решение.

На каждый вопрос можно получить только один ответ из двух возможных: «да» или «нет». Значит N=2 => i= log22=1. Следовательно, при каждом ответе получим 1 бит информации.

Максимально необходимое количество вопросов, которое необходимо задать – 7, а минимально – 1. Следовательно, максимально возможно получить 7 бит информации, а минимально – 1 бит.

Однако вероятность того, что с первого вопроса вы угадаете задуманное число, равна 1/8.

Задача стоит в определении гарантированного минимального количества информации, т.е. для нахождения задуманного числа необходимо задать минимальное количество вопросов.

Разделим всю совокупность пополам и последовательно будем задавить вопросы: больше? меньше? равно?. Пусть задуманное число Х=1.

а) 8/2=4, => первый вопрос: Х больше 4? Ответ: Нет. (1 бит).

б) 4/2=2, => второй вопрос: Х больше 2? Ответ: Нет. (1 бит).

в) 4/2=1, => третий вопрос: Х равно 2? Ответ: Нет. (1 бит)

Следовательно, задуманное число Х=1.

В результате было получено 3 бит информации.

Ответ: минимальное количество информации, которое получим, при гарантированном получении ответа составляет 3 бит.

 

Пример 2. В барабане для розыгрыша лотереи находится 32 шара. Сколько информации содержит сообщение о первом выпавшем номере?

Решение.

Поскольку выпадение любого из 32 шаров равновероятно, то количество информации об одном выпавшем номере находится по формуле 2i = 32 => i=log2 32=5 (бит).

Ответ: сообщение о первом выпавшем номере содержит 5 бит информации.

Вывод: ответ не зависит от того, какой именно выпал номер, а только от количества вариантов.

 

Пример 3. При игре в кости используется кубик с шестью гранями. Сколько бит информации получает игрок при каждом бросании кубика?

Решение.

Выпадение каждой грани кубика равновероятно (1/6). Поэтому количество информации от одного результата бросания находится из уравнения 2i =6 => i=log26=2, 585.

Ответ: игрок при каждом бросании кубика получает 2, 585 бит информации.

 

Пример 4. Какое количество информации несет сообщение о том, что встреча назначена на июль?

Решение.

В году 12 месяцев, следовательно, число равновероятных событий или число возможных выборов N=12. Тогда количество информации i=log212=3, 58496 (бит).

Ответ: сообщение о том, что встреча назначена на июль несет 3, 58496 бит информации.

 






© 2023 :: MyLektsii.ru :: Мои Лекции
Все материалы представленные на сайте исключительно с целью ознакомления читателями и не преследуют коммерческих целей или нарушение авторских прав.
Копирование текстов разрешено только с указанием индексируемой ссылки на источник.