Студопедия

Главная страница Случайная страница

Разделы сайта

АвтомобилиАстрономияБиологияГеографияДом и садДругие языкиДругоеИнформатикаИсторияКультураЛитератураЛогикаМатематикаМедицинаМеталлургияМеханикаОбразованиеОхрана трудаПедагогикаПолитикаПравоПсихологияРелигияРиторикаСоциологияСпортСтроительствоТехнологияТуризмФизикаФилософияФинансыХимияЧерчениеЭкологияЭкономикаЭлектроника






Вероятностный подход при измерении информации






ИЗМЕРЕНИЕ ИНФОРМАЦИИ

Информация (от лат. information – разъяснение, осведомление) – сведения об объектах и явлениях окружающей среды, их параметрах, свойствах и состоянии, которые уменьшают имеющуюся о них степень неопределенности, неполноты знаний (энтропии).

Количество информации измеряется изменением (уменьшением) неопределенности состояния системы.

Бит – количество информации, полученное из сообщения, уменьшающего неопределенность знаний в два раза.Бит соответствует одному двоичному разряду (0, 1).

Более крупой единицей измерения количества информации является байт (1 байт = 8 бит).

Существуют и другие единицы измерения количества информации:

1 килобайт (Кб) = 210 байт = 1024 байт.

1 мегабайт (Мб) = 210 Кб = 220 байт.

1 гигабайт (Гб) = 210 Мб = 220 Кб = 230 байт.

1 терабайт (Тб) = 210 Гб = 220 Мб = 230 Кб = 240 байт.

 

Измерение информации в тексте

 

При измерении количества информации в тексте, записанном с помощью N -символьного алфавита, используют следующие формулы:

I = i × k; i = log2 N; (формула Хартли) N = 2 i,

где I – количество информации в тексте; i – количество информации, которое несет один символ (в битах); k – количество символов в тексте; N – мощность алфавита.

 

Задача 1.

Допустим, нужно угадать одно число из набора чисел от единицы до ста. По формуле Хартли можно вычислить, какое количество информации для этого требуется: I = log2100 > 6, 644. Таким образом, сообщение о верно угаданном числе содержит количество информации, приблизительно равное 6, 644 единицы информации.

Приведем другие примеры равновероятных сообщений:

1. при бросании монеты: " выпала решка", " выпал орел";

2. на странице книги: " количество букв чётное", " количество букв нечётное".

Определим теперь, являются ли равновероятными сообщения " первой выйдет из дверей здания женщина" и " первым выйдет из дверей здания мужчина". Однозначно ответить на этот вопрос нельзя. Все зависит от того, о каком именно здании идет речь. Если это, например, станция метро, то вероятность выйти из дверей первым одинакова для мужчины и женщины, а если это военная казарма, то для мужчины эта вероятность значительно выше, чем для женщины.

Для задач такого рода американский учёный Клод Шеннон предложил в 1948 г. другую формулу определения количества информации, учитывающую возможную неодинаковую вероятность сообщений в наборе.

Формула Шеннона: I = — (p1log2 p1 + p2 log2 p2 +... + pN log2 pN),
где p i — вероятность того, что именно i -е сообщение выделено в наборе из N сообщений.

Легко заметить, что если вероятности p1,..., pN равны, то каждая из них равна 1 / N, и формула Шеннона превращается в формулу Хартли.

Вероятностный подход при измерении информации

 

Пусть в результате испытания наступило некоторое событие. Вероятность его наступления можно вычислить по формуле

P =,
K

N

где N – количество всех возможных исходов испытания; K – количество исходов испытания, удовлетворяющих данному событию.

Количество информации в сообщении о том, что наступило одно из возможных событий, можно вычислить по формуле

x = log2,
1

P

где P – вероятность наступления события; х – количество информации в сообщении о том, что наступило данное событие.

 

Задача 1. В корзине лежат 16 шаров: 4 синих и 12 красных. Найти количество информации в сообщении о том, что из корзины наугад вынули синий шар.

N = 16, K = 4. P = K / N = 4/16 = 1/4. x = log2(1/ P) = log24 = 2 (бита).

 






© 2023 :: MyLektsii.ru :: Мои Лекции
Все материалы представленные на сайте исключительно с целью ознакомления читателями и не преследуют коммерческих целей или нарушение авторских прав.
Копирование текстов разрешено только с указанием индексируемой ссылки на источник.