Алфавитный подход

Частотность букв русского языка

Воспользуемся для подсчета Н формулой Шеннона:

Н≈ 4, 72 бит.

Полученное значение Н, как и можно было предположить, меньше вычисленного ранее. Величина Н, вычисляемая по формуле Хартли, является максимальным количеством информации, которое могло бы приходиться на один знак.

Задачи для самостоятельного решения

Содержательный подход

1.1. «Вы выходите на следующей остановке?» — спросили челове­ка в автобусе. «Нет», — ответил он. Сколько информации содержит ответ?

1.2. Какой объем информации содержит сообщение, уменьшаю­щее неопределенность знаний в 4 раза?

1.3. Вы подошли к светофору, когда горел желтый свет. После этого загорелся зеленый. Какое количество информации вы при этом получили?

1.4. Вы подошли к светофору, когда горел красный свет. После этого загорелся желтый свет. Сколько информации вы при этом получили?

1.5. Группа школьников пришла в бассейн, в котором 4 дорожки для плавания. Тренер сообщил, что группа будет плавать на дорожке номер 3. Сколько информации получили школьники из этого сообщения?

1.6. В корзине лежат 8 шаров. Все шары разного цвета. Сколько информации несет сообщение о том, что из корзины достали красный шар?

1.7. Была получена телеграмма: «Встречайте, вагон 7». Известно, что в составе поезда 16 вагонов. Какое количество информа­ции было получено?

1.8. В школьной библиотеке 16 стеллажей с книгами. На каждом стеллаже 8 полок. Библиотекарь сообщил Пете, что нужная ему книга находится на пятом стеллаже на третьей сверху полке. Какое количество информации библиотекарь передал Пете?

1.9. При угадывании целого числа в диапазоне от 1 до N было по­лучено 7 бит информации. Чему равно N?

1.10. При угадывании целого числа в некотором диапазоне было получено 6 бит информации. Сколько чисел содержит этот диапазон?

1.11. Сообщение о том, что ваш друг живет на 10 этаже, несет 4 бита информации. Сколько этажей в доме?

1.12. Сообщение о том, что Петя живет во втором подъезде, несет 3 бита информации. Сколько подъездов в доме?

1.13. В коробке лежат 7 разноцветных карандашей. Какое количе­ство информации содержит сообщение, что из коробки доста­ли красный карандаш?

1.14. Какое количество информации несет сообщение: «Встреча на­значена на сентябрь».

1.15. Какое количество информации несет сообщение о том, что встреча назначена на 15 число?

1.16. Какое количество информации несет сообщение о том, что встреча назначена на 23 октября в 15.00?

Алфавитный подход

2.1. Алфавит племени Мульти состоит из 8 букв. Какое количество информации несет одна буква этого алфавита?

2.2. Сообщение, записанное буквами из 64-х символьного алфави­та, содержит 20 символов. Какой объем информации оно несет?.

2.3. Племя Мульти имеет 32-х символьный алфавит. Племя Пульти использует 64-х символьный алфавит. Вожди племен обме­нялись письмами. Письмо племени Мульти содержало 80 символов, а письмо племени Пульти — 70 символов. Сравните объемы информации, содержащейся в письмах.

2.4. Информационное сообщение объемом 1, 5 Кбайта содержит 3072 символа. Сколько символов содержит алфавит, при по­мощи которого было записано это сообщение?

2.5. Объем сообщения, содержащего 2048 символов, составил 1/512 часть Мбайта. Каков размер алфавита, с помощью кото­рого записано сообщение?

2.6. Сколько символов содержит сообщение, записанное с помо­щью 16-ти символьного алфавита, если объем его составил 1 /16 часть Мбайта?

2.7. Сколько килобайтов составляет сообщение, содержащее 12288 битов?

2.8. Сколько килобайтов составит сообщение из 384 символов 1б-ти символьного алфавита?

2.9. Для записи текста использовался 256-символьный алфавит. Каждая страница содержит 30 строк по 70 символов в строке. Какой объем информации содержат 5 страниц текста?

2.10. Сообщение занимает 3 страницы по 25 строк. В каждой строке записано по 60 символов. Сколько символов в использован­ном алфавите, если все сообщение содержит 1125 байтов?

2.11. Для записи сообщения использовался 64-х символьный алфа­вит. Каждая страница содержит 30 строк. Все сообщение содержит 8775 байтов информации и занимает 6 страниц. Сколько символов в строке?

2.12. Сообщение занимает 2 страницы и содержит 1/16 Кбайта ин­формации. На каждой станице записано 256 символов. Како­ва мощность использованного алфавита?

2.13. Два сообщения содержат одинаковое количество символов. Количество информации в первом тексте в 1, 5 раза больше, чем во втором. Сколько символов содержат алфавиты, с помо­щью которых записаны сообщения, если известно, что число символов в каждом алфавите не превышает 10 и на каждый символ приходится целое число битов?

2.14. Два сообщения содержат одинаковое количество информа­ции. Количество символов в первом тексте в 2, 5 раза меньше, чем во втором. Сколько символов содержат алфавиты, с помо­щью которых записаны сообщения, если известно, что размер каждого алфавита не превышает 32 символов и на каждый символ приходится целое число битов?

2.15. ДНК человека (генетический код) можно представить себе как некоторое слово в четырехбуквенном алфавите, где каж­дой буквой помечается звено цепи ДНК, или нуклеотид. Сколько информации (в битах) содержит ДНК человека, со­держащий примерно 1, 5 * 1023 нуклеотидов?

2.16. Выяснить, Сколько бит информации несет каждое двухзначное число (отвлекаясь от его конкретного числового значения).