Студопедия

Главная страница Случайная страница

Разделы сайта

АвтомобилиАстрономияБиологияГеографияДом и садДругие языкиДругоеИнформатикаИсторияКультураЛитератураЛогикаМатематикаМедицинаМеталлургияМеханикаОбразованиеОхрана трудаПедагогикаПолитикаПравоПсихологияРелигияРиторикаСоциологияСпортСтроительствоТехнологияТуризмФизикаФилософияФинансыХимияЧерчениеЭкологияЭкономикаЭлектроника






Метод кодирования равномерным кодом






 

Чтобы уменьшить избыточность, содержащуюся в ансамбле X источника информации, создается новый ансамбль Y символов, энтропия которой близка к максимальному значению. Затем с помощью элементов ансамбля Y составляются сообщения из ансамбля X.

Рассмотрим модель передачи информации с использованием кодера и декодера источника сообщений. Источник генерирует сообщения из ансамбля , состоящего из элементов ., образующих полную группу событий и появляющихся с некоторыми вероятностями . Кодер источника использует ансамбль Y, состоящий из двух символов - (0, 1).

Существуют различные методы кодирования. Одним из них является метод, когда все элементы ансамбля X представлены одним и тем же числом элементовансамбля Y. Такое кодирование называется равномерным. Число возможных сообщений, которые кодируются двоичным разрядным кодом, равно . Например, при кодировании четырёхразрядным кодом можно закодировать 16 сообщений. Кодовое дерево (граф) изображено на рисунке 3.2.


Однако число кодируемых сообщений может быть меньше, чем . Тогда используются не все коды и возникает избыточность при кодировании равномерным кодом. С другой стороны, не учитываются вероятности реализации сообщений , составляющих ансамбль .

Пример 3.2. равномерного кодирования приведён в таблице 3.2. Все элементы ансамбля X расположены в первой колонке. Во второй колонке записаны вероятности реализаций соответствующих сообщений . В третьей колонке количество информации, содержащееся в сообщении . В четвёртой колонке представлены двоичные коды, соответствующие сообщениям . В пятой колонке записаны оценки условных вероятностей появления символа «1» при реализации соответствующего сообщения

,

где - общее число символов, употребляемых для кодирования -го

сообщения,

- число «1» в -ом сообщении.

Для того чтобы закодировать двоичным кодом девять сообщений необходимо четыре двоичных разряда, (; m = 4).

Таблица 3.2 Пример кодирования равномерным кодом
         
Анс-ль Вер. Коды Условн. вер.
0.20 2.32193   1/4
0.2 2.32193   1/4
0.19 2.39593   2/4
0.15 2.73697   1/4
0.10 3.32193   2/4
0.08 3.64386   2/4
0.06 4.05889   3/4
0.01 6.64386   1/4
0.01 6.64386   2/4
  2.79465    

 

Кодовое дерево, отображающее коды при равномерном кодировании, представлено на рисунке 1.2.

Максимальная энтропия ансамбля X, в соответствии с теорией, равна

= 3.16993 .

Энтропия ансамбля X равна =2.79465 .

Коэффициент избыточности ансамбля X равен

= = 0.881615,

коэффициент сжатия ансамбля X равен

= 0.118385.

 
 

Рассмотрим ансамбль . Максимальная энтропия ансамбля Y равна

 

= 1 .

 

Используя формулу полной вероятности, вычисляется вероятность реализации символа «1» при кодировании элементов ансамбля X ‘символами ансамбля Y.

= 0.375.

Вероятность реализации символа «0» равна соответственно

 

=0.625.

Количество информации, содержащееся в каждом символе ансамбля Y равно соответственно

1.41504 , 0.678072 .

Энтропия ансамбля Y равна

 

= 0.954434 .

 

Соответственно коэффициент сжатия и коэффициент избыточности будут равны

= 0.954434, = 0.045566

Из cравнения коэффициентов сжатия и коэффициентов избыточности ансамблей X и Y видно, произошло увеличение коэффициента сжатия и уменьшение избыточности ансамбля Y. Относительные величины равны соответственно

 

= 1.0826, = 2.59809.

 






© 2023 :: MyLektsii.ru :: Мои Лекции
Все материалы представленные на сайте исключительно с целью ознакомления читателями и не преследуют коммерческих целей или нарушение авторских прав.
Копирование текстов разрешено только с указанием индексируемой ссылки на источник.