Решение. Прежде всего найдем безусловные вероятности передачи символов из соотношения

Решение

Прежде всего найдем безусловные вероятности передачи символов из соотношения

Тогда

.

Энтропия источника

Избыточность источника

.

.

Для источника без памяти при тех же безусловных вероятностях передачи символов

.

Задача 4

Передается текст из 6-ти букв, составленный из алфавита из 3-х букв – «а б о».

Задана взаимная вероятность появления символов

.

Вычислить

вероятности появления букв в передаваемом тексте, энтропию источника , условные вероятности , частную условную энтропию при фиксированном , условную энтропию .

Решение

Вычисляем безусловные вероятности состояний каждого ансамбля как суммы совместных вероятностей по строкам и столбцам этой матрицы:

Определим энтропии

=

Определяем условные вероятности

.

Условная энтропия при фиксированном

.

Определим условную энтропию

Задача 5

Передается текст, состоящий из алфавита «а б д к р прбел» с вероятностями

а
б
д
к
р
пробел
Всего букв в алфавите

Рассчитать собственную информацию сообщения , энтропию сообщения , максимальную энтропию сообщения и избыточность источника .

Решение

а
б
д
к
р
пробел

Энтропия сообщения

.

Максимальная энтропия сообщения

.

Избыточность источника

.

Задача 6

Передается текст, состоящий из алфавита «а б д к р пробел» с условными вероятностями их появления после буквы «а» и после буквы «б»

а
б
д
к
р
пробел

Рассчитать условную собственную информацию сообщения , условную энтропию при фиксированном , условную энтропию ансамбля при фиксированном ансамбле , максимальную условную энтропию и избыточность источника .

При этом безусловные вероятности

а
б
д
к
р
пробел
Всего букв в алфавите