Побудова графіку для ентропії джерела двійкових сигналів та розрахунок продуктивності джерела цифрового сигналу

Нехай дискретне джерело видає послідовність символів довжиною n з алфавітом обсягом m. Тоді кількість можливих послідовностей довжиною n рівна n^m. Припустимо, що ймовірності P (a _i[ n ]) появи цих послідовностей задані. Кількість інформації, яка міститься в послідовності a_i [ n ] довжини n є випадковою величиною, і дорівнює: .

Припустимо, що всі повідомлення незалежні та несумісні, а також, крім цього . Вважатимемо, що шуми в каналі передачі відсутні. Тоді, кількість інформації, що несе повідомлення a_i рівне:

.

У відповідності до правил теорії ймовірностей, середня кількість інформації, що міститься в одному символі, дорівнює математичному сподіванню величини I (a_­i), тобто:

.

Дану формулу можна переписати у вигляді:

.

Дана величина називається ентропією джерела повідомлень, і характеризує міру невизначеності сукупності повідомлень даного джерела.

Розглянемо випадок, повідомлення можуть приймати значення 0 та 1, з ймовірностями P(0) та P(1)=1-P(0). Згідно з умовою варіанту: P(1)=p=0, 611.

Тоді:

.

Графік залежності H (a) від p наведено на рис. 1.2.

З отриманого графіка визначаємо, що ймовірності P (1) відповідає значення ентропії H =0, 699.

Рис.1.2. Графік залежності H (a) від p

Аналіз виразу для ентропії вказує на те, що при заданому n, функція H (a) максимальна і дорівнює H _max(a)=log n тоді, коли всі повідомлення рівноймовірні, тобто: , що відповідає найбільшій невизначеності. Продуктивність джерела двійкових цифрових сигналів рівна:

.

Визначимо припустиме значення ймовірності помилкового прийому двійкового символу. Середня кількість помилково прийнятих квантованих рівнів M_пом пов’язана з ймовірністю помилки P_пом співвідношенням:

.

Звідки, отримуємо: .