Главная страница Случайная страница Разделы сайта АвтомобилиАстрономияБиологияГеографияДом и садДругие языкиДругоеИнформатикаИсторияКультураЛитератураЛогикаМатематикаМедицинаМеталлургияМеханикаОбразованиеОхрана трудаПедагогикаПолитикаПравоПсихологияРелигияРиторикаСоциологияСпортСтроительствоТехнологияТуризмФизикаФилософияФинансыХимияЧерчениеЭкологияЭкономикаЭлектроника |
Непрерывный канал передачи информации
Непрерывный канал передачи информации описывается одномерными и двумерными плотностями распределений вероятностей. Чтобы записать количество взаимной информации между входом и выходом канала связи, используем дискретное представление информации, а затем прейдем к непрерывным величинам. Совместная вероятность появления символа на входе канала и символа на выходе канала равна , где и -значения y и z, удовлетворяющие условиям , , и - границы i-го и j-го интервалов квантования соответственно для y и z Вероятность появления символа на выходе канала при условии, что на вход подан символ , равна . Количество информации, содержащееся в символе , равно . Условное количество информации, содержащееся в элементе , если на вход канала подаётся элемент ансамбля , равно . Тогда количество информации, содержащееся в элементе относительно элемента , равно . Как видно из последнего выражения, интервалы квантования и не влияют на количество информации, содержащееся в элементе относительно элемента . Количество взаимной информации, содержащееся в ансамбле относительно ансамбля , равно . Осуществляя в предыдущем выражении предельный переход , , получим интегральное представление количества взаимной информации, содержащееся в непрерывном ансамбле относительно непрерывного ансамбля = .
Количество взаимной информации, содержащееся в ансамбле относительно ансамбля , равно количеству взаимной информации, содержащееся в ансамбле относительно ансамбля . Выразим количество взаимной информации через энтропию ассамблей Y и Z. Для этого используем предыдущую формулу , где - дифференциальная энтропия на один отсчёт процесса , - условная дифференциальная энтропия на один отсчёт процесса при известном отсчёте . Точно так же можно показать, взаимная информация равна , где - дифференциальная энтропия на один отсчёт процесса , - условная дифференциальная энтропия на один отсчёт процесса при известном отсчёте называется ненадёжностью канала связи. Рассмотрим - энтропию помехи в непрерывном канале связи. Сигналы на входе и выходе канала связи и помеха описываются линейной зависимостью , в которой каждая составляющая является непрерывной случайной величиной со своей плотностью распределения вероятности. Условная энтропия имеет вид: . Положим, плотность распределения вероятности шума известна и равна . В условной плотности вероятности величина y считается известной. Тогда случайная величина при известной величине y зависит только от шума и имеет место , откуда получим . Из этого выражения видно, что условная плотность зависит только от шума. В результате получим , т.е. условная энтропия на один отсчёт равна энтропии шума на один отсчёт.
2.3.3 Эпсилон-энтропия (ε -энтропия)
Наличие помехи в канале связи ухудшает качество восстанавливаемого сигнала. Возникает вопрос, до какой степени можно допустить искажение сигнала помехой, чтобы можно было сказать, сигнал, поступивший в канал связи и вышедший из канала связи идентичны. Критерии отождествления двух сигналов могут быть самыми различными. Необходимо ввести расстояние между элементами ансамблей и . Мерой идентичности ансамблей и наиболее часто берут математическое ожидание квадрата расстояния между элементами ансамблей и : В качестве критерия «сходства» ансамблей и примем выполнение неравенства (2.21) где - заранее заданная допустимая мера отклонения «сходства» ансамблей и . Заданную меру «сходства» необходимо обеспечить при минимальном количестве меры информации . Ввиду того, что , a при отсутствии шума, то необходимо минимизировать по всем возможным распределениям плотности вероятности . Минимальное значение меры информации при выполнении условия называется эпсилон-энтропией (ε -энтропия) непрерывного ансамбля . (2.22)
Понятие -энтропия введено Колмогоровым А.Н. [2, (стр.46) ]. Если на входе канала связи мощность сигнала ограничена величиной , значения сигнала находятся в интервале , то энтропия не превышает энтропию нормального закона распределения вероятности. Энтропия нормального закона распределения вероятности равна . Условная энтропия зависит только от шума и принимает максимальное значение при нормальном распределении шума мощностью, не превышающей . Учитывая значения безусловной и условной энтропий, получим . Положим, источник генерирует сообщения со скоростью [ ]. Тогда ε -призводительностью источника сообщений называется величина . (2.23) Если учесть, что интервал дискретизации есть величина обратная полосе частот, занимаемая сигналом, то, согласно теореме Котельникова, получим , (2.24) где - полоса частот, занимаемая сигналом источника, приходящаяся на один отсчёт. Максимальная ε -призводительность источника сообщений будет тогда, когда значения сигнала распределены по нормальному закону с известной дисперсией , , . Формулы (2.23) и (2.24) показывают, с какой скоростью можно генерировать информацию, чтобы восстановить сообщения с погрешностью, не превышающей .
|