Студопедия

Главная страница Случайная страница

Разделы сайта

АвтомобилиАстрономияБиологияГеографияДом и садДругие языкиДругоеИнформатикаИсторияКультураЛитератураЛогикаМатематикаМедицинаМеталлургияМеханикаОбразованиеОхрана трудаПедагогикаПолитикаПравоПсихологияРелигияРиторикаСоциологияСпортСтроительствоТехнологияТуризмФизикаФилософияФинансыХимияЧерчениеЭкологияЭкономикаЭлектроника






  • Сервис онлайн-записи на собственном Telegram-боте
    Тот, кто работает в сфере услуг, знает — без ведения записи клиентов никуда. Мало того, что нужно видеть свое расписание, но и напоминать клиентам о визитах тоже. Нашли самый бюджетный и оптимальный вариант: сервис VisitTime.
    Для новых пользователей первый месяц бесплатно.
    Чат-бот для мастеров и специалистов, который упрощает ведение записей:
    Сам записывает клиентов и напоминает им о визите;
    Персонализирует скидки, чаевые, кэшбэк и предоплаты;
    Увеличивает доходимость и помогает больше зарабатывать;
    Начать пользоваться сервисом
  • Непрерывный канал передачи информации






     

    Непрерывный канал передачи информации описывается одномерными и двумерными плотностями распределений вероятностей. Чтобы записать количество взаимной информации между входом и выходом канала связи, используем дискретное представление информации, а затем прейдем к непрерывным величинам.

    Совместная вероятность появления символа на входе канала и символа на выходе канала равна

    ,

    где и -значения y и z, удовлетворяющие условиям , , и - границы i-го и j-го интервалов квантования соответственно для y и z

    Вероятность появления символа на выходе канала при условии, что на вход подан символ , равна

    .

    Количество информации, содержащееся в символе , равно

    .

    Условное количество информации, содержащееся в элементе , если на вход канала подаётся элемент ансамбля , равно

    .

    Тогда количество информации, содержащееся в элементе относительно элемента , равно

    .

    Как видно из последнего выражения, интервалы квантования и не влияют на количество информации, содержащееся в элементе относительно элемента .

    Количество взаимной информации, содержащееся в ансамбле относительно ансамбля , равно

    .

    Осуществляя в предыдущем выражении предельный переход , , получим интегральное представление количества взаимной информации, содержащееся в непрерывном ансамбле относительно непрерывного ансамбля

    =

    .

     

    Количество взаимной информации, содержащееся в ансамбле относительно ансамбля , равно количеству взаимной информации, содержащееся в ансамбле относительно ансамбля .

    Выразим количество взаимной информации через энтропию ассамблей Y и Z. Для этого используем предыдущую формулу

    ,

    где - дифференциальная энтропия на один отсчёт процесса ,

    - условная дифференциальная энтропия на один отсчёт процесса при известном отсчёте .

    Точно так же можно показать, взаимная информация равна

    ,

    где - дифференциальная энтропия на один отсчёт процесса ,

    - условная дифференциальная энтропия на один отсчёт процесса при известном отсчёте называется ненадёжностью канала связи.

    Рассмотрим - энтропию помехи в непрерывном канале связи. Сигналы на входе и выходе канала связи и помеха описываются линейной зависимостью , в которой каждая составляющая является непрерывной случайной величиной со своей плотностью распределения вероятности. Условная энтропия имеет вид:

    .

    Положим, плотность распределения вероятности шума известна и равна . В условной плотности вероятности величина y считается известной. Тогда случайная величина при известной величине y зависит только от шума и имеет место , откуда получим

    .

    Из этого выражения видно, что условная плотность зависит только от шума. В результате получим

    ,

    т.е. условная энтропия на один отсчёт равна энтропии шума на один отсчёт.

     

    2.3.3 Эпсилон-энтропия (ε -энтропия)

     

    Наличие помехи в канале связи ухудшает качество восстанавливаемого сигнала. Возникает вопрос, до какой степени можно допустить искажение сигнала помехой, чтобы можно было сказать, сигнал, поступивший в канал связи и вышедший из канала связи идентичны. Критерии отождествления двух сигналов могут быть самыми различными. Необходимо ввести расстояние между элементами ансамблей и . Мерой идентичности ансамблей и наиболее часто берут математическое ожидание квадрата расстояния между элементами ансамблей и :

    В качестве критерия «сходства» ансамблей и примем выполнение неравенства

    (2.21)

    где - заранее заданная допустимая мера отклонения «сходства» ансамблей и .

    Заданную меру «сходства» необходимо обеспечить при минимальном количестве меры информации . Ввиду того, что

    ,

    a при отсутствии шума, то необходимо минимизировать по всем возможным распределениям плотности вероятности .

    Минимальное значение меры информации при выполнении условия называется эпсилон-энтропией (ε -энтропия) непрерывного ансамбля

    . (2.22)

     

    Понятие -энтропия введено Колмогоровым А.Н. [2, (стр.46) ].

    Если на входе канала связи мощность сигнала ограничена величиной , значения сигнала находятся в интервале , то энтропия не превышает энтропию нормального закона распределения вероятности. Энтропия нормального закона распределения вероятности равна . Условная энтропия зависит только от шума и принимает максимальное значение при нормальном распределении шума мощностью, не превышающей . Учитывая значения безусловной и условной энтропий, получим

    .

    Положим, источник генерирует сообщения со скоростью [ ].

    Тогда ε -призводительностью источника сообщений называется величина

    . (2.23)

    Если учесть, что интервал дискретизации есть величина обратная полосе частот, занимаемая сигналом, то, согласно теореме Котельникова, получим

    , (2.24)

    где - полоса частот, занимаемая сигналом источника, приходящаяся на один отсчёт.

    Максимальная ε -призводительность источника сообщений будет тогда, когда значения сигнала распределены по нормальному закону с известной дисперсией ,

    ,

    .

    Формулы (2.23) и (2.24) показывают, с какой скоростью можно генерировать информацию, чтобы восстановить сообщения с погрешностью, не превышающей .

     






    © 2023 :: MyLektsii.ru :: Мои Лекции
    Все материалы представленные на сайте исключительно с целью ознакомления читателями и не преследуют коммерческих целей или нарушение авторских прав.
    Копирование текстов разрешено только с указанием индексируемой ссылки на источник.