Студопедия

Главная страница Случайная страница

Разделы сайта

АвтомобилиАстрономияБиологияГеографияДом и садДругие языкиДругоеИнформатикаИсторияКультураЛитератураЛогикаМатематикаМедицинаМеталлургияМеханикаОбразованиеОхрана трудаПедагогикаПолитикаПравоПсихологияРелигияРиторикаСоциологияСпортСтроительствоТехнологияТуризмФизикаФилософияФинансыХимияЧерчениеЭкологияЭкономикаЭлектроника






  • Энтропия непрерывного ограниченного ансамбля






     

    Энтропия ансамбля после квантования была записана как

    .

    Устремим интервал квантования к нулю, но оставим под знаком логарифма величину интервала квантования неизменной. Это представление сохранит размерность энтропии и показывает зависимость энтропии непрерывного ансамбля сообщений от величины интервала квантования

    .

    Максимальная энтропия непрерывного ансамбля зависит от вида плотности распределения вероятности , области определения значений случайного сигнала и априорных сведений относительно .

    Определим плотность распределения вероятности , обеспечивающий максимум энтропии , при и ограничении

    . (2.17)

    Для решения задачи применим метод неопределённых множителей Лагранжа, и составим функционал

    .

    Приведём его к виду

    .

    Определим производную , которая будет равна

    ,

    и приравняем её нулю

    Достаточным условием равенства нулю интеграла от некоторой функции будет равенство нулю самой этой функции. Исходя из этого, имеем

    = 0.

    Разрешая полученное уравнение относительно , получим

    . (2.18)

    Чтобы вычислить величину , используем ограничение (2.17) и сделаем ряд преобразований

    ,

    .

    После подстановки значения параметра в (2.18) получим

     

    ,

     

    .

    Вывод.

    Если имеется ограничение в виде нормировки плотности вероятности непрерывного ансамбля и область существования плотности вероятности ограничена постоянными a и b, то из всех возможных плотностей вероятности равномерный закон распределения вероятности обладает наибольшей энтропией.

    Если число ограничений увеличивается, то вид плотности распределения вероятности изменится.

    Вычислим энтропию случайной величины , подчиненной нормальному закону с математическим ожиданием, равным m, и дисперсией, равной .

    =

    Сделаем замену переменных .

     

     

    .

    Как видно, энтропия не зависит от математического ожидания m.

    Пусть - энтропия случайной величины с математическим ожиданием, равным нулю, и дисперсией, равной . Энтропия случайной величины не превышает энтропии нормального закона распределения вероятности

    , (4.22) где знак равенства имеет место тогда и только тогда, когда случайная величина распределена по нормальному закону.

     

    Положим, - произвольная плотность распределения вероятности случайной величины . Случайная величина подвергается преобразованию

    .

    Определим математическое ожидание случайной величины

    =

    . (4.23)

    Рассмотрим разность . Правая часть этой разности есть . Поэтому

    .

    Знак равенства будет только тогда, когда справедливо равенство

    или

    .

    Таким образом, энтропия достигает максимального значения при нормальном законе распределения вероятности. При этом накладываются условия:

    - дисперсия случайной величины ограничена,

    - область определения плотности распределения вероятности – ().

    Следует обратить внимание на ограничения (условия), при которых заданы непрерывные законы распределения вероятностей, обеспечивающих максимум энтропии.

     

     






    © 2023 :: MyLektsii.ru :: Мои Лекции
    Все материалы представленные на сайте исключительно с целью ознакомления читателями и не преследуют коммерческих целей или нарушение авторских прав.
    Копирование текстов разрешено только с указанием индексируемой ссылки на источник.