Студопедия

Главная страница Случайная страница

Разделы сайта

АвтомобилиАстрономияБиологияГеографияДом и садДругие языкиДругоеИнформатикаИсторияКультураЛитератураЛогикаМатематикаМедицинаМеталлургияМеханикаОбразованиеОхрана трудаПедагогикаПолитикаПравоПсихологияРелигияРиторикаСоциологияСпортСтроительствоТехнологияТуризмФизикаФилософияФинансыХимияЧерчениеЭкологияЭкономикаЭлектроника






  • Сервис онлайн-записи на собственном Telegram-боте
    Тот, кто работает в сфере услуг, знает — без ведения записи клиентов никуда. Мало того, что нужно видеть свое расписание, но и напоминать клиентам о визитах тоже. Нашли самый бюджетный и оптимальный вариант: сервис VisitTime.
    Для новых пользователей первый месяц бесплатно.
    Чат-бот для мастеров и специалистов, который упрощает ведение записей:
    Сам записывает клиентов и напоминает им о визите;
    Персонализирует скидки, чаевые, кэшбэк и предоплаты;
    Увеличивает доходимость и помогает больше зарабатывать;
    Начать пользоваться сервисом
  • Энтропия дискретного ансамбля сообщений






    Среднее количество информации, содержащееся в ансамбле , определяется математическим ожиданием

     

    . (2.6)

    Величина называется энтропией ансамбля и имеет размерность . Под термином сообщение понимается элемент ансамбля : это может быть символ или набор символов, образующих некоторое сообщение и т. д.

    Пример 1. Положим, образуют ансамбль сообщений . Вероятности реализаций этих сообщений соответственно равны 0.1, 0.4, 0.2, 0.3. Определим количество информации, содержащуюся в каждом сообщении, и меру неопределённости в ансамбле .

    После расчетов получим

    3.3219 , 1.3219 , 2.3219 , 1.7369 .

    Энтропия ансамбля равна 1.84644 .

    Как видно, наибольшее количество информации содержится в сообщении , которая реализуется с наименьшей вероятностью, и наименьшее количество информации содержится в сообщении , вероятность реализации которой наибольшая. Чем ближе к единице вероятность реализации сообщения, тем меньше информации содержится в этом сообщении. Эти выводы хорошо согласуются с субъективным представлением о ценности получаемых сведений.

    Пример 2. Положим, одно из сообщений ансамбля реализуется с вероятностью 0. Тогда какое-то другое сообщение будет реализовываться с вероятностью 1. Вычислим энтропию вновь полученного ансамбля .

    .

    Получили неопределённость типа . Разрешив эту неопределённость, получим . Неопределённость в ансамбле отсутствует.

    Энтропия характеризует меру средней неопределённости ансамбля .Пусть задан ансамбль : { } с распределением вероятностей , . Тогда энтропия удовлетворяет неравенству

    . (2.7)

    Доказательство. Левая часть неравенства следует из определения энтропии ансамбля . Для доказательства правой части рассмотрим разность и преобразуем её

    В дальнейшем используем неравенство , рисунок 2.1. Знак равенства будет только в случае . Тогда имеем

    .

    Из последнего неравенства следует, что знак равенства в правой части неравенстве (2.7) будет в том случае, если

    = 1 или .

    Энтропия ансамбля будет максимальной, если все события равновероятны. Ценность информации в каждом сообщении, с точки зрения частоты её появления в результате опытов, будет равна .

    Вычислим энтропию произведения ансамблей : и : . Произведение ансамблей образует матрицу сообщений

     

    с распределением вероятностей

    .

    Пользуясь определением энтропии ансамбля, запишем энтропию произведения ансамблей

    =

     

     

    (2.8)

     

    Условная энтропия зависит от условной меры информации - количества информации, содержащаяся в сообщении , при условии, что уже реализовалось сообщение , т.е. - это не случайное событие в условной мере информации , случайность реализации учитывается в вероятности .

    Если ансамбли и независимы, т.е. , то энтропия произведения ансамблей равна сумме энтропий ансамблей и

    . (2.9)

    Пользуясь методикой, применяемой при доказательстве неравенства (2.6), можно показать, что

    . (2.10)

    Если имеется множество ансамблей , то энтропия произведения ансамблей равна

     

    ,

     

    (2.11)

     

     






    © 2023 :: MyLektsii.ru :: Мои Лекции
    Все материалы представленные на сайте исключительно с целью ознакомления читателями и не преследуют коммерческих целей или нарушение авторских прав.
    Копирование текстов разрешено только с указанием индексируемой ссылки на источник.