Понятие энтропии. Вычисление количества информации по формулам Шеннона и Хартли.

Информационная энтропия — мера неопределённости источника сообщений, определяемая вероятностями появления тех или иных символов при их передаче. Информация по Шеннону Увеличение информации эквивалентно сокращению энтропии. Первичное и самое существенное в определении энтропии - логарифм числа возможных состояний или их вероятностей.

Формулу для вычисления количества информации в случае различных вероятностей событий предложил К. Шеннон в 1948 году. В этом случае количество информации определяется по формуле: , где I - количество информации; N - количество возможных событий; р_i - вероятность i-го события.

Информационная энтропия — мера неопределённости или непредсказуемости информации, неопределённость появления какого-либо символа первичного алфавита. При отсутствии информационных потерь численно равна количеству информации на символ передаваемого сообщения. Энтропия — это количество информации, приходящейся на одно элементарное сообщение источника, вырабатывающего статистически независимые сообщения. Энтропия дискретной случайной величины в теории информации определяется формулой

когда все варианты равновероятны, остается зависимость только от количества рассматриваемых вариантов, т.е. H=F(N). В этом случае формула Шеннона значительно упрощается и совпадает с формулой Хартли, которая впервые была предложена американским инженером Ральфом Хартли в 1928 году. Формула Хартли имеет следующий вид: