Главная страница Случайная страница
Разделы сайта
АвтомобилиАстрономияБиологияГеографияДом и садДругие языкиДругоеИнформатикаИсторияКультураЛитератураЛогикаМатематикаМедицинаМеталлургияМеханикаОбразованиеОхрана трудаПедагогикаПолитикаПравоПсихологияРелигияРиторикаСоциологияСпортСтроительствоТехнологияТуризмФизикаФилософияФинансыХимияЧерчениеЭкологияЭкономикаЭлектроника
Энтропия по Хартли. Единицаинформации
|
|
2. Если условиться измерять информацию в битах, т.е. допустить, что характеризующая информацию величина может принимать только два состояния 0 и 1 (или “Да” и “Нет”), то суммирование нужно вести по двум состояниям и вместо десятичного логарифма удобнее использовать логарифм по основанию 2. Формула (1), тогда примет вид:
3. H = - å p ilog2(p i), откуда: (2)
4. I = H =log2 MN, (3)
5. MN = 2 N - полное число различных двоичных текстов. Согласно (3) объем информации в битах равен минимальному числу двоичных ячеек, с помощью которых эту информацию можно записать. Этот способ был предложен Хартли, поэтому формулу (3) иногда называют информационной энтропией по Хартли.
6. Если имеется MN различных текстов, то вероятность того, что читаемый текст совпадет с наугад выбранным из M N различных текстов, равна P N = 1/ MN, поэтому можно записать:
7. P N = - log2 P N. (2)
8. Чем больше N, тем меньше величина PN и тем больше объем информации, I содержащийся в данном конкретном тексте.
9. Формулы (1) и (2) записаны для дискретных величин, если речь идет о непрерывных величинах, то соответствующие суммы заменяются интегралами.
n Объект - информационное понятие, в котором отдельно не выделяется его содержание Часть объекта принято называть элементом, однако сам элемент может рассматриваться как объект. Объекты отличаются друг от друга их свойствами.
n Процесс - характеристика изменения свойств объекта.
n Множество - набор каких либо объектов обладающих общим для всех их характеристическими свойствами.
n Множество элементов в информатике называют массивом.
n Величина характеристика (свойство) объекта. Величины могут быть непрерывными, например время и дискретными, например число на циферблате ваших часов. В технике непрерывные величины принято называть аналоговыми. В отличие от аналоговых дискретные величины имеют конечное число значений.
n Система - множество элементов, находящихся в каком либо отношении друг к другу (взаимодействии).
n Информационная система совокупность любых объектов, взаимодействующих путем обмена информацией.
n Сигнал
n Сигнал является материальным носителем информации, которая передается от источника к потребителю. Онможет
n быть дискретным и непрерывным (аналоговым).
n Дискретный сигнал слагается из счетного множества (т.е. такого множества, элементы которого можно пересчитать) элементов (говорят – информационных элементов).
n Непрерывный (аналоговый) сигнал – отражается некоторой физической величиной, изменяющейся в заданном интервале времени, например, тембром или силой звука.
n Сообщение. Информацию передаваемую с помощью сигнала принято называть сообщением
n Минимальная единица информации – бит. Это информация, которая содержит только два представления: да, нет, белое, черное, 1, 0, включено, выключено. Один бит информации компьютере запасается с помощью электронного ключа. Ключ включен – 1, выключен 2. С помощью электронных ключей в компьютере запасаются и обрабатываются все числа. Именно поэтому они должны быть преобразованы в двоичную систему счисления. Бит – очень маленькая единица.
n 1 байт= 8 бит;
n 1 килобайт [ к б] = 1024 байт.
n 1 мегабайт [ м б]=1024 килобайт.
n 1 гигабайт [ г б] = 1024 мегабайта.
n 1 терабайт [ т б] = 1024 гигабайт
n Следует обратить, что в компьютере приставка кило обозначает не 1000, а 1024, поскольку в двоичной системе разряды заполняются числами кратными 2 в степени n, где n может быть 0, 1, 2, 3, 4, 5, и т.д.
n В двоичной системе 1кило =2 в степени 10 или 1024
n Различные блоки компьютера общаются между собой и с внешними устройствами на языке чисел, записанных в двоичной системе.
n Человек считает в арабской системе чисел, которая относится к десятичной позиционной системе, в которой используются цифры от 0 до 9. Основание в этой системе 10. Величина числа в позиционной системе зависит от положения цифры. При сдвиге цифры на одну позицию (разряд) вправо число возрастает на величину основания, влево уменьшается на величину основания. Число получается суммированием по всем разрядам.
n В двоичной системе, базовые цифры 0 и 1, основание 2. Эта система очень неудобна, поскольку числа получаются длинными. Программы (с подачи программистов) часто используют шестнадцтиричную систему. В этой системе основание 16, базовые числа: 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, A, B, C, D, E, F.
n Примеры:
n Числа “d”: 0, 1, 2, 9, 10, 16, 32, 64, 255
n Числа “b”: 0, 1, 10, 1001, 1010, 10000, 10000, 100000, 11111111
n Числа “h”: 0, 1, A, 10, 20, 30, FF
Рисунок 1 
Рисунок 2
|
|