III. Информация

III.1.

Когда мы узнаем, какое из двух событий имеет место, мы получаем информацию. Предполагается, что оба события равноверо­ятны и что мы находимся в полном неведении относительно того, какое из них произойдет. Вероятность — это отношение числа воз­можностей ожидаемого исхода к общему числу возможностей. Если я подбрасываю монетку, ожидая, орел выпадет или решка, вероятность выпадания каждой из сторон составит 1/2.

В случае игральной кости, у которой шесть сторон, вероятность для каждой составит 1/6, если же я бросаю одновременно две кости, рассчитывая получить две шестерки или две пятерки, вероятность выпадания одинаковых сторон будет равняться произведению про­стых вероятностей, т. e. 1/36.

Отношение ряда событий к ряду соответствующих им возможнос­тей — это отношение между арифметической и геометрической про­грессиями, и второй ряд является логарифмом первого.

Это означает, что при наличии 64-х возможных исходов, когда, например, мы хотим узнать, на какую из 64-х клеточек шахматной доски пал выбор, мы получаем количество информации, равное Lg264, т. e. шести. Иными словами, чтобы определить, какое из шес­тидесяти четырех равновероятных событий произошло, нам необхо­димо последовательно произвести шесть операций выбора из двух.

Как это происходит, показано на рисунке 2, причем для простоты число возможных случаев сокращено до восьми если имеется восемь непредсказуемых, так как они все равновероятны, возможных исхо­дов, то определение одного из них потребует трех последовательных операций выбора. Эти операции выбора обозначены буквами. Напри­мер, чтобы идентифицировать пятый случай, нужно три раза произ­вести выбор в точке А между B₁ и В₂, в точке B₂ между С₃ и C₄ и в точке СЗ выбрать между пятым и шестым случаями. И так как речь шла об идентификации одного случая из восьми возможных, то

Log₂8 = 3.

В теории информации единицей информации, или битом (от " bi­nary digit", т. e. " бинарный сигнал"), называют информацию, получае­мую при выборе из двух равновероятных возможностей. Следователь­но, если идентифицируется один из восьми случаев, мы получаем три бита информации, если один из шестидесяти четырех — то шесть битов.

При помощи бинарного метода определяется один из любого воз­можного числа случаев—достаточно последовательно осуществлять выбор, постепенно сужая круг возможностей. Электронный мозг, на­зываемый цифровым, или дигитальным, работая с огромной скорос­тью, осуществляет астрономическое число операций выбора в едини­цу времени. Напомним, что и обычный калькулятор функционирует за счет замыкания и размыкания цепи, обозначенных 1 и О соответст­венно; на этой основе возможно выполнение самых разнообразных операций, предусмотренных алгеброй Буля.

III.2.

Характерно, что в новейших лингвистиических исследовани­ях обсуждаются возможности применения метода бинарных оппози­ций при изучении вопроса о возникновении информации в таких сложных системах, как, например, естественный язык. Знаки (слова) языка состоят из фонем и их сочетаний, а фонемы—это минимальные единицы звучания, обладающие дифференциальными признаками, это непродолжительные звучания, которые могут совпадать или не совпадать с буквами или буквой алфавита и которые сами по себе не обладают значением, но, однако, ни одна из них не может подменять собой другую, а когда такое случается, слово меняет свое значение. Например, по-итальянски я могу по-разному произносить " e" в сло­вах " bene" и " cena", но разница в произношении не изменит значения слов. Напротив, если, говоря по-английски, я произношу " i" в словах

" ship" и " sheep" (транскрибированных в словаре соответственно " ∫ ip"

и " ∫ i: p") по-разному, налицо оппозиция двух фонем, и действительно,

первое слово означает " корабль", второе — " овца". Стало быть, и в этом случае можно говорить об информации, возникающей за счет бинарных оппозиций.

III.3.

Вернемся, однако, к нашей коммуникативной модели. Речь шла о единицах информации, и мы установили, что когда, например, известно, какое событие из восьми возможных осуществилось, мы получаем три бита информации. Но эта " информация " имеет косвен-

¹⁰ См библиографию в Lepschy, cit, и у Якобсона (Якобсон P. Избранные работы М, 1985)

ное отношение к собственно содержанию сообщения, к тому, что мы из него узнали. Ведь для теории информации не представляет интереса, о чем говорится в сообщениях, о числах, человеческих именах, лоте­рейных билетах или графических знаках. В теории информации зна­чимо число выборов для однозначного определения события. И важны также альтернативы, которые — на уровне источника — представляются как со-возможные. Информация это не столько то, что говорится, сколько то, что может быть сказано. Информация — это мера возможности выбора. Сообщение, содержащее один бит информации (выбор из двух равновероятных возможностей), отлича­ется от сообщения, содержащего три бита информации (выбор из восьми равновероятных возможностей), только тем, что во втором случае просчитывается большее число вариантов. Во втором случае информации больше, потому что исходная ситуация менее определен­на. Приведем простой пример: детективный роман тем более держит читателя в напряжении и тем неожиданнее развязка, чем шире круг подозреваемых в убийстве. Информация — это свобода выбора при построении сообщения, и, следовательно, она представляет собой статистическую характеристику источника сообщения. Иными слова­ми, информация — это число равновероятных возможностей, ее тем больше, чем шире круг, в котором осуществляется выбор. В самом деле, если в игре задействованы не два, восемь или шестьдесят четыре варианта, a n миллиардов равновероятных событий, то выражение

I = Lg₂l0⁹n

составит неизмеримо большую величину. И тот, кто, имея дело с таким источником, при получении сообщения осуществляет выбор одной из n миллиардов возможностей, получает огромное множество битов информации. Ясно, однако, что полученная информация пред­ставляет собой известное обеднение того несметного количества воз­можностей выбора, которым характеризовался источник до того, как выбор осуществился и сформировалось сообщение.

В теории информации, стало быть, берется в расчет равновероят­ность на уровне источника, и эту статистическую величину назывют заимствованным из термодинамики термином энтропия ¹¹. И действи­тельно, энтропия некоторой системы — это состояние равновероят­ности, к которому стремятся ее элементы. Иначе говоря, энтропия

¹¹ См Норберт Винер. Кибернетика С. E. Shannon, W. Weaver, The Mathematical Theory of information, Urbana, 1949, Colin Cherry, On Human Communication, cit, A. G. Smith, ed, Communication and Culture (часть I), N Y. 1966; а также работы, указанные к прим. 2 и 4.

связывается с неупорядоченностью, если под порядком понимать сово­купность вероятностей, организующихся в систему таким образом, что ее поведение делается предсказуемым. В кинетической теории газа описывается такая ситуация: предполагается, впрочем, чисто гипоте­тически, что между двумя заполненными газом и сообщающимися емкостями наличествует некое устройство, называемое демоном Мак­свелла, которое пропускает более быстрые молекулы газа и задержи­вает более медленные. Таким образом в систему вводится некоторая упорядоченность, позволяющая сделать прогнозы относительно рас­пределения температур. Однако в действительности демона Максвел­ла не существует, и молекулы газа, беспорядочно сталкиваясь, вырав­нивают скорости, создавая некую усредненную ситуацию, тяготею­щую к статистической равновероятности. Так система оказывается высокоэнтропийной, а движение отдельной молекулы газа непредска­зуемым.

Высокая энтропийность системы, которую представляют собой буквы на клавиатуре пишущей машинки, обеспечивает возможность получения очень большого количества информации. Пример описан Гильбо: машинописная страница вмещает 25 строк по 60 знаков в каждой, на клавиатуре 42 клавиши, и каждая из них позволяет напе­чатать две буквы, таким образом, с добавлением пробела, который тоже знак, общее количество возможных символов составит 85. Если, умножив 25 на 60, мы получаем 1500 позиций, то спрашивается, какое количество возможных комбинаций существует в этом случае для каждого из 85 знаков клавиатуры?

Общее число сообщений с длиной L, полученных с помощью кла­виатуры, включающей С знаков, можно определить, возводя L в сте­пень С. В нашем случае это составит 85 возможных сообщений. Такова ситуация равновероятности, существующая на уровне источ­ника, и число возможных сообщений измеряется 2895-ти значным числом.

Но сколько же операций выбора надо совершить, чтобы иденти­фицировать одно-единственное сообщение? Очень и очень много, и их реализация потребовала бы значительных затрат времени и энер­гии, тем больших, что, как нам известно, объем каждого из возможных сообщений равен 1500 знакам, каждый из которых определяется путем последовательных выборов между 85 символами клавиатуры... По­тенциальная возможность источника, связанная со свободой выбора, чрезвычайно высока, но передача этой информации оказывается весь­ма затруднительной.

¹² G Т. Guilbaud, La Cyberné tique P U F, 1954

III.4.

Здесь-то и возникает нужда в коде с его упорядочивающим действием. Но что дает нам введение кода? Ограничиваются комби­национные возможности задействованных элементов и число самих элементов. В ситуацию равновероятности источника вводится систе­ма вероятностей: одни комбинации становятся более, другие менее вероятными. Информационные возможности источника сокращают­ся, возможность передачи сообщений резко возрастает.

Шеннон ¹³ определяет информацию сообщения, включающего N операций выбора из h символов, как I = N_Lg2 h (эта формула напоми­нает формулу энтропии).

Итак, сообщение, полученное на базе большого количества симво­лов, число комбинаций которых достигает астрономической величи­ны, оказывается высокоинформативным, но вместе с тем и непереда­ваемым, ибо для этого необходимо слишком большое число операций выбора. Но эти операции требуют затрат, идет ли речь об электричес­ких сигналах, механическом движении или мышлении: всякий канал обладает ограниченной пропускной способностью, позволяя осуще­ствить лишь определенное число операций выбора. Следовательно, чтобы сделать возможной передачу информации и построить сообще­ние, необходимо уменьшить значения N и h. И еще легче передать сообщение, полученное на основе системы элементов, число комбина­ций которых заранее ограничено. Число выборов уменьшается, но зато возможности передачи сообщений возрастают.

Упорядочивающая функция кода как раз и позволяет осуществить коммуникацию, ибо код представляет собой систему вероятностей, которая накладывается на равновероятность исходной системы, обес­печивая тем самым возможность коммуникации. В любом случае ин­формация нуждается в упорядочении не из-за ее объема, но потому, что иначе ее передача неосуществима.

С введением кода число альтернатив такого высокоэнтропийного источника, как клавиатура пишущей машинки, заметно сокращается. И когда я, человек знакомый с кодом итальянского языка, за нее сажусь, энтропия источника уменьшается, иными словами, речь идет уже не о 85 сообщениях на одной машинописной странице, обес­печиваемых возможностями клавиатуры, но о значительно меньшем их числе в соответствии с вероятностью, отвечающей определенному набору ожиданий, и, стало быть, более предсказуемом. И даже если

¹³ Впервые закон сформулирован R.V L. Harthley, Transmission of Information, in " Bell System Tech. I", 1928. См. также, помимо Cherry, cit, Anatol Rapaport, What is Information?, in " ETC", 10, 1953.

число возможных сообщений на страничке машинописного текста неизменно велико, все равно введенная кодом система вероятностей делает невозможным присутствие в моем сообщении таких последо­вательностей знаков, как " wxwxxsdewvxvxc", невозможных в итальян­ском языке за исключением особых случаев металингвистических опи­саний, таких как только что приведенное. Она, эта система, не разре­шает ставить q после ass, зато позволяет предсказать с известной долей уверенности, что вслед за ass появится одна из пяти гласных: asse, assimilare и т.д. Наличие кода, предусматривающего возможность разнообразных комбинаций, существенно ограничивает число воз­можных выборов.

Итак, в заключение дадим определение кода как системы, устанав­ливающей 1) репертуар противопоставленных друг другу символов; 2) правила их сочетания; 3) окказионально взаимооднозначное соот­ветствие каждого символа какому-то одному означаемому. При этом возможно выполнение лишь одного или двух из указанных условий ¹⁴.