Философская энциклопедия - теория информации

ТЕО́РИЯ ИНФОРМА́ЦИИ

теория, изучающая законы и способы измерения, преобразования, передачи, использования и хранения информации. В Т. и. и ее технич. приложениях центральными являются понятия количества информации и его меры. Эти понятия в известной степени соответствуют интуитивным представлениям о количеств. оценке информации, к-рая естественно связывается с числом возможных вариантов сообщения и со степенью его неожиданности. Т. и. возникла как результат осмысления процессов передачи сообщений, вызванного запросами практики: развитие технич. средств электросвязи требовало количественных критериев для сравнения разнородных способов передачи (телеграф, телефон, телевидение). В 1928 амер. специалист по связи Р. Хартли предложил меру информации, к-рая не зависела от способов передачи и формы сигналов в передающих каналах, а также от содержания и психологич. аспектов передаваемых сообщений. Он воспользовался универсальным свойством процессов связи: каждое сообщение – независимо от его природы, содержания и назначения – выбирается отправителем из заранее известного получателю множества возможных различных сообщений; поэтому на приемном конце важно знать только результат (случайного для получателя) выбора, а неопределенность результата до выбора сообщения при прочих равных условиях зависит от общего числа возможных сообщений – m. Т.о., количество информации может быть измерено мерой неопределенности выбора, к-рая уничтожается после выбора сообщения. Хартли предложил логарифмич. меру неопределенности выбора: H=k·logаm (к – коэффициент пропорциональности), к-рая обладает полезным свойством аддитивности и сводит процесс измерения информации к линейному сравнению с единицей меры, т.к. для двух различных множеств logа(m1·m2)=logam1+logam2=H1+H2. Выбор основания логарифма а обусловливается областью применения меры информации; и т.к. с развитием вычислит. техники и новых средств связи распространение получила двоичная система счисления, то часто принимают k=l, a=2. Наиболее простой выбор – выбор между двумя равными возможностями, дает одну двоичную единицу информации, или бит (сокр. от англ. binary digit); при m=2, log22=1.

Концепция выбора была развита и получила строгое матем. обоснование в трудах амер. ученого К. Э. Шеннона (1948). В его теории все разнообразные случаи передачи информации сводятся к абстрактной схеме: "источник сообщений – передатчик – канал – приемник – получатель", а все качественно разнородные сообщения преобразуются в единую абстрактную матем. форму. Это удается сделать всегда, если принять во внимание принципиально ограниченную разрешающую способность получателя (любой физич. процесс измерения всегда ограничен точностью способов измерения) и те сообщения, к-рые не различаются получателем, рассматривать как одно сообщение. Тогда сообщения любых реальных источников информации, дискретных или непрерывных, можно представить конечным набором чисел или кодовых знаков, выбранных из конечного алфавита. Напр., используя двоичную систему счисления, все сообщения можно представить (или закодировать) последовательностью из нулей и единиц. В этом случае источник в абстрактной модели схемы связи будет иметь алфавит из двух символов, но тем не менее полностью опишет работу реального источника с алфавитом из m символов, а задача измерения информации сведется к определению минимально необходимого для такого кодирования числа нулей и единиц. Это число зависит от меры неопределенности выбора символа из алфавита. Поскольку процесс создания сообщений источником заключается в последовательном и случайном для получателя выборе символов, неопределенность выбора зависит не только от m, но и от вероятностей выбора символов и вероятностных взаимосвязей между ними. Поэтому вычисление меры информации базируется на вероятностных оценках. Если рi -вероятность выбора i-гo символа алфавита si, то hi=log pi есть количество собственной, или индивидуальной, информации в событии появления символа si. Но hi величина случайная, т.к. ее значение зависит от осуществления случайного события si. Удобнее пользоваться др. оценкой количеством информации, приходящейся в среднем на символ алфавита:

т.е. просто матем. ожиданием собств. информации hi. Эта формула усложняется при учете вероятностных связей между символами. Когда состояние неопределенности заменяется состоянием полного знания, т.е. вероятности выборов всех символов, кроме одного, равны нулю, а вероятность выбора этого одиночного символа равна 1, то H=0. Полное отсутствие знаний, напр., когда выбор производится из неизвестного получателю алфавита, также исключает передачу информации. Максимум величины H достигается при равновероятных символах p1=p2=...=pm=1/m, что дает меру Хартли: Hмакс=–log p=log m.

По матем. выражению, мера количества информации совпадает с известной мерой энтропии в статистич. механике, введенной Больцманом. Это дало повод, назвать ее энтропией источника сообщений, или энтропией символов. По своему физич. смыслу энтропия источника сообщений – это минимально необходимое число знаков нек-рого кода (определяемого единицей измерения, т.е. выбором основания логарифма а), к-рое надо затратить в среднем на один символ реального алфавита источника, когда он посредством операции кодирования заменяется своим отображением в абстрактной схеме связи.

Приведенные подходы к оценке информации не являются единственными в своем роде. Р. А. Фишер (см. его "The design of experiments", 5 ed., Edin.–L., 1949) предложил (1921) принять за меру информации, доставляемой результатом одиночного измерения, в физич. эксперименте величину, обратно пропорциональную дисперсии результатов измерения, когда ошибки измерения подчинены нормальному закону. На возможность иных, не специально статистических, подходов к определению информации указал Колмогоров (см. сб. "Проблемы передачи информации", т. 1, вып. 1, М., 1965). Так, напр., существуют задачи, в к-рых по заданному объекту А надо построить связанный с ним объект В. Тогда количество информации в объекте А относительно объекта В можно определить как меру сложности алгоритма преобразования А в В. По существу, эта операция сводится к наиболее экономному нумерованию всех символов алфавита, причем номер каждого символа должен в среднем содержать как минимум H бит, если принят бинарный код. Надо иметь в виду, что численное значение энтропии символов принципиально зависит от свойств получателя различать сообщения и что в реальных системах связи по линиям связи передаются в качестве результатов выбора, конечно, не "кодовые номера", а сами сообщения, преобразованные в физич. сигналы. Такой мерой служит, в частности, минимально необходимое число операций, или "длина" программы, к-рая указывает, как произвести это преобразование. Этот подход получил название а л г о р и т -м и ч е с к о г о.

Топологич. подход к оценке информации, когда количество информации определяется как мера топологич. различия структур, т.е. как мера тех различий, к-рые остаются инвариантными при топологич. преобразованиях, намечен Рашевским.

Дальнейшим развитием этих подходов явились попытки оценить количество семантич. информации.

В семантической Т. и. пытаются преодолеть специфику абстрактных подходов и ввести количеств. оценки содержательности, важности, ценности и полезности информации, т.е. в известном смысле найти количеств. меру семантич. характеристик сообщений (предложений, высказываний). В отличие от матем. Т. и., различные варианты теории семантич. информации пытаются охарактеризовать "меру информации" гл. обр. с помощью средств логич. семантики, а также логики индуктивной и модальной логики. Хотя ни один из предложенных к наст. времени вариантов теории семантич. информации не претендует на сколько-нибудь исчерпывающее решение проблемы нахождения точных оценок семантич. информации, нек-рые из этих подходов уже дали возможность не только развить формальный матем. аппарат (как правило, впрочем, совсем простой; такова, напр., концепция семантич. информации Р. Карнапа и И. Бар-Хиллела, сочетающая чисто семантич. рассмотрения, базирующиеся на анализе языков прикладных предикатов исчислений, с характерными для шенноновской теории алгебро-комбинаторными схемами, предложенная ими в работе "Semantic information", в журн. "Brit. J. Philos. Sсi.", 1953, v. 4, No 14, p. 147–57), но и применить его к различным логич., лингвистич. и психологич. исследованиям. Примером могут служить работы Д. Харро, посвященные формальному описанию процессов коммуникаций с помощью развиваемой им на базе логич. семантики "логики вопросов и ответов", работа сов. логика Е. К. Войшвилло, показавшего возможность объединения в рамках единой теории шенноновской оценки количества информации с семантич. интерпретацией Карнапа и Бар-Хиллела. Ряд идей, относящихся к этой развивающейся проблематике, выдвинут советскими и иностр. учеными, работающими над задачами машинного перевода и др. проблемами лингвистики математической. Многие из этих идей предполагают выход из "чисто семантических" рамок и привлечение более общих представлений семиотики и особенно прагматики. Так, если допустить, что информация собирается для достижения нек-рой цели, то ее ценность естественно считать зависящей от того, насколько она способствует достижению этой цели. Отсюда мера ценности может быть выражена через приращение вероятности достижения цели. Продолжая развивать этот прагматич. аспект Т. и., сов. математик Е. С. Вентцель указывает след. путь оценки полезности информации: когда эффективность к.-л. мероприятий можно оценить численно, приращение эффективности (т.е. разность между эффективностью проведения мероприятий до и после получения информации об условиях, в к-рых они будут проходить) характеризует важность и ценность полученного сообщения. М. М. Бонгард (см. его "Проблема узнавания", М., 1967) связывает меру полезности сообщения с задачей, к-рую решает получатель, с запасом его знаний до прихода сообщения и способом истолкования сообщения. Если наблюдатель получает извне нек-рое сообщение, изменяющее исходную неопределенность задачи Н0 на Н 1, то полезная информация, заключенная в сообщении, есть разность неопределенностей Iполезн=Н0 Н 1. Под неопределенностью задачи понимается выражение

где р(х) есть истинное распределение вероятностей результатов опыта, a q(x) гипотетич. распределение результатов опыта, из к-рого исходит в своей деятельности наблюдатель. Заметим, что аналогичное выражение было использовано нем. психофизиком Г. Франком (1953) для меры субъективной информации, получаемой человеком при наступлении события si, где qi, играли роль "субъективных вероятностей" величин, отражающих представления наблюдателя о численной возможности наступления события. За нулевой уровень можно принять qi =1/n (i=1, 2, ..., n). В этом случае количество полезной информации, содержащейся в гипотезе о том, что распределение вероятностей результатов опыта есть q(x) относительно задачи с распределением вероятностей р(х), есть Jn=H(q)–H (q/p) = log n –H (q/p).

Новый подход к оценке семантич. информации разрабатывается сов. математиком Ю. А. Шрейдером (см. сб. "Проблемы кибернетики", вып. 13, М., 1965). Абстрактная модель системы связи в матем. Т. и. строится в предположении, что получателю известен алфавит источника сообщений. В более общей формулировке это требование означает, что для понимания и последующего использования сообщений получатель должен обладать определ. запасом знаний. Знания получателя в ряде случаев, напр. при анализе информац. содержания в науч. статьях, можно представить в виде списка названий объектов и названий их свойств – слов, в к-ром также указаны смысловые связи между словами. Такой словарь или справочник с заданными связями представляет собой обобщение понятия т е з а у р у с а. Под влиянием сообщений, если существует алгоритм для их анализа, тезаурус будет пополняться новыми словами, в него будут добавляться новые связи и изменяться старые. При этих условиях количество семантич. информации, содержащейся в тексте сообщения, естественно измерить степенью изменения тезауруса под влиянием сообщения. Она может быть измерена, напр., числом новых слов и связей, числом отброшенных слов и связей и пр. Данный подход существенно отличается от концепции выбора, где предполагалось, что получаемая информация тем больше, чем меньше априорных сведений имеется об источнике информации. Напротив, мера семантич. информации растет, если один и тот же текст проектировать на все более сложные тезаурусы, т.к. в более сложных тезаурусах, вообще говоря, больше возможностей для изменения. Это хорошо согласуется с интуитивным представлением о содержат. стороне процесса обмена информацией: полное незнание предмета не позволяет извлечь существенное смысловое содержание из поступающей о нем информации. Но по мере роста наших знаний растет и извлекаемая информация. После достижения нек-рого максимума семантич. информация в поступающих к нам данных перестает расти и падает до весьма малой величины до тех пор, пока не поступят сведения, обладающие существ. новизной. Поэтому, в частности, элемент новизны в открытиях и изобретениях в любой области знаний оценивается в рамках этого подхода по степени их влияния на сложившиеся представления.

Общим свойством рассмотренных мер информации является то, что они вводятся при наложении на реальную ситуацию обмена информацией строго очерченной системы абстракций. Как отметил Колмогоров, едва ли удастся такое сложное и многообразное понятие, как информация, охарактеризовать во всех случаях с помощью одной числовой величины; поэтому любой подход к количеств. оценке информации представляет собой, по существу, ту или иную форму экспликации (или ограничения) общего понятия.

Правомерно, однако, анализируя сущность информации как филос. категории, поставить вопрос и о наиболее общем значении и содержании этого понятия. Сов. авторы и ряд зарубежных философов-марксистов связывают категорию "информация" с объективными условиями проявления закона отражения. В этом плане информация выступает как свойство материальных объектов и процессов порождать, передавать и сохранять многообразие состояний, к-рое посредством той или иной формы отражения может быть передано от одного объекта к другому и запечатлено в его структуре. Отсюда количество информации в зависимости от уровня процесса отражения связывается с мерами упорядоченности, организованности, структурности, сложности материальных объектов, процессов и систем в их взаимодействии между собой. Вне процессов взаимодействия количеств. оценка этого свойства невозможна, поскольку многообразие состояний любого материального объекта, рассматриваемого как отдельно взятый источник информации, принципиально неограниченно (особенно если иметь в виду переход от макросостояний к микроструктуре). Конечно, на совр. этапе развития наших представлений о свойствах микромира предел различимости микросостояний объекта или физич. переносчика сообщений устанавливается принципом неопределенности (см. Неопределенностей соотношение). Поэтому существует теоретич. возможность "абсолютной" (не зависящей от свойств "получателя") оценки макс. разнообразия, или информационной емкости. Эта величина по аналогии с физич. представлениями может быть названа "потенциальной информацией", но численная мера количества потенциальной информации, по сути дела, остается величиной относительной, определяющей своего рода предельные условия взаимодействия материальных объектов.

Определяя роль и место информации в системе диалектико-материалистич. взглядов, надо иметь в виду, что информац. процессы материальны постольку, поскольку всегда воплощены в том или ином материальном процессе взаимодействия, даже если это обмен идеями между людьми. Но статистич. теория передачи сообщений изучает особые формы взаимодействия. Особенностью их является, во-первых, то, что хотя они и зависят от энергетич. стороны взаимодействия, но не определяются ею, т.к. информация не зависит от типа материального носителя; и, во-вторых, что осн. количеств. мера взаимодействия – энтропия источника сообщений – употребляется в том же смысле, в каком Маркс употреблял термин "мера стоимости" для обозначения одной из функций денег. В этой функции деньги, в отличие от их чувственно воспринимаемой вещественной формы, существуют лишь в идеальной форме, иначе говоря, существуют лишь в представлении (см. К. Маркс и Ф. Энгельс, Соч., 2 изд., т. 23, с. 105–06). Точно так же выражение количества информации в битах в абстрактной схеме связи носит идеальный характер, т.е. осуществляется лишь в нашем представлении, и для этой цели применяются лишь мысленно рассматриваемые двоичные (или любые другие по произвольному выбору основания логарифма) единицы информации. В реальных сообщениях, данных, известиях никаких "бит", естественно, не содержится. Выражение "передано 10 бит информации" означает только, что процесс передачи данного сообщения, к-рое может иметь сколь угодно сложную форму и быть телевизионным изображением, метеосводкой или сигналом в нервной сети, эквивалентен в технике связи передаче десяти чередующихся в определ. порядке пауз и токовых посылок. Такова, в сущности, особенность способа измерения, вытекающая из принимаемых при построении абстрактной схемы связи допущений, особенность меры, а не особенность самой природы информации. Именно неправильное отождествление способа измерения с самой измеряемой величиной и породило представление об информации как о нематериальном объекте. Но в технич. приложениях Т. и. речь всегда идет лишь о количестве информации в абстрактной схеме связи, а не об информации в ее наиболее общем смысле. Поэтому можно говорить лишь об опасности некорректного перенесения этого понятия на др. аспекты информации и, в частности, о неадекватном использовании его в методологич. работах.

Развитие Т. и. стимулируется взаимным обменом идеями и методами с др. науч. дисциплинами, напр. при решении "информационных" проблем биологии и физиологии, психологии, эстетики, языкознания, физики. Так, физич. Т. и. изучает проблему соотношения информации и энергии. На первый взгляд энергетич. процессы в осн. построениях Т. и. не играют роли. Действительно, на оценке и содержательности информации не сказываются ни тип переносчика, ни физич. способ передачи. Но зависимость информации от энергии все же существует: создание информации, ее переработка и хранение невозможны без затраты энергии. В обычных условиях затраты энергии на получение одного бита информации пренебрежимо малы (в идеальном случае при очень широкой полосе частот на передачу одного бита надо затратить не менее 0,7 kТ джоулей, здесь k – постоянная Больцмана, равная 1,37·10^-23 дж/град, Τ – температура по шкале Кельвина). Но положение дел меняется, когда, напр., для получения информации приходится производить точные измерения на очень малых расстояниях. Бриллюэн приводит убедительный пример: если длину отрезка требуется измерить с точностью до 10^-50 мм, то энергии всего лишь одного кванта волны, служащего в этом случае эталоном длины, хватило бы на разрушение всей нашей планеты. Общей формулировки ограничений, накладываемых на процессы передачи сообщений квантовыми эффектами, в настоящее время не имеется, хотя изучение квантовомеханич. каналов связи, где в качестве приемо-передающих устройств используются лазеры и мазеры, – это важнейшее направление физич. Т. и., возникшее из запросов космич. связи. Др. направление физич. Т. и. – это проблема истолкования матем. тождественности выражений для энтропии в физике и для энтропии в теории сообщений (см. Энтропия).

В экспериментальной психологии мера информации, содержащейся в предъявляемых испытуемым стимулах, позволяет отвлечься от качеств. разнообразия стимулов и ввести формальные модели процессов восприятия информации человеком и процессов памяти, допускающие применение матем. аппарата Т. и. Это стало возможным после того, как Хиком было установлено, что время реакций выбора Τp и энтропия стимулов Η связаны между собой простой линейной зависимостью: Τ0= Τ0+bΗ, где Τ0 – время простой реакции, когда m=1 и выбор отсутствует, а b – величина, обратно пропорциональная макс. скорости переработки информации человеком в данных условиях эксперимента. Затем последовало большое число работ, в к-рых исследовались особенности переработки информации человеком и условия применимости формулы Хика. Результаты этих исследований зачастую противоречат друг другу, и здесь все еще остается немало спорных моментов, в частности о соотношении статистич. и семантич. аспектов информации в реальной деятельности человека. Все же возможность введения математически описываемых моделей сенсомоторных процессов, когда человека-оператора рассматривают как канал связи, включенный между двумя технич. блоками системы управления, приобретает огромное практич. значение в инженерной психологии, где без количеств. оценки всех сторон деятельности человека нельзя получить критерии эффективности и надежности сложных автоматизиров. систем управления.

В биологии, по мнению амер. биолога М. Бразье (см. сб. "Концепция информации и биологические системы", пер. с англ., М., 1966), Т. и. пока не привела к открытию новых значит. фактов, в основном потому, что для сложных биологич. систем определение количества информации настолько трудно, что большинство биологов не пользуется Т. и. в ее количеств. аспекте. С др. стороны, методологич. основания Т. и. – упор на информационные и структурные, а не на энергетич. связи, использование вероятностных, а не детерминистских подходов, включение шумов в структуру как неотъемлемого фактора процесса переработки информации – принесли в биологию новые идеи и способствовали развитию новых направлений, в частности развитию метода моделирования важнейших биологич. и физиологич. процессов. Непосредств. применение информац. анализа к генетич. коду хромосом тоже дало интересные результаты и позволило установить предел многообразия биологич. структур, к-рое может быть передано наследств. путем.

В лингвистике количеств. методы Т. и. способствовали появлению интересных идей. Наиболее известны работы Колмогорова (1962) в области теории языка и стихосложения, наметившие пути дальнейшего развития самой Т. и. Так, им были введены понятия информационной емкости языка – h1, т.е. общего числа различных идей, к-рые могут быть изложены в данном языковом сообщении, и гибкости языка – h2, измеренной числом равноценных способов изложения одного и того же содержания средствами данного языка. Эти величины рассматриваются как составляющие общей энтропии языка: H= h1+ h2. Необходимым условием создания поэтич. формы в языке является выполнение неравенства h2>β, где β – коэффициент, определяемый системой фиксиров. ограничений, налагаемых стихотворной формой на текст данного языка. Все эти величины измеряются статистическими или даже комбинаторными способами, и с их помощью можно производить анализ стихотворных произведений, напр. с целью установления авторства. Вообще же попытки применения Т. и. в искусстве к анализу различных форм эстетич. восприятия пока не привели к практически ценным результатам. Здесь понятие информации используется порой как синоним сложности структур, предлагаемых для восприятия, и связывается с непредсказуемостью произведения или же с его оригинальностью. Однако действит. способ количеств. оценки этой величины пока найти не удалось.

Лит.: Шеннон К., Работы по теории информации и кибернетики, пер. с англ., М., 1963; Клаус Г., Кибернетика и философия, пер. с нем., М., 1963; Земан И., Познание и информация, пер. с чеш., М., 1966; Моль Α., Теория информации и эстетическое восприятие, пер. с франц., М., 1966; Войшвилло Е. К., Попытка семантической интерпретации статистических понятий информации и энтропии, в сб.: Кибернетику на службу коммунизму, т. 3, М.–Л., 1966; Пирс Дж., Символы, сигналы, шумы, [пер. с англ.], М., 1967; Уpсул А. Д., Природа информации, М., 1968; Сhеrrу С., On human communication, 2 ed., Camb.–L., [1966].

Л. Фаткин. Москва.

Философская Энциклопедия. В 5-х т. — М.: Советская энциклопедия. Под редакцией Ф. В. Константинова. 1960—1970.