Математическая энциклопедия - информации теория

раздел прикладной математики и кибернетики, связанный с математич. описанием и оценкой качества передачи, хранения, извлечения и классификации информации. Термин "И. т.", возникший в 50-х гг. 20 в., до сих пор (к 1978) не имеет единого общепринятого толкования. В разных источниках по-разному определяется перечень разделов наук, включаемых в И. т., а при логич. толковании в И. т. надо включать и нек-рые разделы науки, традиционно в нее не включаемые. Важной чертой, объединяющей различные разделы науки, относимые к И. т., является широкое использование статистич. методов. Это обусловлено тем, что процесс извлечения информации связывают с уменьшением неопределенности наших сведений об объекте, а естественной числовой мерой неопределенности нек-рого события является его вероятность.

Важнейшая составная часть И. т. при любых трактовках теория информации передачи. Часто, особенно в чисто математич. литературе, термин "И. т." используют как синоним термина "теория передачи информации". Теория передачи информации изучает оптимальные и близкие к оптимальным методы передачи информации по каналам связи в предположении, что можно в широких пределах варьировать методы кодирования сообщений в сигналы на входе канала связи и декодирование сигналов в сообщения на выходе.

Возникновение теории передачи информации связано с именем К. Шеннона (С. Shannon), предложившего в 1948 решение основной проблемы о нахождении скорости передачи информации, к-рую можно достичь при оптимальном методе кодирования и декодирования так, чтобы вероятность ошибки при передаче информации была как угодно мала. Эта оптимальная скорость передачи, называемая канала пропускной способностью, выражается через введенную К. Шенноном величину, называемую информации количеством. Понятие количества информации представляется весьма важным и находит многочисленные важные приложения и в других разделах И. т., хотя далеко не все попытки его приложения адекватны существу рассматриваемых проблем.

Задачи, связанные с оптимальным способом хранения информации, принципиально не отличаются от задач оптимальной передачи информации, так как хранение информации можно рассматривать как передачу информации, но не в пространстве, а во времени.

Основные теоремы теории передачи информации первоначально носили характер теорем существования, в к-рых доказывалось существование оптимальных методов кодирования и декодирования, но не указывались способы их построения и технич. реализации этих методов. Поэтому позже получила широкое развитие теория кодирования, посвященная построению конкретных и относительно простых алгоритмов кодирования и декодирования, приближающихся по своим возможностям к оптимальным алгоритмам, существование к-рых доказывалось в теории передачи информации. Теорию кодирования отличает то, что наряду со статистич. методами она использует для построения конкретных кодов глубокие алгебраические и комбинаторные идеи.

Обычно к И. т. относят также всю совокупность исследований, посвященных приложениям теории статистич. методов для описания способов преобразований сигналов на входе и выходе каналов связи. С математич. точки зрения, это просто нек-рые приложения математич. статистики (в первую очередь статистики случайных процессов), теории прогнозирования и фильтрации стационарных случайных процессов, теории игр и пр. Таким образом, этот раздел И. т. не имеет специфического математич. аппарата и в своем развитии все более сближается с другими разделами прикладной теории вероятностей.

В И. т. часто включают также теорию распознавания образов, разрабатывающую алгоритмы распределения объектов по нек-рым классам объектов, к-рые описаны лишь на интуитивном уровне и не имеют четкого математич. описания. Такие алгоритмы всегда включают в себя процесс обучения по нек-рому списку заранее классифицированных человеком объектов.

Попытка определить границы И. т., исходя из ее общепринятых определений, и включить в нее все разделы математики, имеющие дело с понятием информации в его общелексической трактовке, привела бы к неоправданной, по крайней мере на современном этапе, расширенной трактовке понятия И. т. Так, вся математич. статистика имеет дело с проблемами извлечения информации, теория алгоритмов с проблемами переработки информации, теория формальных языков с проблемами записи информации и т. д.

Понятие информации и его приложения весьма многообразны, и этим можно объяснить то, что в настоящее время (к 1978) комплекс наук об информации представляет собой совокупность довольно разрозненных научных дисциплин, каждая из к-рых связана с изучением одного из аспектов этого понятия. Несмотря на интенсивные усилия ученых процесс сближения этих научных дисциплин идет довольно медленно, и создание единой и всеохватывающей И. т. представляется делом не слишком близкого будущего.

Лит.:[1] Галлагер Р., Теория информации и надежная связь, пер. с англ., М., 1974; [2] Колмогоров А. Н., "Пробл. передачи информ.", 1965, т. 1, № 1, с. 3-11; [3] Xаркевич А. А., Борьба с помехами, 2 изд., М., 1965; [4] Бриллюэн Л., Наука и теория информации, пер. с англ., М., 1960; [5] Черри К., Человек и информация, пер. с англ., М., 1972; [6] Яглом А. М., Яглом И. М., Вероятность и информация, 3 изд., М., 1973; [7] Возенкрафт Дж., Джекобе И., Теоретические основы техники связи, пер. с англ., М., 1969; [8] Левин Б. Р., Теоретические основы статистической радиотехники, 2 изд., М., 1974.

Р. Л. Добрушин, В. В. Прелое.

Математическая энциклопедия. — М.: Советская энциклопедия

И. М. Виноградов

1977—1985