Большая Советская энциклопедия - избыточность сообщений

понятие теории информации. Наличие избыточности в записи сообщений какого-либо источника информации (См. Информация) проявляется в возможности записать эти сообщения в среднем более кратко, используя те же самые знаки (то есть заменяя код на другой с тем же алфавитом; см. Код, Кодирование). Например, если рассматриваемые сообщения представляют собой последовательности знаков 0 и 1, в которых единица встречается в среднем один раз на десять знаков, то, применяя кодирование по правилу

00 → 0, 01 → 10, 10 → 110, 11 → 111,

можно сократить запись почти вдвое. Максимальная доля «лишних» знаков определяется по статистическим свойствам рассматриваемого источника сообщений и также называется его избыточностью. В этом понимании И. с. R определяется по формуле .