Математическая энциклопедия - информационное расстояние

метрика или псевдометрика на совокупности распределений вероятностей, характеризующая "непохожесть" описываемых этими распределениями случайных явлений. Наиболее интересны И. p. r(P, Q), связанные с мерами информативности эксперимента в задаче различения Ри Qпо наблюдениям.

В любой конкретной задаче статистик, обработав материалы наблюдений, должен сделать выводы о наблюденном явлении. Эти выводы не будут, вообще говоря, совершенно точными, поскольку исходы наблюдений случайны. Интуитивно понятно, что каждая выборка несет какое-то количество полезной информации, причем: А) при обработке информация может только теряться, Б) информация, доставляемая независимыми источниками, напр, независимыми выборками, суммируется. Таким образом, если ввести информативность эксперимента как среднее количество информации в наблюдении, то для информативности выполнены аксиомы А и Б. И хотя понятие информации остается интуитивным, иногда можно указать величину I, удовлетворяющую аксиомам А и Б, к-рая описывает асимптотику средней точ ности выводов в задаче с ростом числа наблюдений и к-рую потому естественно принять за информативность. Информативность может быть как числовой, так и матричной величиной. Важный пример информационная матрица в задаче оценки параметра закона распределения.

Согласно аксиоме Б, информативности складываются как квадраты длин (катетов), т. е. квадрат разумного И. р. должен обладать свойством аддитивности. Простейшие И. р.расстояние по вариации:

и расстояние в инвариантной римановой метрике Фишера:

последним свойством не обладают и собственного статистич. смысла не имеют.

По теории Неймана Пирсона вся полезная информация о различении распределений вероятностей Р(dot )и Q(dw)на общем пространстве Q исходов w содержится в отношении правдоподобия или его логарифме

определенном с точностью до значений на множестве исходов вероятности нуль. Математическое ожидание

наз. (средней) информацией различения (по Кульбаку) в пользу Рпротив Q, а также относительной энтропией, информационным уклонением. Неотрицательная (может быть, бесконечная) величина I(P: Q )удовлетворяет аксиомам А и Б. Она характеризует точность одностороннего различения Рот Q, определяя максимальный порядок убывания вероятности bN ошибки второго рода (т. е. ошибочного принятия гипотезы Р, когда она неверна), при росте числа Nнезависимых наблюдений:

при фиксированном уровне значимости вероятности aN ошибки первого рода,

Аналогичная величина I(Q: Р)определяет максимальный порядок убывания aN при Отношение "сходства", в частности "сходства" случайных явлений, не симметрично и, Как правило, I(P:Q)I(Q: Р). Геометрич. интерпретация I(P: Q )как половины квадрата несимметричного расстояния от Qдо Роказалась естественной в ряде вопросов статистики. Для такого И. р. неравенство треугольника неверно, но справедлив несимметричный аналог теоремы Пифагора:

I(R:P) = I(R:Q) + I(Q:P), если

Симметричная характеристика непохожести Ри Qвозникает при их минимаксном тестировании. Для оптимального теста

С информационным уклонением связаны также нек-рые другие И. р. (см. [1], [2]). Для бесконечно близких Ри Qглавная часть информационного уклонения, равно как и квадрата любого разумного И. р., задается, с точностью до постоянного множителя с(I), квадратичной формой Фишера. Для информационного уклонения

Лит.:[1] Кульбак С, Теория информации и статистика, пер. с англ., М., 1967; [2] Ченцов Н. Н., Статистические решающие правила и оптимальные выводы, М., 1972.

Н. Н. Чепцов.

Математическая энциклопедия. — М.: Советская энциклопедия

И. М. Виноградов

1977—1985