Математическая энциклопедия - оценка статистическая

функция от случайных величин, применяемая для оценки неизвестных параметров теоретич. распределения вероятностей. Методы теории О. с. служат основой современной теории ошибок; обычно в качестве неизвестных параметров выступают измеряемые физич. постоянные, а в качестве случайных величин результаты непосредственных измерений, подверженные случайным ошибкам. Напр., если независимые одинаково нормально распределенные случайные величины (результаты равноточных измерений, подверженных независимым нормально распределенным случайным ошибкам), то в качестве О. с. для неизвестного среднего значения а (приближенного значения измеряемой физич. постоянной) применяется среднее арифметическое

О. с. как функция от случайных величин чаще всего задается теми или иными формулами, выбор к-рых определяется требованиями практики. При этом различают оценки точечные и оценки интервальные.

Точечные оценки. Точечной оценкой наз. такая О. с., значение к-рой представимо геометрически в виде точки в том же пространстве, что и значения неизвестных параметров (размерность пространства равна числу оцениваемых параметров). Именно точечные О. с. и используются как приближенные значения для неизвестных физич. величин. В дальнейшем для простоты предполагается, что оценке подлежит один единственный параметр; в этом случае точечная О. с. представляет собой функцию от результатов наблюдений, принимающую числовые значения.

Точечную О. с. наз. несмещенной, если ее математич. ожидание совпадает с оцениваемой величиной, т. е. если О. с. лишена систематич. ошибки. Среднее арифметическое (1) несмещенная О. с. для математич. ожидания одинаково распределенных случайных величин Xi (не обязательно нормальных). В то же время выборочная дисперсия

является смещенной О. с. для дисперсии , так как ; в качестве несмещенной О. с. для s² обычно берут функцию

См. также Несмещенная оценка.

За меру точности несмещенной О. с. а для параметра ачаще всего принимают дисперсию Da.

О. с. с наименьшей дисперсией наз. наилучшей. В приведенном примере среднее арифметическое (1) наилучшая О. с. Однако если распределение вероятностей случайных величин Xi отлично от нормального, то О. с. (1) может и не быть наилучшей. Напр., если результаты наблюдений Х i распределены равномерно в интервале (b, с), то наилучшей О. с. для математич. ожидания а=(b+с)/2 будет полусумма крайних значений

(3)

В качестве характеристики для сравнения точности различных О. с. применяют эффективность отношение дисперсий наилучшей оценки и данной несмещенной оценки. Напр., если результаты наблюдений Х i распределены равномерно, то дисперсии оценок (1) и (3) выражаются формулами

и (4)

Так как оценка (3) наилучшая, то эффективность оценки (1) в данном случае есть

При большом количестве наблюдений побычно требуют, чтобы выбранная О. с. стремилась по вероятности к истинному значению параметра а, т. е. чтобы для всякого e > 0

такие О. с. наз. состоятельными (пример состоятельной О. с,любая несмещенная оценка, дисперсия к-рой при стремится к нулю; см. также Состоятельная оценка). Поскольку важную роль при этом играет порядок стремления к пределу, то асимптотически наилучшими являются асимптотически эффективные О. с., то есть такие О. с., для к-рых при

Напр., если распределены одинаково нормально, то О. с. (2) представляет собой асимптотически эффективную оценку для неизвестного параметра , так как при дисперсия оценки и дисперсия наилучшей оценки асимптотически эквивалентны:

и, кроме того,

Фундаментальное значение для теории О. с. и ее приложений имеет тот факт, что квадратичное отклонение О. с. для параметра аограничено снизу нек-рой величиной (этой величиной Р. Фишер (R. Fischer) предложил характеризовать количество информации относительно неизвестного параметра a, содержащийся в результатах наблюдений). Напр., если независимы и одинаково распределены с плотностью вероятности р(х; а).и если О. с. для нек-рой функции g(a).от параметра а, то в широком классе случаев

где

Функцию b(а) наз. смещением, а величину, обратную правой части неравенства (5), наз. количеством информации (по Фишеру) относительно функции g(a), содержащейся в результате наблюдений. В частности, если а несмещенная О. с. параметра а, то ,

и

(6)

причем количество информации nIa в этом случае пропорционально количеству наблюдений (функцию I(а).наз. количеством информации, содержащейся в одном наблюдении).

Основные условия, при к-рых справедливы неравенства (5) и (6), гладкость оценки акак функции от Xi, а также независимость от параметра амножества тех точек х, где р( х, а)=0. Последнее условие не выполняется, напр., в случае равномерного распределения, и поэтому дисперсия О. с. (3) не удовлетворяет неравенству (6) [согласно (4) эта дисперсия есть величина порядка n^-2, в то время как по неравенству (6) она не может иметь порядок малости выше, чем п ^-1].

Неравенства (5) и (6) справедливы и для дискретно распределенных случайных величин Xi нужно лишь в определении информации I(а).плотность р(х; а).заменить вероятностью события {Х=х}.

Если дисперсия несмещенной О. с. a* для параметра асовпадает с правой частью неравенства (6), то наилучшая оценка. Обратное утверждение, вообще говоря, неверно: дисперсия наилучшей О. с. может превышать . Однако если , то дисперсия наилучшей оценки асимптотически эквивалентна правой части (6), т. е. . Таким образом, с помощью количества информации (по Фишеру) можно определить асимптотич. эффективность несмещенной О. с. а, полагая

(7)

Особенно плодотворным информационный подход к теории О. с. сказывается тогда, когда плотность (в дискретном случае вероятность) совместного распределения случайных величин пред-ставима в виде произведения двух функций h(x1,х 2,...,х п).[у( х 1, х 2,..., х n);а], из к-рых первая не зависит от а, а вторая представляет собой плотность распреде-деления нек-рой случайной величины Z=y(X1, Х 2,..., Х п), наз. достаточной статистикой или исчерпывающей статистикой.

Один из наиболее распространенных методов нахождения точечных О. с.моментов метод. Согласно этому методу, теоретич. распределению, зависящему от неизвестных параметров, ставят в соответствие дискретное выборочное распределение, к-рое определяется результатами наблюдений Xi и представляет собой распределение вероятностей воображаемой случайной величины, принимающей значения с одинаковыми вероятностями, равными 1/n (выборочное распределение можно рассматривать как точечную О. с. для теоретич. распределения). В качестве О. с. для моментов теоретич. распределения принимают соответствующие моменты выборочного распределения; напр., для математич. ожидания аи дисперсии s² метод моментов дает следующие О. с.: выборочное среднее (1) и выборочную дисперсию (2). Неизвестные параметры обычно выражаются (точно или приближенно) в виде функций от нескольких моментов теоретич. распределения. Заменяя в этих функциях теоретич. моменты выборочными, получают искомые О. с. Этот метод, часто приводящий на практике к сравнительно простым вычислениям, дает, как правило, О. с. невысокой асимптотической эффективности (см. выше пример оценки математического ожидания равномерного распределения).

Другой метод нахождения О. с., более совершенный с теоретич. точки зрения,максимального правдоподобия метод, или наибольшего правдоподобия метод. Согласно этому методу, рассматривают функцию правдоподобия L(а), к-рая представляет собой функцию неизвестного параметра аи получается в результате замены в плотности совместного распределения аргументов xi самими случайными величинами Xi; если Xi- независимы и одинаково распределены с плотностью вероятности р(x; а), то

(если Xi распределены дискретно, то в определении функции правдоподобия Lследует плотности заменить вероятностями событий ). В качестве О. с. максимального правдоподобия для неизвестного параметра апринимают такую величину a, для к-рой L(a) достигает наибольшего значения (при этом часто вместо Lрассматривают т. н. логарифмическую функцию правдоподобия ; в силу монотонности логарифма точки максимумов функций L(a).и l(a) совпадают). Примерами О. с. максимального правдоподобия являются оценки по наименьших квадратов методу.

Основное достоинство О. с. максимального правдоподобия заключается в том, что при нек-рых общих условиях эти оценки состоятельны, асимптотически эффективны и распределены приближенно нормально.

Перечисленные свойства означают, что если a есть О. с. максимального правдоподобия, то при

(если Xнезависимы, то ). Таким образом, для функции распределения нормированной О. с. имеет место предельное соотношение

(8)

Преимущества О. с. максимального правдоподобия оправдывают вычислительную работу по отысканию максимума функции L(или l). В нек-рых случаях вычислительная работа существенно сокращается благодаря следующим свойствам: во-первых, если a* такая О. с., для к-рой неравенство (6) обращается в равенство, то О. с. максимального правдоподобия единственна и совпадает с a*, во-вторых, если существует достаточная статистика Z, то О. с. максимального правдоподобия есть функция Z.

Пусть, напр., независимы и распределены одинаково нормально так, что

поэтому

Координаты а= а 0 и s= s0 точки максимума функции I( а,s).удовлетворяют системе уравнений

Таким образом, и, значит, в данном случае О. с. (1) и (2) оценки максимального правдоподобия, причем наилучшая О. с. параметра а, распределенная нормально (, ), а асимптотически эффективная О. с. параметра s², распределенная при больших пприближенно нормально (). Обе оценки представляют собой независимые достаточные статистики.

Еще один пример, в к-ром

Эта плотность удовлетворительно описывает распределение одной из координат частиц, достигших плоского экрана и вылетевших из точки, расположенной вне экрана (a координата проекции источника на экранпредполагается неизвестной). Для указанного распределения математич. ожидание не существует, т. к. соответствующий интеграл расходится. Поэтому отыскание О. с. для аметодом моментов невозможно. Формальное применение в качестве О. с. среднего арифметического (1) лишено смысла, т. к. распределено в данном случае с той же плотностью р(х; a), что и каждый единичный результат наблюдений. Для оценки аможно воспользоваться тем обстоятельством, что рассматриваемое распределение симметрично относительно точки х=а и, значит, а - медиана теоретич. распределения. Несколько видоизменяя метод моментов, в качестве О. с. для апринимают т. н. выборочную медиану m, к-рая при является несмещенной О. с. для a, причем если пвелико, то m распределена приближенно нормально с дисперсией

В то же время

поэтому и, значит, согласно (7) асимптотич. эффективность равна . Таким образом, для того чтобы выборочная медиана m была столь же точной О. с. для a, как и оценка наибольшего правдоподобия a, нужно количество наблюдений увеличить на 25%. Если затраты на эксперимент велики, то для определения аследует воспользоваться О. с. а, к-рая в данном случае определяется как корень уравнения

В качестве первого приближения выбирают a0=u и далее решают это уравнение последовательными приближениями по формуле

См. также Точечная оценка.

Интервальные оценки. Интервальной оценкой наз. такая О. с., к-рая геометрически представима в виде множества точек, принадлежащих пространству параметров. Интервальную О. с. можно рассматривать как множество точечных О. с. Это множество зависит от результатов наблюдений и, следовательно, оно случайно; поэтому каждой интервальной О. с. ставится в соответствие вероятность, в к-рой эта оценка "накроет" неизвестную параметрич. точку. Такая вероятность, вообще говоря, зависит от неизвестных параметров; поэтому в качестве характеристики достоверности интервальной О. с. принимают коэффициент доверия наименьшее возможное значение указанной вероятности. Содержательные стати-стич. выводы позволяют получать лишь те интервальные О. с., коэффициент доверия к-рых близок к единице.

Если оценивается один параметр a, то интервальной О. с. обычно является нек-рый интервал (b, g).(т. н. доверительный интервал), конечные точки к-рого (b и g представляют собой функции от результатов наблюдений; коэффициент доверия со в данном случае определяется как нижняя грань вероятности одновременного осуществления двух событий {b < a} и (g > a}, вычисляемая по всем возможным значениям параметра a:

Если середину такого интервала принять за точечную О. с. для параметра a, то с вероятностью не менее чем со можно утверждать, что абсолютная погрешность этой О. с. не превышает половины длины интервала . Иными словами, если руководствоваться указанным правилом оценки абсолютной погрешности, то ошибочное заключение будет получаться в среднем менее чем в случаев. При фиксированном коэффициенте доверия со наиболее выгодны кратчайшие доверительные интервалы, для к-рых математич. ожидание длины достигает наименьшего значения.

Если распределение случайных величин Xi зависит только от одного неизвестного параметра а, то построение доверительного интервала обычно осуществляется с помощью какой-либо точечной О. с. а. Для большинства практически интересных случаев функция распределения разумно выбранной О. с. а монотонно зависит от параметра а. В этих условиях для отыскания интервальной О. с. следует в F(х; а )подставить х=a. и определить корни а 1= a1(a, w) и а 2=a2(a, w) уравнений

(9) где

[для непрерывных распределений ]. Точки с координатами и ограничивают доверительный интервал с коэффициентом доверия w. Разумеется, интервал, построенный столь простым способом, во многих случаях может отличаться от оптимального (кратчайшего). Однако если a асимптотически эффективная О. с. для a, то при достаточно большом количестве наблюдений такая интервальная О. с. практически несущественно отличается от оптимальной. В частности, это верно для О. с. наибольшего правдоподобия, т. к. она распределена асимптотически нормально (см. (8)). В тех случаях, когда решение уравнений (9) затруднительно, интервальную О. с. вычисляют приближенно с помощью точечной О. с. максимального правдоподобия и соотношения (8):

где х - корень уравнения

Если , то истинный коэффициент доверия интервальной оценки стремится к w. В более общем случае распределение результатов наблюдений Xi зависит от нескольких параметров а, b,.... В этих условиях указанные выше правила построения доверительных интервалов часто оказываются неприменимыми, т. к. распределение точечной О. с. a, зависит, как правило, не только от a, но и от остальных параметров. Однако в практически интересных случаях О. с. a можно заменить такой функцией от результатов наблюдений Xi и неизвестного параметра я, распределение к-рой не зависит (или "почти не зависит") от всех неизвестных параметров. Примером такой функции может служить нормированная О. с. максимального правдоподобия ; если в знаменателе аргументы a, b,... заменить их оценками максимального правдоподобия a, b,. . . , то предельное распределение останется тем же самым, что и в формуле (8). Поэтому приближенные доверительные интервалы для каждого параметра в отдельности можно строить так же, как и в случае одного параметра.

Как уже отмечалось выше, если ,... независимые и одинаково нормально распределенные случайные величины, то и s² наилучшие О. с. для параметров a и s² соответственно. Функция распределения О. с. выражается формулой

и, следовательно, она зависит не только от a, но также и от s. В то же время распределение т. н. отношения Стьюдента

не зависит ни от a, ни от s, причем

где постоянная выбирается так, чтобы выполнялось равенство . Таким образом, доверительному интервалу

соответствует коэффициент доверия

Распределение оценки s² зависит лишь от s², причем функция распределения О. с. s² аадается формулой