Математическая энциклопедия - регрессия

зависимость среднего значения какой-либо случайной величины от нек-рой другой величины или от нескольких величин. Если, например, при каждом значении х=xi наблюдается ni значений случайной величины Y, то зависимость средних арифметических

этих значений от xi и является Р. в статистич. понимании этого термина. При обнаруженной закономерности изменения с изменением хпредполагается, что в основе наблюдаемого явления лежит вероятностная зависимость: при каждом фиксированном значении хслучайная величина Y имеет определенное распределение вероятностей с математич. ожиданием, к-рое является функцией х:

Зависимость , где хиграет роль "независимой" переменной, наз. р е г р е с с и е й (или ф у н к ц ие й р е г р е с с и и) в вероятностном понимании этого термина. График функции т(х)наз. л и н и е й р ег р е с с и и, или к р и в о й р е г р е с с и и, величины Y по х. Переменная хназ. р е г р е с с и о н н о й п е р е м е н н о й, или р е г р е с с о р о м. Точность, с к-рой линия регрессии Yпо хпередает изменение Yв среднем при изменении х, измеряется дисперсией величины Y, вычисляемой для каждого значения х:

Графически зависимость дисперсии s² (х)от хвыражается т. н. с к е д а с т и ч е с к о й л и н и е й. Если s² (х)=0при всех значениях x, то с вероятностью 1 величины связаны строгой функциональной зависимостью. Если s² (х)№0ни при каком значении хи т (х)не зависит от х, то регрессия Yпо хотсутствует..

В теории вероятностей задача Р. решается применительно к такой ситуации, когда значения регрессионной переменной х соответствуют значениям нек-рой случайной величины Xи предполагается известным совместное распределение вероятностей величин Xи Y(при этом математич. ожидание и дисперсия будут соответственно условным математич. ожиданием и условной дисперсией случайной величины Yпри фиксированном значении X=x). В этом случае определены две Р.: Y по х и X по у, и понятие Р. может быть использовано также для того, чтобы ввести нек-рые меры взаимосвязанности случайных величин X и Y, определяемые как характеристики степени концентрации распределения около линий Р. (см. Корреляция).

Функции Р. обладают тем свойством, что среди всех действительных функций f(x)минимум математич. ожидания достигается для функции f(x)= т (х), то есть регрессия Y по хдает наилучшее (в указанном смысле) представление величины Y. Наиболее важным является тот случай, когда регрессия Y по хл и н е й н а, т. е.

Коэффициенты b0 и b1, наз. коэффициентами Р., легко вычисляются:

(здесь r корреляции коэффициент X и Y, ,

, и п р я м а я регрессии Y по х имеет вид

(аналогичным образом находится прямая регрессии Xпо у). Точная линейная Р. имеет место в случае, когда двумерное распределение величин Xи Y является нормальным.

В условиях статистич. приложений, когда для точного определения Р. нет достаточных сведений о форме совместного распределения вероятностей, возникает задача приближенного нахождения Р. Решению этой задачи может служить выбор из всех функций g(x), принадлежащих заданному классу, такой функции, к-рая дает наилучшее представление величины Y в том смысле, что минимизирует математич. ожидание . Найденная функция наз. с р е д н е й к в а д р а т и ч е с к о й Р.

Простейшим будет случай л и н е й н о й с р е д н е й к в а д р а т и ч е с к о й Р., когда отыскивают наилучшую линейную аппроксимацию величины Y посредством величины X, т. е. такую линейную функцию

, для к-рой выражение

принимает наименьшее возможное значение. Данная экстремальная задача имеет единственное решение

т. е. вычисление приближенной линии Р. приводит к тому же результату, к-рый получен в случае точной линейной Р.:

Минимальное значение при вычисленных значениях параметров равно . Если регрессия т(х)существует, то при любых b0 и b1 имеет место соотношение

откуда следует, что прямая средней квадратич. регрессии дает наилучшее приближение к линии регрессии т(х), если измерять расстояние вдоль оси у. Поэтому если линия т(х)есть прямая, то она совпадает с прямой средней квадратической Р.

В общем случае, когда Р. сильно отличается от линейной, можно поставить задачу нахождения многочлена нек-рой степени т, для к-рого среднее значение имеет возможно меньшее значение.