наименьших квадратов метод

НАИМЕНЬШИХ КВАДРАТОВ МЕТОД - метод оценивания неизвестных параметров теоретич. моделей по косвенным измерениям при параметрич. анализе данных (см. Анализ данных ).H. к. м. был предложен К. Гауссом (С. GauB, 1809) для задач геодезии и астрономии в след. формулировке. Пусть существует модель явления, в к-рой x - вектор аргументов, а - вектор неизвестных параметров. Для определения параметров а проводятся косвенные измерения, т. е. измеряются не сами параметры a, a ф-ции этих параметров f (х|а), вычисляемые согласно модели. Благодаря ошибкам измерения e_n результаты измерения Y_n равны

Относительно e_n предполагается, что они являются чисто случайными величинами, т. е. при многократном проведении измерений их ср. значения равны нулю, M(e_n) = 0, M(Y_n) = f(x_n|a), а также что они некорре-лированы и их дисперсии равны s²_n , M(e_ne_m)= s²_nd_nm. Согласно Гауссу, в качестве оценки а (оценки H. к. м.) следует взять величину а^{^}, минимизирующую выражение

При этом подразумевается, что число измерений N>=I, где I - число неизвестных параметров a_i.

Обобщением метода на случай коррелиров. ошибок измерения, M(e_ne_m) = S_nm, является поиск величины из условия минимума квадратичной формы

H. к. м. используют при обработке результатов наблюдений, в разл. задачах регрессионного анализа и т. д. Напр., в физике элементарных частиц его применяют для оценки импульса частицы по измерениям координат точек её траектории в магн. поле и оценки параметров плотности распределения р(х|а)случайной величины c по числу событий Y_n в ячейках гистограммы.

Оптимальность оценки H. к. м. Использование метода обусловлено оптим. свойствами его оценки для моделей с линейной зависимостью M(Y_n)= f(x_n|a)от параметров а. Рассмотрим их. Итак, пусть

Выражение (1) в этом случае кратко записывается в виде

где T - символ транспонирования. В предположении, что ранг матрицы А больше или равен I, оценка H. к. м. равна

Из (3) следует, что является линейной оценкой, т. е. линейной ф-цией измерений Y_n. Если усреднить (3) по ошибкам измерения, то оказывается, что

т. е. оценка является несмещённой.

Благодаря ошибкам измерения имеет шумовую составляющую, к-рая характеризуется матрицей ошибок (ковариационной матрицей):

Диагональные элементы К_ii являются дисперсиями ошибок, содержащихся в .

В исследование оптимальности H. к. м. внёс вклад А. А. Марков, к-рый в 1900 доказал след. утверждение (теорема Гаусса - Маркова): среди всех линейных несмещённых оценок минимальными дисперсиями К_ii обладает оценка (3), т. е. оценка Н. к. м.

В том случае, когда S = s², где s² - неизвестный параметр, - известная матрица, несмещённой оценкой s² является величина

Величину N - I наз. числом степеней свободы.

Подчеркнём, что перечисленные оптим. свойства оценки H. к. м. не зависят от вида распределения вектора e, а лишь от предположения справедливости линейной связи (2).

Иногда оказывается, что между искомыми параметрами а_i существует связь, отражающая физ. закономерность:

Напр., импульсы всех частиц в точке взаимодействия удовлетворяют закону сохранения 4-импульса. Учёт такой априорной информации приводит к уменьшению ошибок оценок параметров. Если связи (4) линейны, т. е.

то оценка H. к. м., удовлетворяющая (5), имеет вид

где

Можно убедиться, что оценка (6) является несмещённой, а для её матрицы ошибок K_G выполняется

т. к. D - положительно определённая матрица.

В случае нелинейных связей (4) задача построения оценки H. к. м., удовлетворяющей (4), существенно усложняется и решается численными методами.

Разновидности H. к. м. Важным частным случаем H. к. м. является c²-метод, к-рый используется при работе с данными, сгруппированными в гистограмму. В этом случае Y_n есть числа событий в ячейках гистограммы. При больших значениях Y_n их можно рассматривать как независимые случайные величины, распределённые по нормальному закону. Если изучаемое распределение есть р(х|а), где x - измеряемая случайная величина, а - вектор неизвестных параметров, то ср. число событий в ячейке гистограммы (а) равно (M - полное число событий), а дисперсия Y_n равна (а). Тогда, согласно H. к. м., оценка а должна находиться из минимума выражения

Для упрощения задачи минимизации (7) (а) в знаменателе (7) часто заменяют на Y_n (модифицированный c²-метод). Своё назв. метод получил по той причине, что при больших Y_n (приближение нормального распределения) Ф(а = ) распределено по c²-pаспрe-делению с числом степеней свободы N - I - 1.

Если ф-ции f(x|a)или р(х|а)нелинейны, то поиск оценки а осуществляется одним из методов численной минимизации (1) или (7). Тем не менее можно получить ряд асимптотич. свойств (при N ) оценки H. к. м.

Оценка H. к. м. состоятельна, т. е. при N один из корней системы ур-ний дФ/дa_i = 0 сходится к точному значению а. Оценка H. к. м. асимптотически распределена по нормальному закону. Однако матрица ошибок больше обратной к информац. матрице (см. Максимального правдоподобия метод), т. е. оценка H. к. м. не является эффективной. При конечных N оценка H. к. м. является смещённой и неэффективной. Эфф. способом изучения её свойств является Монте-Карло метод: задаваясь значением а из области возможных значений, получают выборку Y_n; по Y_n находят оценку и строят выборочные среднее и матрицу ошибок (вообще говоря, выборочное распределение). Отметим, что на практике широко используют приближённое выражение для матрицы ошибок

В том частном случае, когда распределение Y_n является многомерным нормальным распределением, кова-риац. матрица к-рого не зависит от a, H. к. м. совпадает с методом макс. правдоподобия. В этом случае оценка H. к. м. обладает оптим. свойствами, присущими оценке максимума правдоподобия. Кроме того, F(a = ) распределено по c²-распределению с числом степеней свободы N - I.

Для нелинейных f(x|a)и р(х|а)широкое использование H. к. м. обусловлено двумя причинами: 1) метод не требует знания ф-ции распределения Y_n, а лишь среднего M(Y_n) = f(x_n|a)и матрицы ошибок S; 2) задача минимизации квадратичных форм (1) и (7) значительно проще задачи минимизации ф-ций более общего вида, к-рые появляются в др. методах оценивания.

Лит.: Линник Ю. В., Метод наименьших квадратов и основы математико-статистической теории обработки наблюдений, 2 изд., M., 1962; Клепиков H. П., Соколов С. H., Анализ и планирование экспериментов методом максимума правдоподобия, M., 1964; Xудсон Д., Статистика для физиков, пер. с англ., 2 изд., M., 1970; Pао С. Р., Линейные статистические методы и их применения, пер. с англ., M., 1968; Статистические методы в экспериментальной физике, пер. с англ., M., 1976. В. П. Жигунов, С. В. Клименко.

   <<      Предметный указатель      >>