Всего наименьших квадратов - Total least squares

Двумерный (регрессия Деминга) случай общих наименьших квадратов. Красные линии показывают ошибку в обоих Икс и y. Это отличается от традиционного метода наименьших квадратов, который измеряет ошибку параллельно y ось. Показанный случай с отклонениями, измеренными перпендикулярно, возникает, когда ошибки в Икс и y имеют равные отклонения.

В прикладная статистика, Всего наименьших квадратов это тип регрессия ошибок в переменных, а наименьших квадратов метод моделирования данных, в котором учитываются ошибки наблюдений как зависимых, так и независимых переменных. Это обобщение Регрессия Деминга а также ортогональная регрессия, и может применяться как к линейным, так и к нелинейным моделям.

Аппроксимация данных методом наименьших квадратов в общем эквивалентна наилучшему в Норма Фробениуса, приближение низкого ранга матрицы данных.^[1]

Линейная модель

Фон

в наименьших квадратов метод моделирования данных, целевая функция, S,

${\displaystyle S=\mathbf {r^{T}Wr} ,}$

минимизируется, где р вектор остатки и W матрица весов. В линейный метод наименьших квадратов модель содержит уравнения, линейные относительно параметров, входящих в вектор параметров ${\displaystyle {\boldsymbol {\beta }}}$, поэтому остатки имеют вид

${\displaystyle \mathbf {r=y-X{\boldsymbol {\beta }}} .}$

Есть м наблюдения в y и п параметры в β с м>п. Икс это м×п матрица, элементы которой являются либо константами, либо функциями независимых переменных, Икс. Матрица весов W в идеале является обратным ковариационная матрица ${\displaystyle \mathbf {M} _{y}}$ наблюдений y. Предполагается, что независимые переменные не содержат ошибок. Оценки параметров находятся путем приведения градиентных уравнений к нулю, что приводит к нормальным уравнениям^{[примечание 1]}

${\displaystyle \mathbf {X^{T}WX{\boldsymbol {\beta }}=X^{T}Wy} .}$

Разрешение ошибок наблюдения во всех переменных

Теперь предположим, что оба Икс и y наблюдаются с погрешностью, с матрицами дисперсии-ковариации ${\displaystyle \mathbf {M} _{x}}$ и ${\displaystyle \mathbf {M} _{y}}$ соответственно. В этом случае целевую функцию можно записать как

${\displaystyle S=\mathbf {r_{x}^{T}M_{x}^{-1}r_{x}+r_{y}^{T}M_{y}^{-1}r_{y}} ,}$

куда ${\displaystyle \mathbf {r} _{x}}$ и ${\displaystyle \mathbf {r} _{y}}$ остатки в Икс и y соответственно. Ясно, что эти остатки не могут быть независимыми друг от друга, но они должны быть ограничены каким-то отношением. Запись функции модели как ${\displaystyle \mathbf {f(r_{x},r_{y},{\boldsymbol {\beta }})} }$, ограничения выражаются м условные уравнения.^[2]

${\displaystyle \mathbf {F=\Delta y-{\frac {\partial f}{\partial r_{x}}}r_{x}-{\frac {\partial f}{\partial r_{y}}}r_{y}-X\Delta {\boldsymbol {\beta }}=0} .}$

Таким образом, проблема заключается в минимизации целевой функции с учетом м ограничения. Это решается использованием Множители Лагранжа. После некоторых алгебраических манипуляций,^[3] результат получен.

${\displaystyle \mathbf {X^{T}M^{-1}X\Delta {\boldsymbol {\beta }}=X^{T}M^{-1}\Delta y} ,}$

или альтернативно ${\displaystyle \mathbf {X^{T}M^{-1}X{\boldsymbol {\beta }}=X^{T}M^{-1}y} ,}$куда M - это ковариационная матрица для независимых и зависимых переменных.

${\displaystyle \mathbf {M=K_{x}M_{x}K_{x}^{T}+K_{y}M_{y}K_{y}^{T};\ K_{x}=-{\frac {\partial f}{\partial r_{x}}},\ K_{y}=-{\frac {\partial f}{\partial r_{y}}}} .}$

Пример

Когда ошибки данных не коррелированы, все матрицы M и W диагональные. Затем возьмем пример прямой линии.

${\displaystyle f(x_{i},\beta )=\alpha +\beta x_{i}}$

в этом случае

${\displaystyle M_{ii}=\sigma _{y,i}^{2}+\beta ^{2}\sigma _{x,i}^{2}}$

показывает, как дисперсия я-я точка определяется дисперсией как независимых, так и зависимых переменных, а также моделью, используемой для подбора данных. Выражение можно обобщить, отметив, что параметр ${\displaystyle \beta }$ наклон линии.

${\displaystyle M_{ii}=\sigma _{y,i}^{2}+\left({\frac {dy}{dx}}\right)_{i}^{2}\sigma _{x,i}^{2}}$

Выражение этого типа используется при подгонке данные титрования pH где небольшая ошибка на Икс приводит к большой ошибке по y при большом наклоне.

Алгебраическая точка зрения

Как показали Голуб и Ван Лоан в 1980 г., проблема TLS в целом не имеет решения.^[4] Ниже рассматривается простой случай, когда единственное решение существует без каких-либо конкретных предположений.

Вычисление TLS с использованием разложение по сингулярным числам описывается в стандартных текстах.^[5] Мы можем решить уравнение

${\displaystyle XB\approx Y}$

за B куда Икс является м-к-п и Y является м-к-k. ^{[заметка 2]}

То есть мы стремимся найти B что минимизирует матрицы ошибок E и F за Икс и Y соответственно. То есть,

${\displaystyle \mathrm {argmin} _{E,F}\|[E\;F]\|_{F},\qquad (X+E)B=Y+F}$

куда ${\displaystyle [E\;F]}$ это расширенная матрица с E и F бок о бок и ${\displaystyle \|\cdot \|_{F}}$ это Норма Фробениуса, квадратный корень из суммы квадратов всех элементов матрицы и, что эквивалентно, квадратный корень из суммы квадратов длин строк или столбцов матрицы.

Это можно переписать как

${\displaystyle [(X+E)\;(Y+F)]{\begin{bmatrix}B\\-I_{k}\end{bmatrix}}=0.}$

куда ${\displaystyle I_{k}}$ это ${\displaystyle k\times k}$ единичная матрица, цель которой - найти ${\displaystyle [E\;F]}$ что снижает ранг ${\displaystyle [X\;Y]}$ к k. Определять ${\displaystyle [U][\Sigma ][V]^{*}}$ быть сингулярным разложением расширенной матрицы ${\displaystyle [X\;Y]}$.

${\displaystyle [X\;Y]=[U_{X}\;U_{Y}]{\begin{bmatrix}\Sigma _{X}&0\\0&\Sigma _{Y}\end{bmatrix}}{\begin{bmatrix}V_{XX}&V_{XY}\\V_{YX}&V_{YY}\end{bmatrix}}^{*}=[U_{X}\;U_{Y}]{\begin{bmatrix}\Sigma _{X}&0\\0&\Sigma _{Y}\end{bmatrix}}{\begin{bmatrix}V_{XX}^{*}&V_{YX}^{*}\\V_{XY}^{*}&V_{YY}^{*}\end{bmatrix}}}$

куда V разбит на блоки, соответствующие форме Икс и Y.

С использованием Теорема Эккарта – Юнга приближение, минимизирующее норму ошибки, таково, что матрицы ${\displaystyle U}$ и ${\displaystyle V}$ неизменны, а самые маленькие ${\displaystyle k}$ сингулярные значения заменяются нулями. То есть мы хотим

${\displaystyle [(X+E)\;(Y+F)]=[U_{X}\;U_{Y}]{\begin{bmatrix}\Sigma _{X}&0\\0&0_{k\times k}\end{bmatrix}}{\begin{bmatrix}V_{XX}&V_{XY}\\V_{YX}&V_{YY}\end{bmatrix}}^{*}}$

так по линейности,

${\displaystyle [E\;F]=-[U_{X}\;U_{Y}]{\begin{bmatrix}0_{n\times n}&0\\0&\Sigma _{Y}\end{bmatrix}}{\begin{bmatrix}V_{XX}&V_{XY}\\V_{YX}&V_{YY}\end{bmatrix}}^{*}.}$

Затем мы можем удалить блоки из U и Σ-матриц, упрощая до

${\displaystyle [E\;F]=-U_{Y}\Sigma _{Y}{\begin{bmatrix}V_{XY}\\V_{YY}\end{bmatrix}}^{*}=-[X\;Y]{\begin{bmatrix}V_{XY}\\V_{YY}\end{bmatrix}}{\begin{bmatrix}V_{XY}\\V_{YY}\end{bmatrix}}^{*}.}$

Это обеспечивает E и F так что

${\displaystyle [(X+E)\;(Y+F)]{\begin{bmatrix}V_{XY}\\V_{YY}\end{bmatrix}}=0.}$

Сейчас если ${\displaystyle V_{YY}}$ неособен, что не всегда так (обратите внимание, что поведение TLS при ${\displaystyle V_{YY}}$ сингулярна, еще не очень хорошо изучена), тогда мы можем умножить обе части справа на ${\displaystyle -V_{YY}^{-1}}$ привести нижний блок правой матрицы к отрицательной единице, давая^[6]

${\displaystyle [(X+E)\;(Y+F)]{\begin{bmatrix}-V_{XY}V_{YY}^{-1}\\-V_{YY}V_{YY}^{-1}\end{bmatrix}}=[(X+E)\;(Y+F)]{\begin{bmatrix}B\\-I_{k}\end{bmatrix}}=0,}$

и так

${\displaystyle B=-V_{XY}V_{YY}^{-1}.}$

Наивный GNU Octave реализация этого:

функцияB =tls(X, Y)[м п]   = размер(Икс);            % n - ширина X (X - это m на n)Z  = [X Y];              % Z - это X, дополненный Y.[U S V] = svd(Z,0);           % найти СВД З.VXY  = V (1: n, 1 + n: конец);     % Возьмите блок V, состоящий из первых n строк и n + 1 до последнего столбцаVYY  = V (1 + n: конец, 1 + n: конец); % Возьмите нижний правый блок V.B  = -VXY / VYY;конец

Описанный выше способ решения задачи, требующий, чтобы матрица ${\displaystyle V_{YY}}$ неособен, может быть немного расширен так называемым классический алгоритм TLS.^[7]

Вычисление

Стандартная реализация классического алгоритма TLS доступна через Netlib, смотрите также.^[8][9] Все современные реализации, основанные, например, на решении последовательности обычных задач наименьших квадратов, аппроксимируют матрицу ${\displaystyle B}$ (обозначено ${\displaystyle X}$ в литературе), как введено Ван Хаффель и Вандевалле. Стоит отметить, что это ${\displaystyle B}$ однако не решение TLS во многих случаях.^[10][11]

Нелинейная модель

За нелинейные системы аналогичные рассуждения показывают, что нормальные уравнения для итерационного цикла можно записать как

${\displaystyle \mathbf {J^{T}M^{-1}J\Delta {\boldsymbol {\beta }}=J^{T}M^{-1}\Delta y} .}$

Геометрическая интерпретация

Основная статья: Подбор кривой § Алгебраическая подгонка против геометрической подгонки для кривых

Дальнейшая информация: Ортогональная регрессия

Если независимая переменная не содержит ошибок, остаток представляет собой «вертикальное» расстояние между наблюдаемой точкой данных и подобранной кривой (или поверхностью). В сумме наименьших квадратов остаток представляет собой расстояние между точкой данных и подобранной кривой, измеренное в некотором направлении. Фактически, если обе переменные измеряются в одних и тех же единицах и ошибки для обеих переменных одинаковы, то остаток представляет собой кратчайшее расстояние между точкой данных и подобранной кривой, то есть вектор невязки перпендикулярен касательной к кривой. По этой причине этот тип регрессии иногда называют двумерная евклидова регрессия (Штейн, 1983)^[12] или же ортогональная регрессия.

Масштабно-инвариантные методы

Серьезные трудности возникают, если переменные не измеряются в одних и тех же единицах. Сначала рассмотрите возможность измерения расстояния между точкой данных и линией: каковы единицы измерения этого расстояния? Если мы рассмотрим измерение расстояния на основе теоремы Пифагора, то станет ясно, что мы будем добавлять величины, измеренные в разных единицах, что бессмысленно. Во-вторых, если мы изменим масштаб одной из переменных, например, измерить в граммах, а не в килограммах, мы получим другие результаты (другая строка). Чтобы избежать этих проблем, иногда предлагается преобразовать в безразмерные переменные - это можно назвать нормализацией или стандартизацией. Однако есть разные способы сделать это, и они приводят к созданию подогнанных моделей, которые не эквивалентны друг другу. Один из подходов состоит в нормализации на известную (или предполагаемую) точность измерения, тем самым минимизируя Расстояние Махаланобиса от точек к линии, обеспечивая максимальная вероятность решение;^{[нужна цитата ]} неизвестная точность может быть найдена через дисперсионный анализ.

Короче говоря, метод наименьших квадратов не обладает свойством инвариантности единиц, т.е. это не так масштабный инвариант. Для содержательной модели мы требуем, чтобы это свойство соблюдалось. Путь вперед состоит в том, чтобы понять, что остатки (расстояния), измеренные в разных единицах, можно комбинировать, если вместо сложения использовать умножение. Рассмотрите возможность подгонки линии: для каждой точки данных произведение вертикальных и горизонтальных остатков равняется удвоенной площади треугольника, образованного остаточными линиями и подогнанной линией. Мы выбираем линию, которая минимизирует сумму этих областей. Нобелевский лауреат Пол Самуэльсон в 1942 году доказал, что в двух измерениях это единственная линия, выражаемая исключительно в терминах отношений стандартных отклонений и коэффициента корреляции, которая (1) соответствует правильному уравнению, когда наблюдения попадают на прямую линию, (2) показывает масштаб инвариантность и (3) инвариантность относительно перестановки переменных.^[13] Это решение было переоткрыто в различных дисциплинах и по-разному известно как стандартизированная большая ось (Ricker 1975, Warton et al., 2006),^[14][15] то уменьшенная большая ось, то среднее геометрическое функциональное соотношение (Дрейпер и Смит, 1998 г.),^[16] наименьшая регрессия продуктов, диагональная регрессия, линия органической корреляции, а линия наименьших областей (Тофаллис, 2002).^[17] Тофаллис (2015)^[18] расширил этот подход для работы с несколькими переменными.

Смотрите также

• Регрессия Деминга, частный случай с двумя предикторами и независимыми ошибками.
• Модель ошибок в переменных
• Линейная регрессия
• Наименьших квадратов

Примечания

1. Альтернативная форма - ${\displaystyle \mathbf {X^{T}WX{\boldsymbol {\Delta }}{\boldsymbol {\beta }}=X^{T}W{\boldsymbol {\Delta }}y} }$, куда ${\displaystyle {\boldsymbol {\Delta }}{\boldsymbol {\beta }}}$ - сдвиг параметра от некоторой начальной оценки ${\displaystyle {\boldsymbol {\beta }}}$ и ${\displaystyle {\boldsymbol {\Delta }}\mathbf {y} }$ разница между y и значение, рассчитанное с использованием начального значения ${\displaystyle {\boldsymbol {\beta }}}$
2. Обозначение XB ≈ Y используется здесь, чтобы отразить обозначения, использованные в более ранней части статьи. В вычислительной литературе проблема чаще представлена ​​как ТОПОР ≈ B, т.е. с буквой Икс используется для п-к-k матрица неизвестных коэффициентов регрессии.

Рекомендации

1. И. Марковский и С. Ван Хаффель, Обзор методов полного наименьших квадратов. Обработка сигналов, т. 87. С. 2283–2302, 2007. препринт
2. МЫ. Деминг, Статистическая корректировка данных, Wiley, 1943
3. Ганс, Питер (1992). Подбор данных в химических науках. Вайли. ISBN  9780471934127. Получено 4 декабря 2012.
4. Г. Х. Голуб и К. Ф. Ван Лоан, Анализ общей задачи наименьших квадратов. Нумер. Anal., 17, 1980, с. 883–893.
5. Голуб, Джин Х.; Ван Лоан, Чарльз Ф. (1996). Матричные вычисления (3-е изд.). Издательство Университета Джона Хопкинса. стр 596.
6. Бьырк, Аке (1996) Численные методы решения задач наименьших квадратов, Общество промышленной и прикладной математики. ISBN  978-0898713602^{[страница нужна ]}
7. С. Ван Хаффель и Дж. Вандевалле (1991) Задачи методом наименьших квадратов: вычислительные аспекты и анализ. SIAM Publications, Филадельфия, Пенсильвания.
8. С. Ван Хаффель, Документированные программы Fortran 77 расширенного классического алгоритма наименьших квадратов, алгоритма частичного разложения по сингулярным значениям и алгоритма частичного полного наименьших квадратов, Внутренний отчет ESAT-KUL 88/1, Лаборатория ESAT, Отдел электротехники, Католикский университет в Лёвене , 1988.
9. С. Ван Хаффель, Расширенный классический алгоритм полного наименьших квадратов, J. Comput. Appl. Матем., 25, с. 111–119, 1989.
10. М. Плешингер, Проблема тотальных наименьших квадратов и сокращение данных в AX ≈ B. Докторская диссертация, Либерецкий университет и Институт компьютерных наук, AS CR Прага, 2008. Ph.D. Тезис
11. И. Гнетинкова, М. Плешингер, Д. М. Сима, З. Стракош и С. Ван Хаффель, Полная задача наименьших квадратов в AX ≈ B. Новая классификация с отношением к классическим произведениям. SIMAX vol. 32 выпуск 3 (2011), стр. 748–770.
12. Штейн, Яаков Дж. «Двумерная евклидова регрессия» (PDF).
13. Самуэльсон, Пол А. (1942). «Примечание об альтернативных регрессиях». Econometrica. 10 (1): 80–83. Дои:10.2307/1907024. JSTOR  1907024.
14. Рикер, У. Э. (1975). «Заметка о комментариях профессора Жоликера». Журнал Совета по исследованиям рыболовства Канады. 32 (8): 1494–1498. Дои:10.1139 / f75-172.
15. Warton, Дэвид I .; Райт, Ян Дж .; Falster, Daniel S .; Вестоби, Марк (2006). «Двумерные методы аппроксимации линий для аллометрии». Биологические обзоры. 81 (2): 259–291. CiteSeerX  10.1.1.461.9154. Дои:10.1017 / S1464793106007007. PMID  16573844. S2CID  16462731.
16. Дрейпер, Н.Р. и Смит, Х. Прикладной регрессионный анализ, 3-е издание, с. 92–96. 1998 г.
17. Тофаллис, Крис (2002). «Подгонка модели для нескольких переменных путем минимизации среднего геометрического отклонения». В Ван Хаффель, Сабина; Леммерлинг, П. (ред.). Моделирование методом наименьших квадратов и ошибок в переменных: анализ, алгоритмы и приложения. Дордрехт: Kluwer Academic Publ. ISBN  978-1402004766. SSRN  1077322.
18. Тофаллис, Крис (2015). «Подгонка уравнений к данным с помощью идеальной корреляционной связи». SSRN  2707593.

Другие

• И. Гнетинкова, М. Плешингер, Д. М. Сима, З. Стракош и С. Ван Хаффель, Полная задача наименьших квадратов в AX ≈ B. Новая классификация с отношением к классическим произведениям. SIMAX vol. 32 выпуск 3 (2011), стр. 748–770. Доступен как препринт.
• М. Плешингер, Задача полного наименьших квадратов и сокращение данных в AX ≈ B. Докторская диссертация, Либерецкий университет и Институт компьютерных наук, АН ЧР Прага, 2008 г. Кандидат наук. Тезис
• К. К. Пейдж, З. Стракош, Основные проблемы линейных алгебраических систем. SIAM J. Matrix Anal. Appl. 27, 2006, стр. 861–875. Дои:10.1137/040616991
• С. Ван Хаффель и П. Леммерлинг, Моделирование методом наименьших квадратов и ошибок в переменных: анализ, алгоритмы и приложения. Дордрехт, Нидерланды: Kluwer Academic Publishers, 2002.
• С. Джо и С. В. Ким, Последовательная нормализованная фильтрация методом наименьших квадратов с зашумленной матрицей данных. IEEE Trans. Сигнальный процесс., Т. 53, нет. 6. С. 2112–2123, июнь 2005 г.
• Р. Д. ДеГроат и Э. М. Доулинг, Задача наименьших квадратов данных и выравнивание каналов. IEEE Trans. Сигнальный процесс., Т. 41, нет. 1. С. 407–411, январь 1993 г.
• С. Ван Хаффель и Дж. Вандевалле, Задачи методом наименьших квадратов: вычислительные аспекты и анализ. Публикации SIAM, Филадельфия, Пенсильвания, 1991. Дои:10.1137/1.9781611971002
• Т. Абацоглу и Дж. Мендель, Метод наименьших квадратов с ограничениями, в Proc. IEEE Int. Конф. Акуст., Речь, сигнальный процесс. (ICASSP’87), апрель 1987 г., т. 12. С. 1485–1488.
• П. де Грен Введение в метод наименьших квадратов, in Nieuw Archief voor Wiskunde, Vierde serie, deel 14, 1996, pp. 237–253. arxiv.org.
• Г. Х. Голуб и К. Ф. Ван Лоан, Анализ общей задачи наименьших квадратов. SIAM J. on Numer. Anal., 17, 1980, с. 883–893. Дои:10.1137/0717073
• Перпендикулярная регрессия линии на MathPages
• А. Р. Амири-Симкуэй и С. Джазаэри Взвешенные суммы наименьших квадратов, сформулированные по стандартной теории наименьших квадратов, в Journal of Geodetic Science, 2 (2): 113–124, 2012 г. [1].