Метод наименьших квадратов с ограничениями - Constrained least squares - Wikipedia

В метод наименьших квадратов с ограничениями один решает линейный метод наименьших квадратов проблема с дополнительным ограничением на решение.^[1] То есть уравнение без ограничений ${\displaystyle \mathbf {X} {\boldsymbol {\beta }}=\mathbf {y} }$ должны соответствовать как можно точнее (в смысле наименьших квадратов), обеспечивая при этом некоторые другие свойства ${\displaystyle {\boldsymbol {\beta }}}$ поддерживается.

Часто существуют специальные алгоритмы для эффективного решения таких задач. Ниже приведены некоторые примеры ограничений:

• Равенство ограничено наименьшие квадраты: элементы ${\displaystyle {\boldsymbol {\beta }}}$ должен точно удовлетворять ${\displaystyle \mathbf {L} {\boldsymbol {\beta }}=\mathbf {d} }$ (видеть Обычный метод наименьших квадратов ).
• Регулярный наименьшие квадраты: элементы ${\displaystyle {\boldsymbol {\beta }}}$ должен удовлетворить ${\displaystyle \|\mathbf {L} {\boldsymbol {\beta }}-\mathbf {y} \|\leq \alpha }$ (выбирая ${\displaystyle \alpha }$ пропорционально стандартному отклонению шума у предотвращает чрезмерную подгонку).
• Неотрицательный метод наименьших квадратов (NNLS): вектор ${\displaystyle {\boldsymbol {\beta }}}$ должен удовлетворить векторное неравенство ${\displaystyle {\boldsymbol {\beta }}\geq {\boldsymbol {0}}}$ определяется покомпонентно, то есть каждый компонент должен быть либо положительным, либо нулевым.
• Метод наименьших квадратов с ограничением по прямоугольнику: вектор ${\displaystyle {\boldsymbol {\beta }}}$ должен удовлетворить векторные неравенства ${\displaystyle {\boldsymbol {b}}_{\ell }\leq {\boldsymbol {\beta }}\leq {\boldsymbol {b}}_{u}}$, каждая из которых определяется покомпонентно.
• Метод наименьших квадратов с целочисленными ограничениями: все элементы ${\displaystyle {\boldsymbol {\beta }}}$ должно быть целые числа (вместо действительные числа ).
• Метод наименьших квадратов с фазовой зависимостью: все элементы ${\displaystyle {\boldsymbol {\beta }}}$ должны быть действительными числами, умноженными на одно и то же комплексное число единичного модуля.

Когда ограничение применяется только к некоторым переменным, смешанную задачу можно решить с помощью разделимые наименьшие квадраты позволяя ${\displaystyle \mathbf {X} =[\mathbf {X_{1}} \mathbf {X_{2}} ]}$ и ${\displaystyle \mathbf {\beta } ^{\rm {T}}=[\mathbf {\beta _{1}} ^{\rm {T}}\mathbf {\beta _{2}} ^{\rm {T}}]}$ представляют собой неограниченную (1) и связанную (2) компоненты. Затем подставляя решение наименьших квадратов вместо ${\displaystyle \mathbf {\beta _{1}} }$, т.е.

${\displaystyle {\hat {\boldsymbol {\beta }}}_{1}=\mathbf {X} _{1}^{+}(\mathbf {y} -\mathbf {X} _{2}{\boldsymbol {\beta }}_{2})}$

(куда ⁺ указывает на Псевдообратная матрица Мура – ​​Пенроуза ) обратно в исходное выражение дает (после некоторой перестановки) уравнение, которое может быть решено как чисто ограниченная задача в ${\displaystyle \mathbf {\beta } _{2}}$.

${\displaystyle \mathbf {P} \mathbf {X} _{2}{\boldsymbol {\beta }}_{2}=\mathbf {P} \mathbf {y} ,}$

куда ${\displaystyle \mathbf {P} :=\mathbf {I} -\mathbf {X} _{1}\mathbf {X} _{1}^{+}}$ это матрица проекции. После ограниченной оценки ${\displaystyle {\hat {\boldsymbol {\beta }}}_{2}}$ вектор ${\displaystyle {\hat {\boldsymbol {\beta }}}_{1}}$ получается из выражения выше.

Смотрите также

• Ограниченная оптимизация
• Целочисленное программирование

Рекомендации

1. Стивен Бойд; Ливен Ванденберге (7 июня 2018 г.). Введение в прикладную линейную алгебру: векторы, матрицы и наименьшие квадраты. Издательство Кембриджского университета. ISBN  978-1-316-51896-0.