Объясненная сумма квадратов - Explained sum of squares

В статистика, то объясненная сумма квадратов (ESS), также известный как модельная сумма квадратов или же сумма квадратов из-за регрессии («ССР» - не путать с остаточная сумма квадратов RSS или сумма квадратов ошибок) - величина, используемая для описания того, насколько хороша модель, часто регрессионная модель, представляет моделируемые данные. В частности, объясненная сумма квадратов измеряет, насколько сильно изменяются смоделированные значения, и это сравнивается с общая сумма квадратов (TSS), который измеряет, насколько вариативны наблюдаемые данные, и остаточная сумма квадратов, который измеряет разброс ошибки между наблюдаемыми данными и смоделированными значениями.

Определение

В объясненная сумма квадратов (ESS) представляет собой сумму квадратов отклонений прогнозируемых значений от среднего значения переменной отклика в стандартном регрессионная модель - Например, у_я = а + б₁Икс_1я + б₂Икс_2я + ... + ε_я, куда у_я это я ^th наблюдение за переменная ответа, Икс_джи это я ^th наблюдение за j ^th объясняющая переменная, а и б_j находятся коэффициенты, я индексирует наблюдения от 1 до п, и ε_я это я ^th ценность срок ошибки. В целом, чем больше ESS, тем лучше работает оценочная модель.

Если ${\displaystyle {\hat {a}}}$ и ${\displaystyle {\hat {b}}_{i}}$ являются оценочными коэффициенты, тогда

${\displaystyle {\hat {y}}_{i}={\hat {a}}+{\hat {b}}_{1}x_{1i}+{\hat {b}}_{2}x_{2i}+\cdots \,}$

это я ^th прогнозируемое значение переменной ответа. ESS тогда:

${\displaystyle {\text{ESS}}=\sum _{i=1}^{n}\left({\hat {y}}_{i}-{\bar {y}}\right)^{2}.}$

куда ${\displaystyle {\hat {y}}_{i}}$значение, оцененное линией регрессии.^[1]

В некоторых случаях (см. Ниже): общая сумма квадратов (TSS) =объясненная сумма квадратов (ESS)+ остаточная сумма квадратов (RSS).

Разбиение в простой линейной регрессии

Следующее равенство, гласящее, что общая сумма квадратов (TSS) равна остаточной сумме квадратов (= SSE: сумма квадратов ошибок предсказания) плюс объясненная сумма квадратов (SSR: сумма квадратов из-за регрессии или объясненных сумма квадратов), как правило, верно в простой линейной регрессии:

${\displaystyle \sum _{i=1}^{n}\left(y_{i}-{\bar {y}}\right)^{2}=\sum _{i=1}^{n}\left(y_{i}-{\hat {y}}_{i}\right)^{2}+\sum _{i=1}^{n}\left({\hat {y}}_{i}-{\bar {y}}\right)^{2}.}$

Простой вывод

${\displaystyle {\begin{aligned}(y_{i}-{\bar {y}})=(y_{i}-{\hat {y}}_{i})+({\hat {y}}_{i}-{\bar {y}}).\end{aligned}}}$

Возведите обе стороны в квадрат и просуммируйте все я:

${\displaystyle \sum _{i=1}^{n}(y_{i}-{\bar {y}})^{2}=\sum _{i=1}^{n}(y_{i}-{\hat {y}}_{i})^{2}+\sum _{i=1}^{n}({\hat {y}}_{i}-{\bar {y}})^{2}+\sum _{i=1}^{n}2({\hat {y}}_{i}-{\bar {y}})(y_{i}-{\hat {y}}_{i}).}$

Вот как последний член выше равен нулю из простая линейная регрессия^[2]

${\displaystyle {\hat {y_{i}}}={\hat {a}}+{\hat {b}}x_{i}}$

${\displaystyle {\bar {y}}={\hat {a}}+{\hat {b}}{\bar {x}}}$

${\displaystyle {\hat {b}}={\frac {\sum _{i=1}^{n}(x_{i}-{\bar {x}})(y_{i}-{\bar {y}})}{\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}}}}$

Так,

${\displaystyle {\hat {y_{i}}}-{\bar {y}}={\hat {b}}(x_{i}-{\bar {x}})}$

${\displaystyle y_{i}-{\hat {y}}_{i}=(y_{i}-{\bar {y}})-({\hat {y}}_{i}-{\bar {y}})=(y_{i}-{\bar {y}})-{\hat {b}}(x_{i}-{\bar {x}})}$

Следовательно,

${\displaystyle {\begin{aligned}&\sum _{i=1}^{n}2({\hat {y}}_{i}-{\bar {y}})(y_{i}-{\hat {y}}_{i})=2{\hat {b}}\sum _{i=1}^{n}(x_{i}-{\bar {x}})(y_{i}-{\hat {y}}_{i})\\[4pt]={}&2{\hat {b}}\sum _{i=1}^{n}(x_{i}-{\bar {x}})((y_{i}-{\bar {y}})-{\hat {b}}(x_{i}-{\bar {x}}))\\[4pt]={}&2{\hat {b}}\left(\sum _{i=1}^{n}(x_{i}-{\bar {x}})(y_{i}-{\bar {y}})-\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}{\frac {\sum _{j=1}^{n}(x_{j}-{\bar {x}})(y_{j}-{\bar {y}})}{\sum _{j=1}^{n}(x_{j}-{\bar {x}})^{2}}}\right)\\[4pt]={}&2{\hat {b}}(0)=0\end{aligned}}}$

Разбиение в общей обычной модели наименьших квадратов

Общая регрессионная модель с п наблюдения и k объяснители, первый из которых представляет собой постоянный единичный вектор с коэффициентом пересечения регрессии,

${\displaystyle y=X\beta +e}$

куда у является п × 1 вектор наблюдений зависимых переменных, каждый столбец п × k матрица Икс вектор наблюдений на одном из k толкователи, ${\displaystyle \beta }$ это k × 1 вектор истинных коэффициентов, и е является п × 1 вектор истинных основных ошибок. В обыкновенный метод наименьших квадратов оценщик для ${\displaystyle \beta }$ является

${\displaystyle {\hat {\beta }}=(X^{T}X)^{-1}X^{T}y.}$

Остаточный вектор ${\displaystyle {\hat {e}}}$ является ${\displaystyle y-X{\hat {\beta }}=y-X(X^{T}X)^{-1}X^{T}y}$, поэтому остаточная сумма квадратов ${\displaystyle {\hat {e}}^{T}{\hat {e}}}$ после упрощения

${\displaystyle RSS=y^{T}y-y^{T}X(X^{T}X)^{-1}X^{T}y.}$

Обозначим как ${\displaystyle {\bar {y}}}$ постоянный вектор, все элементы которого являются выборочным средним ${\displaystyle y_{m}}$ значений зависимой переменной в векторе у. Тогда общая сумма квадратов равна

${\displaystyle TSS=(y-{\bar {y}})^{T}(y-{\bar {y}})=y^{T}y-2y^{T}{\bar {y}}+{\bar {y}}^{T}{\bar {y}}.}$

Объясненная сумма квадратов, определяемая как сумма квадратов отклонений прогнозируемых значений от наблюдаемого среднего значения у, является

${\displaystyle ESS=({\hat {y}}-{\bar {y}})^{T}({\hat {y}}-{\bar {y}})={\hat {y}}^{T}{\hat {y}}-2{\hat {y}}^{T}{\bar {y}}+{\bar {y}}^{T}{\bar {y}}.}$

С помощью ${\displaystyle {\hat {y}}=X{\hat {\beta }}}$ в этом и упрощая, чтобы получить ${\displaystyle {\hat {y}}^{T}{\hat {y}}=y^{T}X(X^{T}X)^{-1}X^{T}y}$, дает результат TSS = ESS + RSS если и только если ${\displaystyle y^{T}{\bar {y}}={\hat {y}}^{T}{\bar {y}}}$. Левая часть этого ${\displaystyle y_{m}}$ умножить на сумму элементов у, а правая сторона ${\displaystyle y_{m}}$ умножить на сумму элементов ${\displaystyle {\hat {y}}}$, поэтому условие состоит в том, чтобы сумма элементов у равна сумме элементов ${\displaystyle {\hat {y}}}$, или, что то же самое, сумма ошибок предсказания (остатков) ${\displaystyle y_{i}-{\hat {y}}_{i}}$ равно нулю. В этом можно убедиться, обратив внимание на хорошо известное свойство OLS: k × 1 вектор ${\displaystyle X^{T}{\hat {e}}=X^{T}[I-X(X^{T}X)^{-1}X^{T}]y=0}$: поскольку первый столбец Икс вектор единиц, первый элемент этого вектора ${\displaystyle X^{T}{\hat {e}}}$ представляет собой сумму остатков и равна нулю. Это доказывает выполнение условия результата TSS = ESS + RSS.

В терминах линейной алгебры мы имеем ${\displaystyle RSS=\|y-{\hat {y}}\|^{2}}$, ${\displaystyle TSS=\|y-{\bar {y}}\|^{2}}$, ${\displaystyle ESS=\|{\hat {y}}-{\bar {y}}\|^{2}}$Доказательство можно упростить, отметив, что ${\displaystyle y^{T}{\hat {y}}={\hat {y}}^{T}y}$. Доказательство таково:

${\displaystyle y^{T}{\hat {y}}=y^{T}X(X^{T}X)^{-1}X^{T}X(X^{T}X)^{-1}X^{T}y=y^{T}X(X^{T}X)^{-1}X^{T}y={\hat {y}}^{T}y,}$

Таким образом,

${\displaystyle {\begin{aligned}TSS&=\|y-{\bar {y}}\|^{2}=\|y-{\hat {y}}+{\hat {y}}-{\bar {y}}\|^{2}\\&=\|y-{\hat {y}}\|^{2}+\|{\hat {y}}-{\bar {y}}\|^{2}+2<y-{\hat {y}},{\hat {y}}-{\bar {y}}>\\&=RSS+ESS+2y^{T}{\hat {y}}-2{\hat {y}}^{T}{\hat {y}}-2y^{T}{\bar {y}}+2{\hat {y}}^{T}{\bar {y}}\\&=RSS+ESS-2y^{T}{\bar {y}}+2{\hat {y}}^{T}{\bar {y}}\end{aligned}}}$

что снова дает результат TSS = ESS + RSS, поскольку ${\displaystyle (y-{\hat {y}})^{T}{\bar {y}}=0}$.

Смотрите также

• Сумма квадратов (статистика)
• Неподходящая сумма квадратов
• Необъяснимая доля дисперсии

Примечания

1. «Сумма квадратов - определение, формулы, регрессионный анализ». Институт корпоративных финансов. Получено 2020-06-11.
2. Менденхолл, Уильям (2009). Введение в вероятность и статистику (13-е изд.). Бельмонт, Калифорния: Брукс / Коул. п. 507. ISBN  9780495389538.

Рекомендации

• С. Е. Максвелл и Х. Д. Делани (1990), «Планирование экспериментов и анализ данных: перспектива сравнения моделей». Уодсворт. С. 289–290.
• Г. А. Милликен и Д. Э. Джонсон (1984), "Анализ неаккуратных данных", Vol. Я: Спланированные эксперименты. Ван Ностранд Рейнхольд. С. 146–151.
• Табачник Б. Г. и Фиделл Л. С. (2007), "Экспериментальный дизайн с использованием дисперсионного анализа". Даксбери. п. 220.
• Табачник Б.Г. и Фиделл Л.С. (2007), "Использование многомерной статистики", 5-е изд. Pearson Education. С. 217–218.