Средний и прогнозируемый ответ - Mean and predicted response

В линейная регрессия, средний ответ и предсказанный ответ - значения зависимой переменной, рассчитанные на основе параметров регрессии и заданного значения независимой переменной. Значения этих двух ответов одинаковы, но их расчетные отклонения различаются.

Задний план

Дальнейшая информация: Прямой фитинг

При прямой подгонке модель

${displaystyle y_{i}=alpha +eta x_{i}+varepsilon _{i},}$

где ${displaystyle y_{i}}$ это переменная ответа, ${displaystyle x_{i}}$ это объясняющая переменная, ε_я - случайная ошибка, а ${displaystyle alpha }$ и ${displaystyle eta }$ параметры. Среднее и прогнозируемое значение отклика для данного объяснительного значения, Икс_d, дан кем-то

${displaystyle {hat {y}}_{d}={hat {alpha }}+{hat {eta }}x_{d},}$

в то время как фактический ответ будет

${displaystyle y_{d}=alpha +eta x_{d}+varepsilon _{d},}$

Выражения для значений и дисперсий ${displaystyle {hat {alpha }}}$ и ${displaystyle {hat {eta }}}$ даны в линейная регрессия.

Средний ответ

Поскольку данные в этом контексте определены как (Икс, y) пар для каждого наблюдения средний ответ при заданной стоимости Икс, сказать Икс_d, является оценкой среднего значения y значения в популяции на Икс ценность Икс_d, это ${displaystyle {hat {E}}(ymid x_{d})equiv {hat {y}}_{d}!}$. Дисперсия среднего отклика определяется выражением

${displaystyle operatorname {Var} left({hat {alpha }}+{hat {eta }}x_{d}ight)=operatorname {Var} left({hat {alpha }}ight)+left(operatorname {Var} {hat {eta }}ight)x_{d}^{2}+2x_{d}operatorname {Cov} left({hat {alpha }},{hat {eta }}ight).}$

Это выражение можно упростить до

${displaystyle operatorname {Var} left({hat {alpha }}+{hat {eta }}x_{d}ight)=sigma ^{2}left({frac {1}{m}}+{frac {left(x_{d}-{ar {x}}ight)^{2}}{sum (x_{i}-{ar {x}})^{2}}}ight),}$

где м - количество точек данных.

Чтобы продемонстрировать это упрощение, можно использовать тождество

${displaystyle sum (x_{i}-{ar {x}})^{2}=sum x_{i}^{2}-{frac {1}{m}}left(sum x_{i}ight)^{2}.}$

Прогнозируемый ответ

В предсказанный ответ распределение - это прогнозируемое распределение остатков в данной точке Икс_d. Таким образом, дисперсия определяется выражением

${displaystyle {egin{aligned}operatorname {Var} left(y_{d}-left[{hat {alpha }}+{hat {eta }}x_{d}ight]ight)&=operatorname {Var} (y_{d})+operatorname {Var} left({hat {alpha }}+{hat {eta }}x_{d}ight)-2operatorname {Cov} left(y_{d},left[{hat {alpha }}+{hat {eta }}x_{d}ight]ight)&=operatorname {Var} (y_{d})+operatorname {Var} left({hat {alpha }}+{hat {eta }}x_{d}ight).end{aligned}}}$

Вторая строка следует из того, что ${displaystyle operatorname {Cov} left(y_{d},left[{hat {alpha }}+{hat {eta }}x_{d}ight]ight)}$ равен нулю, потому что новая точка прогноза не зависит от данных, используемых для соответствия модели. Кроме того, термин ${displaystyle operatorname {Var} left({hat {alpha }}+{hat {eta }}x_{d}ight)}$ был рассчитан ранее для среднего ответа.

поскольку ${displaystyle operatorname {Var} (y_{d})=sigma ^{2}}$ (фиксированный, но неизвестный параметр, который можно оценить), дисперсия прогнозируемого отклика определяется выражением

${displaystyle {egin{aligned}operatorname {Var} left(y_{d}-left[{hat {alpha }}+{hat {eta }}x_{d}ight]ight)&=sigma ^{2}+sigma ^{2}left({frac {1}{m}}+{frac {left(x_{d}-{ar {x}}ight)^{2}}{sum (x_{i}-{ar {x}})^{2}}}ight)[4pt]&=sigma ^{2}left(1+{frac {1}{m}}+{frac {(x_{d}-{ar {x}})^{2}}{sum (x_{i}-{ar {x}})^{2}}}ight).end{aligned}}}$

Доверительные интервалы

Основная статья: Доверительный интервал

Дальнейшая информация: Интервал прогноза

В ${displaystyle 100(1-alpha )\%}$ доверительные интервалы вычисляются как ${displaystyle y_{d}pm t_{{frac {alpha }{2}},m-n-1}{sqrt {operatorname {Var} }}}$. Таким образом, доверительный интервал для предсказанного ответа шире, чем интервал для среднего ответа. Это ожидается интуитивно - дисперсия популяции ${displaystyle y}$ значения не сжимаются при выборке из него, потому что случайная величина ε_я не уменьшается, но дисперсия среднего значения ${displaystyle y}$ сокращается при увеличении выборки, потому что дисперсия в ${displaystyle {hat {alpha }}}$ и ${displaystyle {hat {eta }}}$ уменьшаются, поэтому средний отклик (прогнозируемое значение отклика) становится ближе к ${displaystyle alpha +eta x_{d}}$.

Это аналогично разнице между дисперсией генеральной совокупности и дисперсией выборочного среднего для генеральной совокупности: дисперсия генеральной совокупности является параметром и не изменяется, но дисперсия выборочного среднего уменьшается с увеличением выборки.

Общая линейная регрессия

Общая линейная модель может быть записана как

${displaystyle y_{i}=sum _{j=1}^{n}X_{ij}eta _{j}+varepsilon _{i},}$

Следовательно, поскольку ${displaystyle y_{d}=sum _{j=1}^{n}X_{dj}{hat {eta }}_{j}}$ общее выражение для дисперсии среднего отклика:

${displaystyle operatorname {Var} left(sum _{j=1}^{n}X_{dj}{hat {eta }}_{j}ight)=sum _{i=1}^{n}sum _{j=1}^{n}X_{di}S_{ij}X_{dj},}$

где S это ковариационная матрица параметров, задаваемых

${displaystyle mathbf {S} =sigma ^{2}left(mathbf {X^{mathsf {T}}X} ight)^{-1}.}$

использованная литература

• Draper, N.R .; Смит, Х. (1998). Прикладной регрессионный анализ (3-е изд.). Джон Вили. ISBN  0-471-17082-8.