Линейная регрессия - Linear regression

В статистика, линейная регрессия это линейный подход к моделированию отношений между скаляр ответ и одна или несколько независимых переменных (также известных как зависимые и независимые переменные ). Случай одной объясняющей переменной называется простая линейная регрессия; для более чем одного процесс называется множественная линейная регрессия.^[1] Этот термин отличается от многомерная линейная регрессия, где несколько коррелированный предсказываются зависимые переменные, а не одна скалярная переменная.^[2]

В линейной регрессии отношения моделируются с использованием функции линейного предсказания чья неизвестная модель параметры находятся по оценкам от данные. Такие модели называются линейные модели.^[3] Чаще всего условное среднее отклика при значениях независимых переменных (или предикторов) предполагается аффинная функция этих ценностей; реже условное медиана или какой-то другой квантиль используется. Как и все формы регрессивный анализ, линейная регрессия фокусируется на условное распределение вероятностей ответа с учетом значений предикторов, а не совместное распределение вероятностей всех этих переменных, которая является областью многомерный анализ.

Линейная регрессия была первым типом регрессионного анализа, который необходимо тщательно изучить и широко использовать в практических приложениях.^[4] Это связано с тем, что модели, которые линейно зависят от своих неизвестных параметров, легче подогнать, чем модели, которые нелинейно связаны с их параметрами, и потому, что статистические свойства полученных оценок легче определить.

Линейная регрессия имеет множество практических применений. Большинство приложений попадают в одну из следующих двух широких категорий:

Если цель прогноз, прогнозирование, или уменьшение ошибок,^{[требуется разъяснение ]} линейная регрессия может использоваться для подгонки прогнозной модели к наблюдаемому набор данных значений ответных и объясняющих переменных. После разработки такой модели, если дополнительные значения независимых переменных собираются без сопутствующего значения ответа, подобранная модель может использоваться для прогнозирования ответа.
Если цель состоит в том, чтобы объяснить вариацию в переменной ответа, которая может быть отнесена к вариации объясняющих переменных, можно применить линейный регрессионный анализ для количественной оценки силы взаимосвязи между ответом и объясняющими переменными, и, в частности, для определения того, объясняющие переменные могут вообще не иметь линейной связи с ответом или определять, какие подмножества объясняющих переменных могут содержать избыточную информацию об ответе.

Модели линейной регрессии часто подбираются с использованием наименьших квадратов подход, но они также могут быть приспособлены и другими способами, например, путем минимизации «несоответствия» в некоторых других норма (как с наименьшие абсолютные отклонения регрессии), или путем минимизации штрафной версии наименьших квадратов функция стоимости как в регресс гребня (L²-нормальный штраф) и лассо (L¹-нормальный штраф). И наоборот, подход наименьших квадратов можно использовать для подбора моделей, которые не являются линейными моделями. Таким образом, хотя термины «наименьшие квадраты» и «линейная модель» тесно связаны, они не являются синонимами.

Вступление

В линейной регрессии наблюдения (красный) считаются результатом случайных отклонений (зеленый) из лежащих в основе отношений (синий) между зависимой переменной (y) и независимая переменная (Икс).

Учитывая данные набор ${ displaystyle {y_ {i}, , x_ {i1}, ldots, x_ {ip} } _ {i = 1} ^ {n}}$ из п статистические единицы, модель линейной регрессии предполагает, что связь между зависимой переменной y и п-вектор регрессоров Икс является линейный. Эти отношения моделируются через срок нарушения или же переменная ошибки ε - ненаблюдаемый случайная переменная что добавляет «шума» к линейной зависимости между зависимой переменной и регрессорами. Таким образом, модель принимает вид

{ displaystyle y_ {i} = beta _ {0} + beta _ {1} x_ {i1} + cdots + beta _ {p} x_ {ip} + varepsilon _ {i} = mathbf { x} _ {i} ^ { mathsf {T}} { boldsymbol { beta}} + varepsilon _ {i}, qquad i = 1, ldots, n,}

куда ^Т обозначает транспонировать, так что Икс_я^Тβ это внутренний продукт между векторов Икс_я и β.

Часто эти п уравнения складываются вместе и записываются в матричная запись в качестве

{ displaystyle mathbf {y} = X { boldsymbol { beta}} + { boldsymbol { varepsilon}}, ,}

куда

{ Displaystyle mathbf {y} = { begin {pmatrix} y_ {1} y_ {2} vdots y_ {n} end {pmatrix}}, quad}

{ displaystyle X = { begin {pmatrix} mathbf {x} _ {1} ^ { mathsf {T}} mathbf {x} _ {2} ^ { mathsf {T}} vdots mathbf {x} _ {n} ^ { mathsf {T}} end {pmatrix}} = { begin {pmatrix} 1 & x_ {11} & cdots & x_ {1p} 1 & x_ {21} & cdots & x_ {2p} vdots & vdots & ddots & vdots 1 & x_ {n1} & cdots & x_ {np} end {pmatrix}},}

{ displaystyle { boldsymbol { beta}} = { begin {pmatrix} beta _ {0} beta _ {1} beta _ {2} vdots beta _ { p} end {pmatrix}}, quad { boldsymbol { varepsilon}} = { begin {pmatrix} varepsilon _ {1} varepsilon _ {2} vdots varepsilon _ { n} end {pmatrix}}.}

Несколько замечаний по обозначениям и терминологии:

${ displaystyle mathbf {y}}$ вектор наблюдаемых значений ${ Displaystyle у_ {я} (я = 1, ldots, п)}$ переменной, называемой регресс, эндогенная переменная, переменная ответа, измеряемая величина, переменная критерия, или же зависимая переменная. Эта переменная также иногда называется предсказанная переменная, но это не следует путать с прогнозируемые значения, которые обозначаются ${ displaystyle { hat {y}}}$ . Решение о том, какая переменная в наборе данных моделируется как зависимая переменная, а какая - как независимые, может быть основано на предположении, что значение одной из переменных вызвано или находится под прямым влиянием других переменных. В качестве альтернативы, может быть операционная причина для моделирования одной из переменных в терминах других, и в этом случае не требуется презумпции причинной связи.
${ displaystyle X}$ $Икс$ можно рассматривать как матрицу векторов-строк ${ Displaystyle mathbf {х} _ {я}}$ $mathbf {x} _ {i}$ или из п-мерные векторы-столбцы ${ displaystyle X_ {j}}$ $X_ {j}$ , которые известны как регрессоры, экзогенные переменные, объясняющие переменные, ковариаты, входные переменные, переменные-предикторы, или же независимые переменные (не путать с концепцией независимые случайные величины ). Матрица ${ displaystyle X}$ $Икс$ иногда называют матрица дизайна.
- Обычно константа включается в качестве одного из регрессоров. Особенно, ${ displaystyle mathbf {x} _ {i0} = 1}$ за ${ Displaystyle я = 1, ldots, п}$ . Соответствующий элемент β называется перехватить. Многие процедуры статистического вывода для линейных моделей требуют наличия точки пересечения, поэтому ее часто включают, даже если теоретические соображения предполагают, что ее значение должно быть равно нулю.
- Иногда один из регрессоров может быть нелинейной функцией другого регрессора или данных, как в полиномиальная регрессия и сегментированная регрессия. Модель остается линейной, пока она линейна по вектору параметров β.
- Ценности Икс_ij можно рассматривать как наблюдаемые значения случайные переменные Икс_j или как фиксированные значения, выбранные до наблюдения за зависимой переменной. Обе интерпретации могут быть уместными в разных случаях и обычно приводят к одинаковым процедурам оценки; однако в этих двух ситуациях используются разные подходы к асимптотическому анализу.
${ displaystyle { boldsymbol { beta}}}$ это ${ Displaystyle (п + 1)}$ -размерный вектор параметров, куда ${ displaystyle beta _ {0}}$ - член перехвата (если он включен в модель - в противном случае ${ displaystyle { boldsymbol { beta}}}$ является п-размерный). Его элементы известны как последствия или же коэффициенты регрессии (хотя последний термин иногда зарезервирован для по оценкам последствия). Статистический оценка и вывод в линейной регрессии фокусируется на β. Элементы этого вектора параметров интерпретируются как частные производные зависимой переменной по отношению к различным независимым переменным.
${ displaystyle { boldsymbol { varepsilon}}}$ вектор значений ${ Displaystyle varepsilon _ {я}}$ . Эта часть модели называется срок ошибки, срок нарушения, а иногда шум (в отличие от «сигнала», предоставляемого остальной частью модели). Эта переменная учитывает все другие факторы, влияющие на зависимую переменную. y кроме регрессоров Икс. Связь между членом ошибки и регрессорами, например их корреляция, является решающим фактором при формулировании модели линейной регрессии, поскольку она определит соответствующий метод оценки.

Подгонка линейной модели к заданному набору данных обычно требует оценки коэффициентов регрессии. ${ displaystyle { boldsymbol { beta}}}$ так что термин ошибки ${ displaystyle { boldsymbol { varepsilon}} = mathbf {y} -X { boldsymbol { beta}}}$ сводится к минимуму. Например, обычно используется сумма квадратов ошибок. ${ displaystyle || { boldsymbol { varepsilon}} ||}$ как качество подгонки.

Пример. Рассмотрим ситуацию, когда маленький мяч подбрасывается в воздух, а затем мы измеряем высоту его подъема. час_я в разные моменты времени т_я. Физика говорит нам, что, игнорируя сопротивление, взаимосвязь можно смоделировать как

{ displaystyle h_ {i} = beta _ {1} t_ {i} + beta _ {2} t_ {i} ^ {2} + varepsilon _ {i},}

куда β₁ определяет начальную скорость мяча, β₂ пропорционально стандартная сила тяжести, и ε_я возникает из-за ошибок измерения. Линейная регрессия может использоваться для оценки значений β₁ и β₂ от измеренных данных. Эта модель нелинейна по временной переменной, но линейна по параметрам. β₁ и β₂; если взять регрессоры Икс_я = (Икс_я1, Икс_я2) = (т_я, т_я²) модель принимает стандартный вид

{ displaystyle h_ {i} = mathbf {x} _ {i} ^ { mathsf {T}} { boldsymbol { beta}} + varepsilon _ {i}.}

Предположения

Стандартные модели линейной регрессии со стандартными методами оценки делают ряд предположений относительно переменных-предикторов, переменных отклика и их взаимосвязи. Было разработано множество расширений, которые позволяют ослабить каждое из этих предположений (то есть привести к более слабой форме), а в некоторых случаях полностью исключить. Обычно эти расширения делают процедуру оценки более сложной и трудоемкой, а также могут потребовать больше данных для создания столь же точной модели.

Пример кубической полиномиальной регрессии, которая является разновидностью линейной регрессии.^{[требуется разъяснение ]}

Ниже приведены основные допущения, сделанные стандартными моделями линейной регрессии со стандартными методами оценки (например, обыкновенный метод наименьших квадратов ):

Слабая экзогенность. По сути, это означает, что переменные-предикторы Икс можно рассматривать как фиксированные значения, а не случайные переменные. Это означает, например, что предполагается, что переменные-предикторы не содержат ошибок, то есть не содержат ошибок измерения. Хотя это предположение нереально во многих условиях, отказ от него значительно усложнит модели ошибок в переменных.
Линейность. Это означает, что среднее значение переменной ответа равно линейная комбинация параметров (коэффициентов регрессии) и переменных-предикторов. Обратите внимание, что это предположение гораздо менее ограничительно, чем может показаться на первый взгляд. Поскольку переменные-предикторы обрабатываются как фиксированные значения (см. Выше), линейность на самом деле является только ограничением для параметров. Сами переменные-предикторы можно произвольно преобразовать, и фактически можно добавить несколько копий одной и той же базовой переменной-предиктора, причем каждая из них будет преобразована по-разному. Этот прием используется, например, в полиномиальная регрессия, который использует линейную регрессию для подбора переменной ответа как произвольного многочлен функция (до заданного ранга) переменной-предиктора. При такой гибкости такие модели, как полиномиальная регрессия, часто обладают «слишком большой мощностью», поскольку имеют тенденцию переобучать данные. В результате какой-то регуляризация как правило, должны использоваться для предотвращения появления необоснованных решений в процессе оценки. Общие примеры: регресс гребня и регресс лассо. Байесовская линейная регрессия также можно использовать, который по своей природе более или менее устойчив к проблеме переобучения. (Фактически, регресс гребня и регресс лассо оба могут рассматриваться как частные случаи байесовской линейной регрессии с определенными типами предыдущие распределения помещены на коэффициенты регрессии.)
Постоянная дисперсия (a.k.a. гомоскедастичность). Это означает, что разные значения переменной ответа имеют одинаковые отклонение в своих ошибках, независимо от значений переменных-предикторов. На практике это предположение неверно (т.е. ошибки гетероскедастический ), если переменная ответа может изменяться в широких пределах. Чтобы проверить вариацию неоднородной ошибки или когда образец остатков нарушает допущения модели о гомоскедастичности (ошибка одинаково варьируется вокруг «линии наилучшего совпадения» для всех точек x), разумно искать «эффект веером» "между остаточной ошибкой и прогнозируемыми значениями. Это означает, что будет происходить систематическое изменение абсолютных или квадратичных остатков при нанесении на график против прогнозных переменных. Ошибки не будут равномерно распределены по линии регрессии. Гетероскедастичность приведет к усреднению различимых отклонений вокруг точек, чтобы получить единственное отклонение, которое неточно представляет все отклонения линии. Фактически, остатки кажутся сгруппированными и разбросанными на их предсказанных графиках для больших и меньших значений для точек вдоль линии линейной регрессии, и среднеквадратическая ошибка для модели будет неправильной. Обычно, например, переменная ответа, среднее значение которой велико, будет иметь большую дисперсию, чем переменная, среднее значение которой мало. Например, конкретный человек, чей доход прогнозируется в размере 100 000 долларов, может легко иметь фактический доход в размере 80 000 или 120 000 долларов ( стандартное отклонение около 20 000 долларов), в то время как другой человек с прогнозируемым доходом в 10 000 долларов вряд ли будет иметь такое же стандартное отклонение в 20 000 долларов, что означает, что их фактический доход будет варьироваться от -10 000 до 30 000 долларов. (Фактически, как это показывает, во многих случаях - часто в тех же случаях, когда допущение о нормально распределенных ошибках не выполняется - дисперсию или стандартное отклонение следует прогнозировать как пропорциональные среднему значению, а не константе.) Простые методы оценки линейной регрессии. дают менее точные оценки параметров и вводящие в заблуждение выводимые величины, такие как стандартные ошибки, когда присутствует значительная гетероскедастичность. Однако различные методы оценки (например, взвешенный метод наименьших квадратов и стандартные ошибки, согласованные с гетероскедастичностью ) может справиться с гетероскедастичностью в самых общих чертах. Байесовская линейная регрессия методы также могут использоваться, когда предполагается, что дисперсия является функцией среднего значения. В некоторых случаях также возможно решить проблему, применив преобразование к переменной ответа (например, логарифм переменной ответа с использованием модели линейной регрессии, которая подразумевает, что переменная ответа имеет логнормальное распределение а не нормальное распределение ).
Независимость ошибок. Это предполагает, что ошибки переменных отклика не коррелируют друг с другом. (Действительный статистическая независимость является более сильным условием, чем простое отсутствие корреляции, и часто не требуется, хотя его можно использовать, если известно, что оно выполняется.) Некоторые методы (например, обобщенный метод наименьших квадратов ) способны обрабатывать коррелированные ошибки, хотя обычно для них требуется значительно больше данных, если не регуляризация используется для смещения модели в сторону допущения некоррелированных ошибок. Байесовская линейная регрессия - это общий способ решения этой проблемы.
Отсутствие идеальной мультиколлинеарности в предсказателях. Для стандартных наименьших квадратов методы оценки, матрица дизайна Икс должен иметь полный ранг столбца п; в противном случае мы имеем условие, известное как совершенное мультиколлинеарность в переменных-предикторах. Это может быть вызвано наличием двух или более идеально коррелированных переменных-предикторов (например, если одна и та же переменная-предиктор ошибочно задана дважды, либо без преобразования одной из копий, либо путем линейного преобразования одной из копий). Это также может произойти, если доступно слишком мало данных по сравнению с количеством оцениваемых параметров (например, меньше точек данных, чем коэффициенты регрессии). В случае идеальной мультиколлинеарности вектор параметров β будет неидентифицируемый - не имеет однозначного решения. В лучшем случае мы сможем идентифицировать некоторые из параметров, то есть сузить его значение до некоторого линейного подпространства р^п. Видеть частичная регрессия методом наименьших квадратов. Разработаны методы аппроксимации линейных моделей с мультиколлинеарностью;^[5]^[6]^[7]^[8] некоторые требуют дополнительных предположений, таких как «разреженность эффекта» - что большая часть эффектов равна нулю.
Обратите внимание, что более затратные в вычислительном отношении итерационные алгоритмы для оценки параметров, такие как те, которые используются в обобщенные линейные модели, не страдайте этой проблемой.

Помимо этих предположений, несколько других статистических свойств данных сильно влияют на производительность различных методов оценки:

Статистическая взаимосвязь между ошибочными членами и регрессорами играет важную роль в определении того, имеет ли процедура оценки желательные свойства выборки, такие как несмещенность и непротиворечивость.
Расположение, или распределение вероятностей переменных-предикторов Икс оказывает большое влияние на точность оценок β. Отбор проб и дизайн экспериментов являются высокоразвитыми подполями статистики, которые обеспечивают руководство для сбора данных таким образом, чтобы получить точную оценку β.

Интерпретация

Наборы данных в Квартет анскомба разработаны так, чтобы иметь примерно одну и ту же линию линейной регрессии (а также почти идентичные средние значения, стандартные отклонения и корреляции), но сильно отличаются графически. Это иллюстрирует подводные камни использования только подобранной модели для понимания взаимосвязи между переменными.

Подобранная модель линейной регрессии может использоваться для определения взаимосвязи между одной переменной-предиктором. Икс_j и переменная ответа y когда все другие переменные-предикторы в модели «фиксируются». В частности, интерпретация β_j это ожидал изменение в y за изменение на одну единицу в Икс_j когда другие ковариаты остаются фиксированными, то есть ожидаемое значение частная производная из y относительно Икс_j. Иногда это называют уникальный эффект из Икс_j на y. Напротив, предельный эффект из Икс_j на y можно оценить с помощью коэффициент корреляции или же простая линейная регрессия модель, относящаяся только к Икс_j к y; этот эффект полная производная из y относительно Икс_j.

Следует проявлять осторожность при интерпретации результатов регрессии, так как некоторые из регрессоров могут не допускать незначительных изменений (например, фиктивные переменные, или член перехвата), в то время как другие нельзя считать фиксированными (вспомните пример из введения: было бы невозможно "удерживать т_я fixed "и одновременно изменить значение т_я²).

Вполне возможно, что уникальный эффект может быть почти нулевым, даже если предельный эффект велик. Это может означать, что какая-то другая ковариата захватывает всю информацию в Икс_j, так что, как только эта переменная присутствует в модели, нет вклада Икс_j к вариации в y. И наоборот, уникальный эффект Икс_j может быть большим, а его предельный эффект почти равен нулю. Это произошло бы, если бы другие ковариаты объяснили большую часть вариации y, но в основном они объясняют вариации способом, который дополняет то, что фиксируется Икс_j. В этом случае включение других переменных в модель уменьшает часть изменчивости y это не связано с Икс_j, тем самым укрепляя очевидную связь с Икс_j.

Значение выражения «фиксируется» может зависеть от того, как возникают значения переменных-предикторов. Если экспериментатор напрямую устанавливает значения переменных-предикторов в соответствии с планом исследования, интересующие сравнения могут буквально соответствовать сравнениям между единицами, предикторные переменные которых «фиксируются» экспериментатором. В качестве альтернативы выражение «фиксированный» может относиться к выбору, который имеет место в контексте анализа данных. В этом случае мы «фиксируем переменную», ограничивая наше внимание подмножествами данных, которые имеют общее значение для данной переменной-предиктора. Это единственная интерпретация термина «фиксируется», которая может быть использована в наблюдательном исследовании.

Понятие «уникальный эффект» привлекает внимание при изучении сложной системы, в которой несколько взаимосвязанных компонентов влияют на переменную отклика. В некоторых случаях его можно буквально интерпретировать как причинный эффект вмешательства, связанный со значением переменной-предиктора. Однако утверждалось, что во многих случаях множественный регрессионный анализ не может прояснить отношения между переменными-предикторами и переменной отклика, когда предикторы коррелируют друг с другом и не назначаются в соответствии с планом исследования.^[9] Анализ общности может быть полезным при разделении общих и уникальных влияний коррелированных независимых переменных.^[10]

Расширения

Были разработаны многочисленные расширения линейной регрессии, которые позволяют ослабить некоторые или все допущения, лежащие в основе базовой модели.

Простая и множественная линейная регрессия

Пример простая линейная регрессия, который имеет одну независимую переменную

Самый простой случай одиночного скаляр переменная-предиктор Икс и единственная скалярная переменная ответа y известен как простая линейная регрессия. Расширение на несколько и / или вектор -значные переменные-предикторы (обозначены заглавной Икс) известен как множественная линейная регрессия, также известный как многомерная линейная регрессия.

Множественная линейная регрессия является обобщением простая линейная регрессия в случае более чем одной независимой переменной, а особый случай общих линейных моделей, ограниченных одной зависимой переменной. Базовая модель множественной линейной регрессии:

{ displaystyle Y_ {i} = beta _ {0} + beta _ {1} X_ {i1} + beta _ {2} X_ {i2} + ldots + beta _ {p} X_ {ip} + epsilon _ {i}}

за каждое наблюдение я = 1, ... , п.

В приведенной выше формуле мы рассматриваем п наблюдения одной зависимой переменной и п независимые переменные. Таким образом, Y_я это я^th наблюдение за зависимой переменной, Икс_ij является я^th наблюдение за j^th независимая переменная, j = 1, 2, ..., п. Ценности β_j представляют параметры, которые необходимо оценить, и ε_я это я^th независимая одинаково распределенная нормальная ошибка.

В более общей многомерной линейной регрессии существует одно уравнение указанной выше формы для каждого из м > 1 зависимых переменных, которые имеют один и тот же набор независимых переменных и, следовательно, оцениваются одновременно друг с другом:

{ Displaystyle Y_ {ij} = beta _ {0j} + beta _ {1j} X_ {i1} + beta _ {2j} X_ {i2} + ldots + beta _ {pj} X_ {ip} + epsilon _ {ij}}

для всех наблюдений с индексом я = 1, ... , п и для всех зависимых переменных, индексированных как j = 1, ..., м.

Практически все реальные регрессионные модели включают несколько предикторов, и базовые описания линейной регрессии часто формулируются в терминах модели множественной регрессии. Однако обратите внимание, что в этих случаях переменная ответа y по-прежнему скаляр. Другой термин, многомерная линейная регрессия, относится к случаям, когда y вектор, т. е. то же самое, что общая линейная регрессия.

Общие линейные модели

В общая линейная модель рассматривает ситуацию, когда переменная ответа является не скаляром (для каждого наблюдения), а вектором, y_я. Условная линейность ${ Displaystyle E ( mathbf {y} mid mathbf {x} _ {i}) = mathbf {x} _ {i} ^ { mathsf {T}} B}$ все еще предполагается, с матрицей B замена вектора β классической модели линейной регрессии. Многофакторные аналоги обыкновенный метод наименьших квадратов (OLS) и обобщенный метод наименьших квадратов (GLS) были разработаны. «Общие линейные модели» также называют «многомерными линейными моделями». Это не то же самое, что линейные модели с несколькими переменными (также называемые «множественные линейные модели»).

Гетероскедастические модели

Созданы различные модели, позволяющие гетероскедастичность, т.е. ошибки для разных переменных ответа могут иметь разные отклонения. Например, взвешенный метод наименьших квадратов - это метод оценки моделей линейной регрессии, когда переменные отклика могут иметь разные дисперсии ошибок, возможно, с коррелированными ошибками. (Смотрите также Взвешенный линейный метод наименьших квадратов, и Обобщенный метод наименьших квадратов.) Стандартные ошибки, согласованные с гетероскедастичностью это улучшенный метод для использования с некоррелированными, но потенциально гетероскедастическими ошибками.

Обобщенные линейные модели

Обобщенные линейные модели (GLM) представляют собой основу для моделирования переменных отклика, которые являются ограниченными или дискретными. Это используется, например:

при моделировании положительных величин (например, цен или численности населения), которые варьируются в больших масштабах, что лучше описать с помощью асимметричное распределение такой как логнормальное распределение или же распределение Пуассона (хотя GLM не используются для логарифмических нормальных данных, вместо этого переменная ответа просто преобразуется с помощью функции логарифмирования);
при моделировании категориальные данные, например, выбор данного кандидата на выборах (что лучше описать с помощью Распределение Бернулли /биномиальное распределение для двоичного выбора, или категориальное распределение /полиномиальное распределение для выбора из нескольких вариантов), где есть фиксированное количество вариантов, которые нельзя упорядочить осмысленно;
при моделировании порядковые данные, например оценки по шкале от 0 до 5, где различные результаты могут быть упорядочены, но где само количество может не иметь никакого абсолютного значения (например, оценка 4 не может быть «вдвое лучше» в любом объективном смысле, чем оценка 2 , но просто указывает, что это лучше, чем 2 или 3, но не так хорошо, как 5).

Обобщенные линейные модели допускают произвольное функция ссылки, грамм, что связывает иметь в виду переменной (ей) отклика на предикторы: ${ Displaystyle Е (Y) = г ^ {- 1} (XB)}$ . Функция связи часто связана с распределением ответа, и, в частности, она обычно имеет эффект преобразования между ${ Displaystyle (- infty, infty)}$ диапазон линейного предиктора и диапазон переменной ответа.

Вот несколько распространенных примеров GLM:

Регрессия Пуассона для подсчета данных.
Логистическая регрессия и пробит регрессия для двоичных данных.
Полиномиальная логистическая регрессия и полиномиальный пробит регрессия для категориальных данных.
Заказал логит и заказал пробит регрессия для порядковых данных.

Модели с одним индексом^{[требуется разъяснение ]} допускают некоторую степень нелинейности в отношениях между Икс и y, сохраняя центральную роль линейного предиктора β′Икс как в классической модели линейной регрессии. При определенных условиях простое применение OLS к данным из одноиндексной модели позволит последовательно оценить β с точностью до константы пропорциональности.^[11]

Иерархические линейные модели

Иерархические линейные модели (или же многоуровневая регрессия) организует данные в иерархию регрессий, например, где А регрессирует на B, и B регрессирует на C. Он часто используется там, где интересующие переменные имеют естественную иерархическую структуру, например, в статистике образования, где учащиеся вложены в классы, классы вложены в школы, а школы вложены в некоторые административные группы, такие как школьный округ. Переменная ответа может быть мерой успеваемости учащихся, например баллом за тест, и различные ковариаты будут собираться на уровне класса, школы и школьного округа.

Ошибки в переменных

Модели с ошибками в переменных (или «модели ошибок измерения») расширяют традиционную модель линейной регрессии, чтобы позволить переменным-предикторам Икс наблюдаться с ошибкой. Эта ошибка вызывает стандартные оценки β стать предвзятым. Как правило, форма смещения - это затухание, что означает, что эффекты смещены к нулю.

Другие

В Теория Демпстера – Шафера, или линейная функция веры в частности, модель линейной регрессии может быть представлена как частично развернутая матрица, которую можно комбинировать с аналогичными матрицами, представляющими наблюдения и другие предполагаемые нормальные распределения и уравнения состояния. Комбинация матриц с разверткой и без развертки обеспечивает альтернативный метод оценки моделей линейной регрессии.

Методы оценки

Разработано большое количество процедур для параметр оценка и вывод в линейной регрессии. Эти методы отличаются вычислительной простотой алгоритмов, наличием решения в замкнутой форме, устойчивостью к распределениям с тяжелыми хвостами и теоретическими допущениями, необходимыми для проверки желаемых статистических свойств, таких как последовательность и асимптотический эффективность.

Ниже приведены некоторые из наиболее распространенных методов оценки линейной регрессии.

Оценка методом наименьших квадратов и связанные методы

Фрэнсиса Гальтона 1875 г. Иллюстрация корреляции между ростом взрослых и их родителей. Наблюдение за тем, что рост взрослых детей, как правило, меньше отклоняется от среднего роста, чем их родители, подсказало концепцию "регресс к среднему ", давшая название регрессии." Географическое место горизонтальных касательных точек ", проходящее через крайнюю левую и крайнюю правую точки на эллипсе (который является кривая уровня из двумерное нормальное распределение оценивается по данным) OLS оценка регрессии роста родителей на рост детей, в то время как «геометрическое место вертикальных касательных точек» представляет собой оценку регрессии роста детей на рост родителей с помощью метода наименьших квадратов. Большая ось эллипса - это TLS оценивать.

Предполагая, что независимая переменная ${ displaystyle { vec {x_ {i}}} = left [x_ {1} ^ {i}, x_ {2} ^ {i}, ldots, x_ {m} ^ {i} right]}$ а параметры модели равны ${ displaystyle { vec { beta}} = left [ beta _ {0}, beta _ {1}, ldots, beta _ {m} right]}$ , то прогноз модели будет ${ displaystyle y_ {i} приблизительно beta _ {0} + sum _ {j = 1} ^ {m} beta _ {j} times x_ {j} ^ {i}}$ . Если ${ displaystyle { vec {x_ {i}}}}$ распространяется на ${ displaystyle { vec {x_ {i}}} = left [1, x_ {1} ^ {i}, x_ {2} ^ {i}, ldots, x_ {m} ^ {i} right ]}$ тогда ${ displaystyle y_ {i}}$ станет скалярным произведением параметра и независимой переменной, т.е. ${ displaystyle y_ {i} приблизительно sum _ {j = 0} ^ {m} beta _ {j} times x_ {j} ^ {i} = { vec { beta}} , , . , { vec {x_ {i}}}}$ . В настройке наименьших квадратов оптимальный параметр определяется как такой, который минимизирует сумму среднеквадратичных потерь:

{ displaystyle { vec { hat { beta}}} = { underset { vec { beta}} { mbox {arg min}}} , L left (D, { vec { beta }} right) = { underset { vec { beta}} { mbox {arg min}}} sum _ {i = 1} ^ {n} left ({ vec { beta}} ,. , { vec {x_ {i}}} - y_ {i} right) ^ {2}}

Теперь поместив независимые и зависимые переменные в матрицы ${ displaystyle X}$ и ${ displaystyle Y}$ соответственно, функцию потерь можно переписать как:

{ displaystyle { begin {align} L left (D, { vec { beta}} right) & = | X { vec { beta}} - Y | ^ {2} & = left (X { vec { beta}} - Y right) ^ { extf {T}} left (X { vec { beta}} - Y right) & = Y ^ { extf {T}} YY ^ { extf {T}} X { vec { beta}} - { vec { beta}} ^ { extf {T}} X ^ { extf {T}} Y + { vec { beta}} ^ { extf {T}} X ^ { extf {T}} X { vec { beta}} end {выровнено}}}

Поскольку потери являются выпуклыми, оптимальное решение лежит при нулевом градиенте. Градиент функции потерь равен (используя Соглашение о расположении знаменателя ):

{ displaystyle { begin {align} { frac { partial L left (D, { vec { beta}} right)} { partial { vec { beta}}}} & = { гидроразрыв { partial left (Y ^ { extf {T}} YY ^ { extf {T}} X { vec { beta}} - { vec { beta}} ^ { extf {T} } X ^ { extf {T}} Y + { vec { beta}} ^ { extf {T}} X ^ { extf {T}} X { vec { beta}} right)} { partial { vec { beta}}}} & = - 2Y ^ { extf {T}} X + 2 { vec { beta}} ^ { extf {T}} X ^ { extf {T}} X end {выровнено}}}

Установка градиента на ноль дает оптимальный параметр:

{ Displaystyle { begin {выровнено} -2Y ^ { extf {T}} X + 2 { vec { beta}} ^ { extf {T}} X ^ { extf {T}} X & = 0 Стрелка вправо Y ^ { extf {T}} X & = { vec { beta}} ^ { extf {T}} X ^ { extf {T}} X Стрелка вправо X ^ { extf {T}} Y & = X ^ { extf {T}} X { vec { beta}} Rightarrow { vec { hat { beta}}} & = left (X ^ { extf {T}} X right) ^ {- 1} X ^ { extf {T}} Y end {align}}}

Примечание: Чтобы доказать, что ${ displaystyle { hat { beta}}}$ действительно является локальным минимумом, нужно еще раз дифференцировать, чтобы получить Матрица Гессе и показать, что это положительно определенно. Это обеспечивается Теорема Гаусса – Маркова.

Линейный метод наименьших квадратов методы включают в основном:

Оценка максимального правдоподобия и связанные методы

Оценка максимального правдоподобия может быть выполнено, когда известно, что распределение членов ошибки принадлежит определенному параметрическому семейству ƒ_θ из распределения вероятностей.^[12] Когда ж_θ нормальное распределение с нулем иметь в виду и дисперсия θ, результирующая оценка идентична оценке OLS. GLS-оценки являются оценками максимального правдоподобия, когда ε следует многомерному нормальному распределению с известным ковариационная матрица.
Регрессия хребта^[13]^[14]^[15] и другие формы штрафных оценок, такие как Регрессия лассо,^[5] намеренно ввести предвзятость в оценку β чтобы уменьшить изменчивость оценки. Полученные оценки обычно имеют более низкие среднеквадратичная ошибка чем оценки OLS, особенно когда мультиколлинеарность присутствует или когда переоснащение это проблема. Обычно они используются, когда цель - предсказать значение переменной ответа. y для значений предикторов Икс что еще не наблюдалось. Эти методы не так часто используются, когда целью является вывод, поскольку трудно учесть предвзятость.
Наименьшее абсолютное отклонение (LAD) регрессия робастная оценка метод в том, что он менее чувствителен к наличию выбросов, чем OLS (но менее эффективный чем OLS при отсутствии выбросов). Это эквивалентно оценке максимального правдоподобия при Распределение Лапласа модель для ε.^[16]
Адаптивная оценка. Если предположить, что условия ошибки независимый регрессоров, ${ Displaystyle varepsilon _ {я} перп mathbf {х} _ {я}}$ , то оптимальной оценкой является двухэтапная MLE, где первый шаг используется для непараметрической оценки распределения члена ошибки.^[17]

Другие методы оценки

Сравнение Оценка Тейла – Сена (черный и простая линейная регрессия (синий) для набора точек с выбросами.

Байесовская линейная регрессия применяет рамки Байесовская статистика к линейной регрессии. (Смотрите также Байесовская многомерная линейная регрессия.) В частности, предполагается, что коэффициенты регрессии β равны случайные переменные с указанием предварительное распространение. The prior distribution can bias the solutions for the regression coefficients, in a way similar to (but more general than) регресс гребня или же lasso regression. In addition, the Bayesian estimation process produces not a single point estimate for the "best" values of the regression coefficients but an entire апостериорное распределение, completely describing the uncertainty surrounding the quantity. This can be used to estimate the "best" coefficients using the mean, mode, median, any quantile (see quantile regression ), or any other function of the posterior distribution.
Квантильная регрессия focuses on the conditional quantiles of y данный Икс rather than the conditional mean of y данный Икс. Linear quantile regression models a particular conditional quantile, for example the conditional median, as a linear function β^ТИкс of the predictors.
Mixed models are widely used to analyze linear regression relationships involving dependent data when the dependencies have a known structure. Common applications of mixed models include analysis of data involving repeated measurements, such as longitudinal data, or data obtained from cluster sampling. They are generally fit as параметрический models, using maximum likelihood or Bayesian estimation. In the case where the errors are modeled as нормальный random variables, there is a close connection between mixed models and generalized least squares.^[18] Fixed effects estimation is an alternative approach to analyzing this type of data.
Регрессия главных компонентов (PCR)^[7]^[8] is used when the number of predictor variables is large, or when strong correlations exist among the predictor variables. This two-stage procedure first reduces the predictor variables using Анализ главных компонентов then uses the reduced variables in an OLS regression fit. While it often works well in practice, there is no general theoretical reason that the most informative linear function of the predictor variables should lie among the dominant principal components of the multivariate distribution of the predictor variables. В partial least squares regression is the extension of the PCR method which does not suffer from the mentioned deficiency.
Регрессия наименьшего угла^[6] is an estimation procedure for linear regression models that was developed to handle high-dimensional covariate vectors, potentially with more covariates than observations.
В Theil–Sen estimator это простой robust estimation technique that chooses the slope of the fit line to be the median of the slopes of the lines through pairs of sample points. It has similar statistical efficiency properties to simple linear regression but is much less sensitive to выбросы.^[19]
Other robust estimation techniques, including the α-trimmed mean подход^{[нужна цитата ]}, и L-, M-, S-, and R-estimators были введены.^{[нужна цитата ]}

Приложения

Linear regression is widely used in biological, behavioral and social sciences to describe possible relationships between variables. It ranks as one of the most important tools used in these disciplines.

Линия тренда

А trend line represents a trend, the long-term movement in Временные ряды data after other components have been accounted for. It tells whether a particular data set (say GDP, oil prices or stock prices) have increased or decreased over the period of time. A trend line could simply be drawn by eye through a set of data points, but more properly their position and slope is calculated using statistical techniques like linear regression. Trend lines typically are straight lines, although some variations use higher degree polynomials depending on the degree of curvature desired in the line.

Trend lines are sometimes used in business analytics to show changes in data over time. This has the advantage of being simple. Trend lines are often used to argue that a particular action or event (such as training, or an advertising campaign) caused observed changes at a point in time. This is a simple technique, and does not require a control group, experimental design, or a sophisticated analysis technique. However, it suffers from a lack of scientific validity in cases where other potential changes can affect the data.

Эпидемиология

Early evidence relating tobacco smoking to mortality and болезненность пришли из наблюдательные исследования employing regression analysis. Чтобы уменьшить ложные корреляции when analyzing observational data, researchers usually include several variables in their regression models in addition to the variable of primary interest. For example, in a regression model in which cigarette smoking is the independent variable of primary interest and the dependent variable is lifespan measured in years, researchers might include education and income as additional independent variables, to ensure that any observed effect of smoking on lifespan is not due to those other социально-экономические факторы. However, it is never possible to include all possible сбивать с толку variables in an empirical analysis. For example, a hypothetical gene might increase mortality and also cause people to smoke more. По этой причине, рандомизированные контролируемые испытания are often able to generate more compelling evidence of causal relationships than can be obtained using regression analyses of observational data. When controlled experiments are not feasible, variants of regression analysis such as instrumental variables regression may be used to attempt to estimate causal relationships from observational data.

Финансы

В модель ценообразования основных средств uses linear regression as well as the concept of бета for analyzing and quantifying the systematic risk of an investment. This comes directly from the beta coefficient of the linear regression model that relates the return on the investment to the return on all risky assets.

Экономика

Linear regression is the predominant empirical tool in экономика. For example, it is used to predict consumption spending,^[20] fixed investment расходы inventory investment, purchases of a country's экспорт,^[21] spending on импорт,^[21] то demand to hold liquid assets,^[22] labor demand,^[23] и labor supply.^[23]

Наука об окружающей среде

Linear regression finds application in a wide range of environmental science applications. In Canada, the Environmental Effects Monitoring Program uses statistical analyses on fish and бентосный surveys to measure the effects of pulp mill or metal mine effluent on the aquatic ecosystem.^[24]

Машинное обучение

Linear regression plays an important role in the field of artificial intelligence Такие как машинное обучение. The linear regression algorithm is one of the fundamental supervised machine-learning algorithms due to its relative simplicity and well-known properties.^[25]

История

Least squares linear regression, as a means of finding a good rough linear fit to a set of points was performed by Legendre (1805 г.) и Гаусс (1809) for the prediction of planetary movement. Quetelet was responsible for making the procedure well-known and for using it extensively in the social sciences.^[26]

Смотрите также

дальнейшее чтение

Pedhazur, Elazar J (1982). Multiple regression in behavioral research: Explanation and prediction (2-е изд.). New York: Holt, Rinehart and Winston. ISBN 978-0-03-041760-3.
Mathieu Rouaud, 2013: Probability, Statistics and Estimation Chapter 2: Linear Regression, Linear Regression with Error Bars and Nonlinear Regression.
National Physical Laboratory (1961). "Chapter 1: Linear Equations and Matrices: Direct Methods". Modern Computing Methods. Notes on Applied Science. 16 (2-е изд.). Канцелярия Ее Величества.

внешняя ссылка

Least-Squares Regression, PhET Interactive simulations, University of Colorado at Boulder
DIY Linear Fit

[Freedman09-1] David A. Freedman (2009). Statistical Models: Theory and Practice. Издательство Кембриджского университета. п. 26. A simple regression equation has on the right hand side an intercept and an explanatory variable with a slope coefficient. A multiple regression e right hand side, each with its own slope coefficient

[2] Rencher, Alvin C.; Christensen, William F. (2012), "Chapter 10, Multivariate regression – Section 10.1, Introduction", Methods of Multivariate Analysis, Wiley Series in Probability and Statistics, 709 (3rd ed.), John Wiley & Sons, p. 19, ISBN 9781118391679.

[3] Hilary L. Seal (1967). "The historical development of the Gauss linear model". Биометрика. 54 (1/2): 1–24. Дои:10.1093/biomet/54.1-2.1. JSTOR 2333849.

[4] Yan, Xin (2009), Linear Regression Analysis: Theory and Computing, World Scientific, pp. 1–2, ISBN 9789812834119, Regression analysis ... is probably one of the oldest topics in mathematical statistics dating back to about two hundred years ago. The earliest form of the linear regression was the least squares method, which was published by Legendre in 1805, and by Gauss in 1809 ... Legendre and Gauss both applied the method to the problem of determining, from astronomical observations, the orbits of bodies about the sun.

[tibs_lasso-5] а ^б Tibshirani, Robert (1996). "Regression Shrinkage and Selection via the Lasso". Журнал Королевского статистического общества, серия B. 58 (1): 267–288. JSTOR 2346178.

[efron_lars-6] а ^б Efron, Bradley; Хасти, Тревор; Johnstone, Iain; Tibshirani, Robert (2004). "Least Angle Regression". Анналы статистики. 32 (2): 407–451. arXiv:math/0406456. Дои:10.1214/009053604000000067. JSTOR 3448465.

[hawkins_pcr-7] а ^б Hawkins, Douglas M. (1973). "On the Investigation of Alternative Regressions by Principal Component Analysis". Journal of the Royal Statistical Society, Series C. 22 (3): 275–286. JSTOR 2346776.

[joliffe_pcr-8] а ^б Jolliffe, Ian T. (1982). "A Note on the Use of Principal Components in Regression". Journal of the Royal Statistical Society, Series C. 31 (3): 300–303. JSTOR 2348005.

[9] Berk, Richard A. (2007). "Regression Analysis: A Constructive Critique". Обзор уголовного правосудия. 32 (3): 301–302. Дои:10.1177/0734016807304871.

[10] Warne, Russell T. (2011). "Beyond multiple regression: Using commonality analysis to better understand R2 results". Gifted Child Quarterly. 55 (4): 313–318. Дои:10.1177/0016986211422217.

[11] Brillinger, David R. (1977). "The Identification of a Particular Nonlinear Time Series System". Биометрика. 64 (3): 509–515. Дои:10.1093/biomet/64.3.509. JSTOR 2345326.

[12] Lange, Kenneth L.; Little, Roderick J. A.; Taylor, Jeremy M. G. (1989). "Robust Statistical Modeling Using the t Distribution" (PDF). Журнал Американской статистической ассоциации. 84 (408): 881–896. Дои:10.2307/2290063. JSTOR 2290063.

[13] Swindel, Benee F. (1981). "Geometry of Ridge Regression Illustrated". Американский статистик. 35 (1): 12–15. Дои:10.2307/2683577. JSTOR 2683577.

[14] Draper, Norman R.; van Nostrand; R. Craig (1979). "Ridge Regression and James-Stein Estimation: Review and Comments". Технометрика. 21 (4): 451–466. Дои:10.2307/1268284. JSTOR 1268284.

[15] Hoerl, Arthur E.; Kennard, Robert W.; Hoerl, Roger W. (1985). "Practical Use of Ridge Regression: A Challenge Met". Journal of the Royal Statistical Society, Series C. 34 (2): 114–120. JSTOR 2347363.

[16] Narula, Subhash C.; Wellington, John F. (1982). "The Minimum Sum of Absolute Errors Regression: A State of the Art Survey". Международный статистический обзор. 50 (3): 317–326. Дои:10.2307/1402501. JSTOR 1402501.

[17] Stone, C. J. (1975). "Adaptive maximum likelihood estimators of a location parameter". Анналы статистики. 3 (2): 267–284. Дои:10.1214/aos/1176343056. JSTOR 2958945.

[18] Goldstein, H. (1986). "Multilevel Mixed Linear Model Analysis Using Iterative Generalized Least Squares". Биометрика. 73 (1): 43–56. Дои:10.1093/biomet/73.1.43. JSTOR 2336270.

[19] Theil, H. (1950). "A rank-invariant method of linear and polynomial regression analysis. I, II, III". Nederl. Акад. Wetensch., Proc. 53: 386–392, 521–525, 1397–1412. МИСТЕР 0036489.; Sen, Pranab Kumar (1968). "Estimates of the regression coefficient based on Kendall's tau". Журнал Американской статистической ассоциации. 63 (324): 1379–1389. Дои:10.2307/2285891. JSTOR 2285891. МИСТЕР 0258201..

[20] Deaton, Angus (1992). Understanding Consumption. Издательство Оксфордского университета. ISBN 978-0-19-828824-4.

[Krugman-21] а ^б Krugman, Paul R.; Obstfeld, M.; Melitz, Marc J. (2012). International Economics: Theory and Policy (9th global ed.). Харлоу: Пирсон. ISBN 9780273754091.

[22] Laidler, David E. W. (1993). The Demand for Money: Theories, Evidence, and Problems (4-е изд.). Нью-Йорк: Харпер Коллинз. ISBN 978-0065010985.

[Ehrenberg-23] а ^б Ehrenberg; Smith (2008). Modern Labor Economics (10th international ed.). London: Addison-Wesley. ISBN 9780321538963.

[24] EEMP webpage В архиве 2011-06-11 на Wayback Machine

[25] "Linear Regression (Machine Learning)" (PDF). Питтсбургский университет.

[stigler-26] Стиглер, Стивен М. (1986). The History of Statistics: The Measurement of Uncertainty before 1900. Cambridge: Harvard. ISBN 0-674-40340-1.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]

[15]

[16]

[17]

[18]

[19]

[20]

[21]

[22]

[23]

[24]

[25]

[26]