Регрессия Пуассона - Poisson regression

В статистика, Регрессия Пуассона это обобщенная линейная модель форма регрессивный анализ используется для моделирования подсчитывать данные и таблицы непредвиденных обстоятельств. Регрессия Пуассона предполагает переменную ответа Y имеет распределение Пуассона, и предполагает логарифм своего ожидаемое значение может быть смоделирована линейной комбинацией неизвестных параметры. Модель регрессии Пуассона иногда называют лог-линейная модель, особенно при использовании для моделирования таблиц непредвиденных обстоятельств.

Отрицательная биномиальная регрессия является популярным обобщением регрессии Пуассона, поскольку оно ослабляет строго ограничительное предположение о том, что дисперсия равна среднему значению, сделанному моделью Пуассона. Традиционная модель отрицательной биномиальной регрессии, широко известная как NB2, основана на распределении смеси Пуассона и гамма-излучения. Эта модель популярна, потому что она моделирует неоднородность Пуассона с помощью гамма-распределения.

Модели регрессии Пуассона: обобщенные линейные модели с логарифмом как (канонический) функция ссылки, а распределение Пуассона функция как предполагаемое распределение вероятностей ответа.

Модели регрессии

Если ${\displaystyle \mathbf {x} \in \mathbb {R} ^{n}}$ вектор независимые переменные, то модель принимает вид

${\displaystyle \log(\operatorname {E} (Y\mid \mathbf {x} ))=\alpha +\mathbf {\beta } '\mathbf {x} ,}$

куда ${\displaystyle \alpha \in \mathbb {R} }$ и ${\displaystyle \mathbf {\beta } \in \mathbb {R} ^{n}}$. Иногда это записывается более компактно как

${\displaystyle \log(\operatorname {E} (Y\mid \mathbf {x} ))={\boldsymbol {\theta }}'\mathbf {x} ,\,}$

куда Икс теперь (п + 1) -мерный вектор, состоящий из п независимые переменные, связанные с номером один. Здесь θ просто α соединен с β.

Таким образом, если дана модель регрессии Пуассона θ и входной вектор Икс, прогнозируемое среднее ассоциированного распределения Пуассона дается выражением

${\displaystyle \operatorname {E} (Y\mid \mathbf {x} )=e^{{\boldsymbol {\theta }}'\mathbf {x} }.\,}$

Если Y_я находятся независимый наблюдения с соответствующими значениями Икс_я переменных-предикторов, то θ можно оценить по максимальная вероятность. В оценках максимального правдоподобия отсутствует выражение в закрытой форме и должны быть найдены численными методами. Поверхность вероятности для регрессии Пуассона максимального правдоподобия всегда вогнута, что делает методы оценки Ньютона – Рафсона или другие методы на основе градиента подходящими.

Оценка параметров на основе максимального правдоподобия

Учитывая набор параметров θ и входной вектор Икс, среднее из предсказанных распределение Пуассона, как указано выше, определяется выражением

${\displaystyle \lambda :=\operatorname {E} (Y\mid x)=e^{\theta 'x},\,}$

и, таким образом, распределение Пуассона функция массы вероятности дан кем-то

${\displaystyle p(y\mid x;\theta )={\frac {\lambda ^{y}}{y!}}e^{-\lambda }={\frac {e^{y\theta 'x}e^{-e^{\theta 'x}}}{y!}}}$

Теперь предположим, что нам дан набор данных, состоящий из м векторов ${\displaystyle x_{i}\in \mathbb {R} ^{n+1},\,i=1,\ldots ,m}$вместе с набором м значения ${\displaystyle y_{1},\ldots ,y_{m}\in \mathbb {N} }$. Тогда для заданного набора параметров θ, вероятность получения этого конкретного набора данных определяется выражением

${\displaystyle p(y_{1},\ldots ,y_{m}\mid x_{1},\ldots ,x_{m};\theta )=\prod _{i=1}^{m}{\frac {e^{y_{i}\theta 'x_{i}}e^{-e^{\theta 'x_{i}}}}{y_{i}!}}.}$

По методу максимальная вероятность, мы хотим найти набор параметров θ что делает эту вероятность как можно большей. Для этого уравнение сначала переписывается как функция правдоподобия с точки зрения θ:

${\displaystyle L(\theta \mid X,Y)=\prod _{i=1}^{m}{\frac {e^{y_{i}\theta 'x_{i}}e^{-e^{\theta 'x_{i}}}}{y_{i}!}}.}$

Обратите внимание, что выражение на Правая сторона практически не изменилось. С формулой в такой форме обычно сложно работать; вместо этого используется логарифмическая вероятность:

${\displaystyle \ell (\theta \mid X,Y)=\log L(\theta \mid X,Y)=\sum _{i=1}^{m}\left(y_{i}\theta 'x_{i}-e^{\theta 'x_{i}}-\log(y_{i}!)\right).}$

Обратите внимание, что параметры θ появляются только в первых двух членах каждого члена в суммировании. Поэтому, учитывая, что мы заинтересованы только в поиске наилучшего значения для θ мы можем отказаться от у_я! и просто напишите

${\displaystyle \ell (\theta \mid X,Y)=\sum _{i=1}^{m}\left(y_{i}\theta 'x_{i}-e^{\theta 'x_{i}}\right).}$

Чтобы найти максимум, нам нужно решить уравнение ${\displaystyle {\frac {\partial \ell (\theta \mid X,Y)}{\partial \theta }}=0}$ который не имеет решения в закрытом виде. Однако отрицательная логарифмическая вероятность, ${\displaystyle -\ell (\theta \mid X,Y)}$, является выпуклой функцией, поэтому стандартная выпуклая оптимизация такие методы, как градиентный спуск может применяться для поиска оптимального значения θ.

Регрессия Пуассона на практике

Регрессия Пуассона может быть подходящей, когда зависимой переменной является счетчик, например События например, поступление телефонного звонка в колл-центр.^[1] События должны быть независимыми в том смысле, что поступление одного вызова не сделает другой более или менее вероятным, но считается, что вероятность в единицу времени событий связана с ковариатами, такими как время суток.

«Экспозиция» и смещение

Регрессия Пуассона также может быть подходящей для данных по скорости, где скорость - это количество событий, деленное на некоторую меру этой единицы. контакт (конкретная единица наблюдения). Например, биологи могут подсчитать количество видов деревьев в лесу: событиями будут наблюдения за деревьями, экспозиция - единицей площади, а норма - числом видов на единицу площади. Демографы могут моделировать показатели смертности в географических регионах как количество смертей, разделенное на человеко-годы. В более общем смысле, частота событий может быть рассчитана как количество событий в единицу времени, что позволяет изменять окно наблюдения для каждой единицы. В этих примерах экспозиция представляет собой соответственно единицу площади, человеко-годы и единицу времени. В регрессии Пуассона это рассматривается как компенсировать, где переменная экспозиции входит в правую часть уравнения, но с оценкой параметра (для log (экспозиция)), ограниченной до 1.

${\displaystyle \log(\operatorname {E} (Y\mid x))=\log({\text{exposure}})+\theta 'x}$

что подразумевает

${\displaystyle \log(\operatorname {E} (Y\mid x))-\log({\text{exposure}})=\log \left({\frac {\operatorname {E} (Y\mid x)}{\text{exposure}}}\right)=\theta 'x}$

Смещение в случае GLM в р может быть достигнуто с помощью компенсировать() функция:

glm(у ~ компенсировать(бревно(контакт)) + Икс, семья=Пуассон(связь=бревно) )

Чрезмерная дисперсия и нулевая инфляция

Характеристика распределение Пуассона в том, что его среднее значение равно его дисперсии. При определенных обстоятельствах будет обнаружено, что наблюдаемое отклонение больше среднего; это известно как чрезмерная дисперсия и указывает, что модель не подходит. Распространенной причиной является отсутствие релевантных независимых переменных или зависимых наблюдений. В некоторых случаях проблему избыточного диспергирования можно решить, используя квази-правдоподобие оценка или отрицательное биномиальное распределение вместо.^[2][3]

Вер Хеф и Бовенг описали разницу между квазипуассоновским (также называемым сверхдисперсией с квази-правдоподобием) и отрицательным биномом (эквивалентным гамма-Пуассону) следующим образом: Если E(Y) = μ, квазипуассоновская модель предполагает var (Y) = θμ в то время как гамма-Пуассон предполагает var (Y) = μ(1 + κμ), куда θ - параметр квазипуассоновской сверхдисперсии, а κ параметр формы отрицательное биномиальное распределение. Для обеих моделей параметры оцениваются с использованием Метод наименьших квадратов с итеративным перевесом. Для квазипуассона веса равны μ/θ. Для отрицательного бинома веса равны μ/(1 + κμ). С большим μ и существенная экстрапуассоновская вариация, отрицательные биномиальные веса ограничиваются 1 /κ. Вер Хеф и Бовенг обсудили пример, в котором они выбирали одно из двух, нанося на график среднеквадратичные остатки против среднего.^[4]

Еще одна распространенная проблема с регрессией Пуассона - это избыточные нули: если работают два процесса, один из которых определяет, есть ли нулевые события или какие-либо события, а процесс Пуассона определяет, сколько событий существует, нулей будет больше, чем в регрессии Пуассона предсказывать. Примером может служить раздача сигарет, выкуриваемых за час, членами группы, в которой некоторые люди не курят.

Другой обобщенные линейные модели такой как отрицательный бином модель или модель без наддува может работать лучше в этих случаях.

Использование в анализе выживаемости

Регрессия Пуассона создает модели пропорциональных рисков, один класс анализ выживаемости: видеть модели пропорциональных опасностей для описания моделей Cox.

Расширения

Регуляризованная регрессия Пуассона

При оценке параметров регрессии Пуассона обычно пытаются найти значения для θ которые увеличивают вероятность выражения формы

${\displaystyle \sum _{i=1}^{m}\log(p(y_{i};e^{\theta 'x_{i}})),}$

куда м - количество примеров в наборе данных, и ${\displaystyle p(y_{i};e^{\theta 'x_{i}})}$ это функция массы вероятности из распределение Пуассона со средним значением, установленным на ${\displaystyle e^{\theta 'x_{i}}}$. К этой проблеме оптимизации можно добавить регуляризацию, вместо этого максимизируя^[5]

${\displaystyle \sum _{i=1}^{m}\log(p(y_{i};e^{\theta 'x_{i}}))-\lambda \left\|\theta \right\|_{2}^{2},}$

для некоторой положительной постоянной ${\displaystyle \lambda }$. Эта техника, похожая на регресс гребня, может уменьшить переоснащение.

Смотрите также

• Модель без наддува
• распределение Пуассона
• Модель Пуассона с фиксированным эффектом
• Оценка инструментальных переменных § регрессия Пуассона

Рекомендации

1. Грин, Уильям Х. (2003). Эконометрический анализ (Пятое изд.). Прентис-Холл. стр.740 –752. ISBN  978-0130661890.
2. Патерностер Р., Брэйм Р. (1997). «Множественные пути к правонарушению? Проверка теории развития и общей теории преступности». Криминология. 35: 45–84. Дои:10.1111 / j.1745-9125.1997.tb00870.x.
3. Берк Р., Макдональд Дж. (2008). «Чрезмерная дисперсия и регрессия Пуассона». Журнал количественной криминологии. 24 (3): 269–284. Дои:10.1007 / s10940-008-9048-4.
4. Ver Hoef, JAY M .; Бовенг, Питер Л. (2007-01-01). «Квазипуассоновская и отрицательная биномиальная регрессия: как мы должны моделировать сверхдисперсные данные подсчета?». Экология. 88 (11): 2766–2772. Дои:10.1890/07-0043.1. Получено 2016-09-01.
5. Перпероглу, Арис (08.09.2011). «Подгонка данных о выживаемости со штрафной регрессией Пуассона». Статистические методы и приложения. Springer Nature. 20 (4): 451–462. Дои:10.1007 / s10260-011-0172-1. ISSN  1618-2510.

дальнейшее чтение

• Cameron, A.C .; Триведи, П. К. (1998). Регрессионный анализ данных подсчета. Издательство Кембриджского университета. ISBN  978-0-521-63201-0.
• Кристенсен, Рональд (1997). Лог-линейные модели и логистическая регрессия. Тексты Springer в статистике (второе изд.). Нью-Йорк: Springer-Verlag. ISBN  978-0-387-98247-2. МИСТЕР  1633357.
• Гурье, Кристиан (2000). «Эконометрика дискретных положительных переменных: модель Пуассона». Эконометрика качественных зависимых переменных. Нью-Йорк: Издательство Кембриджского университета. С. 270–83. ISBN  978-0-521-58985-7.
• Грин, Уильям Х. (2008). «Модели для подсчета и продолжительности событий». Эконометрический анализ (8-е изд.). Река Верхнее Седл: Prentice Hall. стр.906 –944. ISBN  978-0-13-600383-0.
• Хильбе, Дж. М. (2007). Отрицательная биномиальная регрессия. Издательство Кембриджского университета. ISBN  978-0-521-85772-7.
• Джонс, Эндрю М .; и другие. (2013). «Модели для подсчета данных». Прикладная экономика здравоохранения. Лондон: Рутледж. С. 295–341. ISBN  978-0-415-67682-3.