Алгоритм Берндта – Холла – Холла – Хаусмана - Berndt–Hall–Hall–Hausman algorithm

В Берндт – Холл – Холл – Хаусман (BHHH) алгоритм это численная оптимизация алгоритм аналогично Алгоритм Ньютона – Рафсона, но заменяет наблюдаемый отрицательный Матрица Гессе с внешний продукт из градиент. Это приближение основано на информационная матрица равенство и поэтому действует только при максимальном функция правдоподобия.^[1] Алгоритм BHHH назван в честь четырех создателей: Эрнст Р. Берндт, Бронвин Холл, Роберт Холл, и Джерри Хаусман.^[2]

использование

Если нелинейный модель приспособлена к данные часто нужно оценить коэффициенты через оптимизация. Ряд алгоритмов оптимизации имеют следующую общую структуру. Предположим, что оптимизируемая функция Q(β). Тогда алгоритмы являются итерационными, определяя последовательность приближений, β_k данный

${displaystyle eta _{k+1}=eta _{k}-lambda _{k}A_{k}{frac {partial Q}{partial eta }}(eta _{k}),}$,

куда ${displaystyle eta _{k}}$ - оценка параметра на шаге k, а ${displaystyle lambda _{k}}$ - параметр (называемый размером шага), который частично определяет конкретный алгоритм. Для алгоритма BHHH λ_k определяется расчетами в рамках данного итеративного шага, включая линейный поиск до точки β_k+1 удовлетворяет определенным критериям. Кроме того, для алгоритма BHHH, Q имеет форму

${displaystyle Q=sum _{i=1}^{N}Q_{i}}$

и А рассчитывается с использованием

${displaystyle A_{k}=left[sum _{i=1}^{N}{frac {partial ln Q_{i}}{partial eta }}(eta _{k}){frac {partial ln Q_{i}}{partial eta }}(eta _{k})'ight]^{-1}.}$

В других случаях, например, Ньютон – Рафсон, ${displaystyle A_{k}}$ могут иметь другие формы. Алгоритм BHHH имеет то преимущество, что при выполнении определенных условий сходимость итерационной процедуры гарантируется.^{[нужна цитата ]}

Смотрите также

• Алгоритм Дэвидона – Флетчера – Пауэлла (DFP)
• Алгоритм Бройдена – Флетчера – Гольдфарба – Шанно (BFGS)

Рекомендации

1. Henningsen, A .; Тумет, О. (2011). «maxLik: Пакет для оценки максимального правдоподобия в R». Вычислительная статистика. 26 (3): 443–458 [стр. 450]. Дои:10.1007 / s00180-010-0217-1.
2. Berndt, E .; Холл, Б .; Холл, р .; Хаусман Дж. (1974). «Оценка и вывод в нелинейных структурных моделях» (PDF). Анналы экономических и социальных измерений. 3 (4): 653–665.

дальнейшее чтение

• Амемия, Такеши (1985). Продвинутая эконометрика. Кембридж: Издательство Гарвардского университета. стр.137–138. ISBN  0-674-00560-0.
• Gill, P .; Мюррей, В .; Райт, М. (1981). Практическая оптимизация. Лондон: Харкорт Брейс.
• Гурье, Кристиан; Монфорт, Ален (1995). "Градиентные методы и оценка ML". Статистика и эконометрические модели. Нью-Йорк: Издательство Кембриджского университета. С. 452–458. ISBN  0-521-40551-3.
• Харви, А. С. (1990). Эконометрический анализ временных рядов (Второе изд.). Кембридж: MIT Press. С. 137–138. ISBN  0-262-08189-X.