Регресс-кригинг - Regression-kriging

В прикладная статистика, регрессионно-кригинг (РК) это метод пространственного прогнозирования, который объединяет регресс зависимой переменной от вспомогательных переменных (таких как параметры, полученные из цифрового моделирования высот, дистанционного зондирования / изображений и тематических карт) с кригинг остатков регрессии. Это математически эквивалентно методу интерполяции, который по-разному называется универсальный кригинг и кригинг с внешним дрейфом, где вспомогательные предикторы используются непосредственно для решения весов кригинга.^[1]

BLUP для пространственных данных

Универсальная модель пространственной вариационной схемы.

Регрессион-кригинг - это реализация лучший линейный несмещенный предсказатель (BLUP) для пространственных данных, т.е. лучший линейный интерполятор, предполагающий универсальная модель пространственной вариации. Матерон (1969) предположил, что значение целевой переменной в некотором месте может быть смоделировано как сумма детерминированных и стохастических компонентов:^[2]

${\displaystyle Z(\mathbf {s} )=m(\mathbf {s} )+\varepsilon '(\mathbf {s} )+\varepsilon ''}$

который он назвал универсальная модель пространственной вариации. И то и другое детерминированный и стохастические компоненты пространственной вариации можно смоделировать отдельно. Комбинируя два подхода, получаем:

${\displaystyle {\hat {z}}(\mathbf {s} _{0})={\hat {m}}(\mathbf {s} _{0})+{\hat {e}}(\mathbf {s} _{0})=\sum \limits _{k=0}^{p}{{\hat {\beta }}_{k}\cdot q_{k}(\mathbf {s} _{0})}+\sum \limits _{i=1}^{n}\lambda _{i}\cdot e(\mathbf {s} _{i})}$

где ${\displaystyle {\hat {m}}(\mathbf {s} _{0})}$ - подобранная детерминированная часть, ${\displaystyle {\hat {e}}(\mathbf {s} _{0})}$ - интерполированная невязка, ${\displaystyle {\hat {\beta }}_{k}}$ - оценочные коэффициенты детерминированной модели (${\displaystyle {\hat {\beta }}_{0}}$ - расчетный перехват), ${\displaystyle \lambda _{i}}$ - веса кригинга, определяемые структурой пространственной зависимости невязки, и где ${\displaystyle e(\mathbf {s} _{i})}$ остаток в местоположении ${\displaystyle {\mathbf {s} }_{i}}$. Коэффициенты регрессии ${\displaystyle {\hat {\beta }}_{k}}$ можно оценить по выборке некоторым методом подгонки, например обыкновенный метод наименьших квадратов (OLS) или, оптимально, используя обобщенный метод наименьших квадратов (GLS):^[3]

${\displaystyle \mathbf {\hat {\beta }} _{\mathtt {GLS}}=\left(\mathbf {q} ^{\mathbf {T} }\cdot \mathbf {C} ^{-\mathbf {1} }\cdot \mathbf {q} \right)^{-\mathbf {1} }\cdot \mathbf {q} ^{\mathbf {T} }\cdot \mathbf {C} ^{-\mathbf {1} }\cdot \mathbf {z} }$

где ${\displaystyle \mathbf {\hat {\beta }} _{\mathtt {GLS}}}$ - вектор оценочных коэффициентов регрессии, ${\displaystyle \mathbf {C} }$ - ковариационная матрица остатков, ${\displaystyle {\mathbf {q} }}$ представляет собой матрицу предикторов в точках отбора проб и ${\displaystyle \mathbf {z} }$ - вектор измеренных значений целевой переменной. Оценка коэффициентов регрессии GLS фактически является частным случаем географически взвешенной регрессии. В этом случае веса определяются объективно для учета пространственной автокорреляции между остатками.

После того, как детерминированная часть вариации была оценена (часть регрессии), остаток можно интерполировать с помощью кригинга и добавить к оцененному тренду. Оценка остатков - это итеративный процесс: сначала детерминированная часть вариации оценивается с использованием OLS, затем функция ковариации остатков используется для получения коэффициентов GLS. Затем они используются для повторного вычисления остатков, на основании которых вычисляется обновленная ковариационная функция, и так далее. Хотя многие геостатисты рекомендуют эту процедуру в качестве надлежащей, Китанидис (1994) показал, что использование ковариационной функции, полученной из остатков МНК (то есть одной итерации), часто бывает удовлетворительным, поскольку она недостаточно отличается от функции, полученной после нескольких итерации; т.е. не сильно влияет на окончательные прогнозы. Minasny и McBratney (2007) сообщают о схожих результатах - кажется, что использование более качественных данных более важно, чем использование более сложных статистических методов.^[4]

В матричной записи регрессионный кригинг обычно записывается как:^[5]

${\displaystyle {\hat {z}}_{\mathtt {RK}}(\mathbf {s} _{0})=\mathbf {q} _{\mathbf {0} }^{\mathbf {T} }\cdot \mathbf {\hat {\beta }} _{\mathtt {GLS}}+\mathbf {\lambda } _{\mathbf {0} }^{\mathbf {T} }\cdot (\mathbf {z} -\mathbf {q} \cdot \mathbf {\hat {\beta }} _{\mathtt {GLS}})}$

где ${\displaystyle {\hat {z}}({\mathbf {s} }_{0})}$ прогнозируемое значение в местоположении ${\displaystyle {\mathbf {s} }_{0}}$, ${\displaystyle {\mathbf {q} }_{\mathbf {0} }}$ вектор ${\displaystyle p+1}$ предсказатели и ${\displaystyle \mathbf {\lambda } _{\mathbf {0} }}$ вектор ${\displaystyle n}$ веса кригинга, используемые для интерполяции остатков. Модель РК считается Лучший линейный предсказатель пространственных данных.^[5][6] Он имеет дисперсию прогноза, которая отражает положение новых местоположений (экстраполяция) как в географическом, так и в пространственном пространстве:

${\displaystyle {\hat {\sigma }}_{\mathtt {RK}}^{2}(\mathbf {s} _{0})=(C_{0}+C_{1})-\mathbf {c} _{\mathbf {0} }^{\mathbf {T} }\cdot \mathbf {C} ^{\mathbf {1} }\cdot \mathbf {c} _{\mathbf {0} }+\left(\mathbf {q} _{\mathbf {0} }-\mathbf {q} ^{\mathbf {T} }\cdot \mathbf {C} ^{-\mathbf {1} }\cdot \mathbf {c} _{\mathbf {0} }\right)^{\mathbf {T} }\cdot \left(\mathbf {q} ^{\mathbf {T} }\cdot \mathbf {C} ^{-\mathbf {1} }\cdot \mathbf {q} \right)^{\mathbf {-1} }\cdot \left(\mathbf {q} _{\mathbf {0} }-\mathbf {q} ^{\mathbf {T} }\cdot \mathbf {C} ^{-\mathbf {1} }\cdot \mathbf {c} _{\mathbf {0} }\right)}$

где ${\displaystyle C_{0}+C_{1}}$ вариация порога и ${\displaystyle {\mathbf {c} }_{0}}$ - вектор ковариаций остатков в непосещаемом местоположении.

Дерево решений для выбора подходящей модели пространственного прогнозирования.

Многие (гео) статистики считают, что существует только одна модель наилучшего линейного несмещенного прогнозирования для пространственных данных (например, регрессионно-кригинг), а все другие методы, такие как обычный кригинг, корреляция с окружающей средой, усреднение значений на полигоны или обратная интерполяция расстояний, можно рассматривать как его частные случаи. Если остатки не показывают пространственной автокорреляции (чистый эффект самородка), регрессионно-кригинг сходится к чистой множественной линейной регрессии, потому что ковариационная матрица (${\displaystyle \mathbf {C} }$) становится единичной матрицей. Точно так же, если целевая переменная не показывает корреляции с вспомогательными предикторами, модель регрессии-кригинга сводится к обычной модели кригинга, поскольку детерминированная часть равна (глобальному) среднему значению. Следовательно, чистый кригинг и чистую регрессию следует рассматривать только как частные случаи регрессионного кригинга (см. Рисунок).

РК и Великобритания / КЕД

В геостатистической литературе используется много разных терминов для обозначения одинаковых или, по крайней мере, очень похожих методов. Это сбивает пользователей с толку и отвлекает их от использования правильной техники для своих картографических проектов. Фактически, универсальный кригинг, кригинг с внешним дрейфом и регрессионный кригинг - это в основном одна и та же техника.

Матерон (1969) первоначально назвал эту технику Le Krigeage UniverselОднако этот метод был задуман как обобщенный случай кригинга, когда тренд моделируется как функция координат. Таким образом, многие авторы оставляют за собой термин универсальный кригинг (UK) для случая, когда в качестве предикторов используются только координаты. Если детерминированная часть вариации (дрейф) определяется извне как линейная функция некоторых вспомогательных переменных, а не координат, член кригинг с внешним дрейфом (KED) является предпочтительным (согласно Hengl 2007, «О регрессионном кригинге: от уравнений к тематическим исследованиям»). В случае UK или KED прогнозы делаются так же, как и в случае кригинга, с той разницей, что ковариационная матрица остатков расширяется вспомогательными предикторами. Однако дрейф и невязки также можно оценить отдельно, а затем суммировать. Эта процедура была предложена Ахмедом и др. (1987) и Odeh et al. (1995) позже назвал это регресс-кригинг, в то время как Goovaerts (1997) использует термин кригинг с трендовой моделью для обозначения семейства интерполяторов и обозначает RK как простой кригинг с различными местными средствами. Минасни и Макбратни (2007) просто называют эту технику эмпирическим наилучшим линейным непредвзятым предсказателем, т.е. E-BLUP.^[7][8][9][4]

В случае KED прогнозы в новых местоположениях делаются:

${\displaystyle {\hat {z}}_{\mathtt {KED}}(\mathbf {s} _{0})=\sum \limits _{i=1}^{n}w_{i}^{\mathtt {KED}}(\mathbf {s} _{0})\cdot z(\mathbf {s} _{i})}$

для

${\displaystyle \sum \limits _{i=1}^{n}w_{i}^{\mathtt {KED}}(\mathbf {s} _{0})\cdot q_{k}(\mathbf {s} _{i})=q_{k}(\mathbf {s} _{0})}$

для ${\displaystyle k=1,\ldots ,p}$ или в матричной записи:

${\displaystyle {\hat {z}}_{\mathtt {KED}}(\mathbf {s} _{0})=\mathbf {\delta } _{\mathbf {0} }^{\mathbf {T} }\cdot \mathbf {z} }$

где ${\displaystyle z}$ целевая переменная, ${\displaystyle q_{k}}$'s - это переменные-предикторы, т.е. значения в новом месте ${\displaystyle ({\mathbf {s} }_{0})}$, ${\displaystyle {\mathbf {\delta } }_{\mathbf {0} }}$ - вектор весов КЭД (${\displaystyle w_{i}^{\mathtt {KED}}}$), ${\displaystyle p}$ количество предикторов и ${\displaystyle \mathbf {z} }$ вектор ${\displaystyle n}$ наблюдения в первичных точках. Веса KED решаются с использованием расширенных матриц:

${\displaystyle \mathbf {\lambda } _{\mathbf {0} }^{\mathtt {KED}}=\left\{w_{1}^{\mathtt {KED}}(\mathbf {s} _{0}),\ldots ,w_{n}^{\mathtt {KED}}(\mathbf {s} _{0}),\varphi _{0}(\mathbf {s} _{0}),\ldots ,\varphi _{p}(\mathbf {s} _{0})\right\}^{\mathbf {T} }=\mathbf {C} ^{{\mathtt {KED}}-1}\cdot \mathbf {c} _{\mathbf {0} }^{\mathtt {KED}}}$

где ${\displaystyle {\mathbf {\lambda } }_{\mathbf {0} }^{\mathtt {KED}}}$ - вектор решаемых весов, ${\displaystyle \varphi _{p}}$ множители Лагранжа, ${\displaystyle {\mathbf {C} }^{\mathtt {KED}}}$ - расширенная ковариационная матрица остатков и ${\displaystyle {\mathbf {c} }_{\mathbf {0} }^{\mathtt {KED}}}$ - расширенный вектор ковариаций в новом месте.

В случае KED расширенная ковариационная матрица остатков выглядит так (Webster and Oliver, 2007; стр. 183):^[10]

${\displaystyle \mathbf {C} ^{\mathtt {KED}}=\left[{\begin{array}{ccccccc}C(\mathbf {s} _{1},\mathbf {s} _{1})&\cdots &C(\mathbf {s} _{1},\mathbf {s} _{n})&1&q_{1}(\mathbf {s} _{1})&\cdots &q_{p}(\mathbf {s} _{1})\\\vdots &&\vdots &\vdots &\vdots &&\vdots \\C(\mathbf {s} _{n},\mathbf {s} _{1})&\cdots &C(\mathbf {s} _{n},\mathbf {s} _{n})&1&q_{1}(\mathbf {s} _{n})&\cdots &q_{p}(\mathbf {s} _{n})\\1&\cdots &1&0&0&\cdots &0\\q_{1}(\mathbf {s} _{1})&\cdots &q_{1}(\mathbf {s} _{n})&0&0&\cdots &0\\\vdots &&\vdots &\vdots &\vdots &&\vdots \\q_{p}(\mathbf {s} _{1})&\cdots &q_{p}(\mathbf {s} _{n})&0&0&\cdots &0\end{array}}\right]}$

и ${\displaystyle \mathbf {c} _{\mathbf {0} }^{\mathtt {KED}}}$ как это:

${\displaystyle \mathbf {c} _{\mathbf {0} }^{\mathtt {KED}}=\left\{C(\mathbf {s} _{0},\mathbf {s} _{1}),\ldots ,C(\mathbf {s} _{0},\mathbf {s} _{n}),q_{0}(\mathbf {s} _{0}),q_{1}(\mathbf {s} _{0}),\ldots ,q_{p}(\mathbf {s} _{0})\right\}^{\mathbf {T} };q_{0}(\mathbf {s} _{0})=1}$

Следовательно, KED выглядит точно так же, как обычный кригинг, за исключением того, что ковариационная матрица / вектор расширяются значениями вспомогательных предикторов.

Хотя на первый взгляд KED кажется более простым в вычислительном отношении, чем RK, параметры вариограмма для KED также необходимо оценивать по остаткам регрессии, поэтому требуется отдельный шаг регрессионного моделирования. Эта регрессия должна быть GLS из-за вероятной пространственной корреляции между остатками. Обратите внимание, что многие аналитики вместо этого используют остатки OLS, которые могут не слишком сильно отличаться от остатков GLS. Однако они не являются оптимальными, если существует какая-либо пространственная корреляция, и действительно они могут сильно отличаться для точек сгруппированных выборок или если количество выборок относительно невелико (${\displaystyle \ll 200}$).

Ограничением KED является неустойчивость расширенной матрицы в случае, если ковариата не изменяется плавно в пространстве. RK имеет то преимущество, что он явно отделяет оценку тренда от пространственного прогнозирования остатков, позволяя использовать произвольно сложные формы регрессии, а не простые линейные методы, которые можно использовать с KED. Кроме того, это позволяет раздельную интерпретацию двух интерполированных компонентов. Акцент на регрессии важен еще и потому, что подгонка детерминированной части вариации (регрессии) часто более выгодна для качества окончательных карт, чем подгонка стохастической части (остатки).

Программное обеспечение для запуска регрессионного кригинга

Пример общей основы для пространственного прогнозирования переменных почвы на основе регрессионного кригинга.^[9]

Регрессионный кригинг можно автоматизировать, например: в R статистические вычисления среды, используя пакет gstat и / или geoR. Типичные входы / выходы включают:

ВХОДЫ:

• Набор интерполяции (точечная карта) - ${\displaystyle z(\mathbf {s} _{i})}$ ${\displaystyle i=1,\ldots ,n}$ в основных местах;
• Минимальные и максимальные ожидаемые значения и точность измерения (${\displaystyle \Delta z}$);
• Непрерывные предикторы (растровая карта) - ${\displaystyle q(\mathbf {s} )}$; в новых непосещаемых местах
• Дискретные предикторы (полигональная карта);
• Набор проверки (точечная карта) - ${\displaystyle z*(\mathbf {s} _{j})}$ ${\displaystyle j=1,\ldots ,l}$ (необязательный);
• Шаг запаздывания и предельное расстояние (требуется для соответствия вариограмме);

ВЫХОДЫ:

• Карта прогнозов и относительная ошибка прогноза;
• Лучшее подмножество предикторов и значимость корреляции (скорректированный R-квадрат);
• Параметры модели вариограммы (например, ${\displaystyle C_{0}}$, ${\displaystyle C_{1}}$, ${\displaystyle R}$)
• Коэффициенты модели дрейфа GLS;
• Точность предсказания в точках проверки: средняя ошибка предсказания (MPE) и среднеквадратичная ошибка предсказания (RMSPE);

Применение регрессии-кригинга

Регрессионный кригинг используется в различных прикладных областях, от метеорологии, климатологии, картирования почв, геологического картирования, моделирования распределения видов и т. Д. Единственное требование для использования регрессионного кригинга по сравнению, например, с Обычный кригинг состоит в том, что существует один или несколько ковариатных слоев, которые в значительной степени коррелируют с интересующей характеристикой. Некоторые общие применения регрессионного кригинга:

• Геостатистическое картирование: регрессионно-кригинг позволяет использовать гибридные геостатистические методы для моделирования, например, пространственное распределение свойств почвы.
• Уменьшение масштаба карт: регрессионный кригинг может использоваться как каркас для уменьшения масштаба различных существующих карт с координатной сеткой. В этом случае ковариантные слои должны быть доступны с лучшим разрешением (которое соответствует интенсивности выборки), чем исходные точечные данные.^[11]
• Распространение ошибки: Смоделированные карты, созданные с использованием модели регрессии-кригинга, могут использоваться для тестирования сценариев и для оценки распространяемой неопределенности.

Моделирование концентраций цинка, полученных с использованием регрессионной модели Кригинга. В этой модели используется одна непрерывная (расстояние до реки) и одна категориальная (частота наводнений) ковариаты. Код, использованный для создания этих карт, доступен Вот.

Алгоритмы на основе регрессии-кригинга играют все более важную роль в геостатистике, потому что количество возможных ковариат увеличивается с каждым днем.^[1] Например, ЦМР теперь доступны из ряда источников. Подробные и точные изображения топографии теперь можно заказать в таких системах дистанционного зондирования, как ПЯТНО, МЕСТО и АСТЕР; SPOT5 предлагает стереоскопический сканер высокого разрешения (HRS), который можно использовать для создания ЦМР с разрешением до 5 м.^[12] Более мелкие перепады высот также можно получить с помощью бортовых лазерных сканеров. Стоимость данных либо бесплатна, либо снижается по мере развития технологий. НАСА записало большую часть топографии мира в Шаттл-радар-топографическая миссия в 2000 г.^[13] С лета 2004 г. эти данные были доступны (например, через USGS ftp ) почти для всего земного шара с разрешением около 90 м (для североамериканского континента с разрешением около 30 м). Точно так же MODIS бесплатно доступны для скачивания мультиспектральные изображения с разрешением 250 м. Большой бесплатный репозиторий изображений Landsat также доступен для загрузки через Глобальный фонд земельного покрова (GLCF).

использованная литература

1. Пебесма, Эдзер Дж. (1 июля 2006 г.). «Роль внешних переменных и баз данных ГИС в геостатистическом анализе» (PDF). Транзакции в ГИС. 10 (4): 615–632. Дои:10.1111 / j.1467-9671.2006.01015.x.
2. Матерон, Жорж (1969). "Часть 1 Cahiers du Centre de morphologie mathématique de Fontainebleau". Le Krigeage Universel. Высшая национальная школа шахт Парижа.
3. Кресси, Ноэль (2012). Статистика для пространственно-временных данных. Хобокен, штат Нью-Джерси: Wiley. ISBN  9780471692744.
4. Минасный, Будиман; Макбрэтни, Алекс Б. (31 июля 2007 г.). «Пространственное предсказание свойств почвы с использованием EBLUP с ковариационной функцией Матерна». Геодермия. 140 (4): 324–336. Дои:10.1016 / j.geoderma.2007.04.028.
5. Кристенсен, Рональд (2001). Расширенное линейное моделирование: многомерные, временные ряды и пространственные данные; непараметрическая регрессия и максимизация поверхности отклика (2-е изд.). Нью-Йорк, штат Нью-Йорк [u.a.]: Springer. ISBN  9780387952963.
6. Гольдбергер, А. (1962). «Лучший линейный объективный прогноз в модели обобщенной линейной регрессии». Журнал Американской статистической ассоциации. 57 (298): 369–375. Дои:10.1080/01621459.1962.10480665. JSTOR  2281645.
7. Ахмед, Шакил; Де Марсили, Гислен (1 января 1987 г.). «Сравнение геостатистических методов оценки проницаемости с использованием данных о проницаемости и удельной емкости». Исследование водных ресурсов. 23 (9): 1717. Дои:10.1029 / WR023i009p01717.
8. Odeh, I.O.A .; McBratney, A.B .; Читлборо, Д.Дж. (31 июля 1995 г.). «Дальнейшие результаты по прогнозированию свойств почвы по атрибутам местности: гетеротопный кокригинг и регрессионный кригинг». Геодермия. 67 (3–4): 215–226. Дои:10.1016 / 0016-7061 (95) 00007-Б.
9. Хенгл, Томислав; Heuvelink, Gerard B.M .; Штейн, Альфред (30 апреля 2004 г.). «Общая основа для пространственного прогнозирования переменных почвы на основе регрессионного кригинга» (PDF). Геодермия. 120 (1–2): 75–93. Дои:10.1016 / j.geoderma.2003.08.018.
10. Вебстер, Ричард; Оливер, Маргарет А. (2007). Геостатистика для ученых-экологов (2-е изд.). Чичестер: Вайли. ISBN  9780470028582.
11. Хенгл, Томислав; Баят, Бранислав; Благоевич, Драган; Рейтер, Ханнес И. (1 декабря 2008 г.). «Геостатистическое моделирование рельефа с использованием вспомогательных карт» (PDF). Компьютеры и науки о Земле. 34 (12): 1886–1899. Дои:10.1016 / j.cageo.2008.01.005.
12. Тутин, Тьерри (30 апреля 2006 г.). «Генерация DSM из SPOT-5 в треке HRS и поперечных стереоданных HRG с использованием пространственной триангуляции и автокалибровки». Журнал ISPRS по фотограмметрии и дистанционному зондированию. 60 (3): 170–181. Дои:10.1016 / j.isprsjprs.2006.02.003.
13. Рабус, Бернхард; Эйнедер, Майкл; Рот, Ахим; Бамлер, Ричард (31 января 2003 г.). «Миссия по исследованию топографии радара шаттла - новый класс цифровых моделей рельефа, полученных с помощью космического радара». Журнал ISPRS по фотограмметрии и дистанционному зондированию. 57 (4): 241–262. Дои:10.1016 / S0924-2716 (02) 00124-7.

дальнейшее чтение

• Глава 2, Регресс-кригинг, в Tomislav Hengl (2009), Практическое руководство по геостатистическому картированию, 291 с., ISBN  978-90-9024981-0. [1]
• Хенгл Т., Хеувелинк Г. Б., Росситер Д. Г. (2007). «О регрессии-кригинге: от уравнений к тематическим исследованиям». Компьютеры и науки о Земле. 33 (10): 1301–1315. Дои:10.1016 / j.cageo.2007.05.001.

внешние ссылки

• Gstat пакет (реализует КЭД)
• GeoR пакет (реализует КЭД)