Масштабированное обратное распределение хи-квадрат - Scaled inverse chi-squared distribution

Масштабированный обратный хи-квадрат

Функция плотности вероятности
Кумулятивная функция распределения
Параметры	${\displaystyle \nu >0\,}$ ${\displaystyle \tau ^{2}>0\,}$
Поддержка	${\displaystyle x\in (0,\infty )}$
PDF	${\displaystyle {\frac {(\tau ^{2}\nu /2)^{\nu /2}}{\Gamma (\nu /2)}}~{\frac {\exp \left[{\frac {-\nu \tau ^{2}}{2x}}\right]}{x^{1+\nu /2}}}}$
CDF	${\displaystyle \Gamma \left({\frac {\nu }{2}},{\frac {\tau ^{2}\nu }{2x}}\right)\left/\Gamma \left({\frac {\nu }{2}}\right)\right.}$
Значить	${\displaystyle {\frac {\nu \tau ^{2}}{\nu -2}}}$ для ${\displaystyle \nu >2\,}$
Режим	${\displaystyle {\frac {\nu \tau ^{2}}{\nu +2}}}$
Дисперсия	${\displaystyle {\frac {2\nu ^{2}\tau ^{4}}{(\nu -2)^{2}(\nu -4)}}}$для ${\displaystyle \nu >4\,}$
Асимметрия	${\displaystyle {\frac {4}{\nu -6}}{\sqrt {2(\nu -4)}}}$для ${\displaystyle \nu >6\,}$
Ex. эксцесс	${\displaystyle {\frac {12(5\nu -22)}{(\nu -6)(\nu -8)}}}$для ${\displaystyle \nu >8\,}$
Энтропия	${\displaystyle {\frac {\nu }{2}}\!+\!\ln \left({\frac {\tau ^{2}\nu }{2}}\Gamma \left({\frac {\nu }{2}}\right)\right)}$ ${\displaystyle \!-\!\left(1\!+\!{\frac {\nu }{2}}\right)\psi \left({\frac {\nu }{2}}\right)}$
MGF	${\displaystyle {\frac {2}{\Gamma ({\frac {\nu }{2}})}}\left({\frac {-\tau ^{2}\nu t}{2}}\right)^{\!\!{\frac {\nu }{4}}}\!\!K_{\frac {\nu }{2}}\left({\sqrt {-2\tau ^{2}\nu t}}\right)}$
CF	${\displaystyle {\frac {2}{\Gamma ({\frac {\nu }{2}})}}\left({\frac {-i\tau ^{2}\nu t}{2}}\right)^{\!\!{\frac {\nu }{4}}}\!\!K_{\frac {\nu }{2}}\left({\sqrt {-2i\tau ^{2}\nu t}}\right)}$

В масштабированное обратное распределение хи-квадрат это распределение для Икс = 1/s², где s² - выборочное среднее квадратов ν независимых нормальный случайные величины со средним значением 0 и обратной дисперсией 1 / σ² = τ². Таким образом, распределение параметризуется двумя величинами ν и τ², именуемой число степеней свободы хи-квадрат и параметр масштабированиясоответственно.

Это семейство масштабированных обратных распределений хи-квадрат тесно связано с двумя другими семействами распределений: обратное распределение хи-квадрат и обратное гамма-распределение. По сравнению с обратным распределением хи-квадрат масштабированное распределение имеет дополнительный параметр τ², который масштабирует распределение по горизонтали и вертикали, представляя обратную дисперсию исходного базового процесса. Кроме того, масштабированное обратное распределение хи-квадрат представлено как распределение для обратного значить квадратов отклонений ν, а не обратной их сумма. Таким образом, два распределения имеют соотношение, что если

${\displaystyle X\sim {\mbox{Scale-inv-}}\chi ^{2}(\nu ,\tau ^{2})}$ тогда ${\displaystyle {\frac {X}{\tau ^{2}\nu }}\sim {\mbox{inv-}}\chi ^{2}(\nu )}$

По сравнению с обратным гамма-распределением масштабированное обратное распределение хи-квадрат описывает то же распределение данных, но с использованием другого параметризация, что может быть более удобным в некоторых случаях. В частности, если

${\displaystyle X\sim {\mbox{Scale-inv-}}\chi ^{2}(\nu ,\tau ^{2})}$ тогда ${\displaystyle X\sim {\textrm {Inv-Gamma}}\left({\frac {\nu }{2}},{\frac {\nu \tau ^{2}}{2}}\right)}$

Любая форма может использоваться для представления максимальная энтропия распределение для фиксированного первого обратного момент ${\displaystyle (E(1/X))}$ и первый логарифмический момент ${\displaystyle (E(\ln(X))}$.

Масштабированное обратное распределение хи-квадрат также особенно используется в Байесовская статистика, несколько не связанное с его использованием в качестве прогнозного распределения для Икс = 1/s². В частности, масштабированное обратное распределение хи-квадрат можно использовать как сопряженный предшествующий для отклонение параметр нормальное распределение. В этом контексте параметр масштабирования обозначается σ₀² а не τ², и имеет иную интерпретацию. Приложение чаще представлялось с использованием обратное гамма-распределение вместо этого формулировка; однако некоторые авторы, в частности, вслед за Гельманом и другие. (1995/2004) утверждают, что параметризация обратного хи-квадрат более интуитивна.

Характеристика

В функция плотности вероятности масштабированного обратного распределения хи-квадрат распространяется по области ${\displaystyle x>0}$ и является

${\displaystyle f(x;\nu ,\tau ^{2})={\frac {(\tau ^{2}\nu /2)^{\nu /2}}{\Gamma (\nu /2)}}~{\frac {\exp \left[{\frac {-\nu \tau ^{2}}{2x}}\right]}{x^{1+\nu /2}}}}$

где ${\displaystyle \nu }$ это степени свободы параметр и ${\displaystyle \tau ^{2}}$ это масштабный параметр. Кумулятивная функция распределения:

${\displaystyle F(x;\nu ,\tau ^{2})=\Gamma \left({\frac {\nu }{2}},{\frac {\tau ^{2}\nu }{2x}}\right)\left/\Gamma \left({\frac {\nu }{2}}\right)\right.}$

${\displaystyle =Q\left({\frac {\nu }{2}},{\frac {\tau ^{2}\nu }{2x}}\right)}$

где ${\displaystyle \Gamma (a,x)}$ это неполная гамма-функция, ${\displaystyle \Gamma (x)}$ это гамма-функция и ${\displaystyle Q(a,x)}$ это регуляризованная гамма-функция. В характеристическая функция является

${\displaystyle \varphi (t;\nu ,\tau ^{2})=}$

${\displaystyle {\frac {2}{\Gamma ({\frac {\nu }{2}})}}\left({\frac {-i\tau ^{2}\nu t}{2}}\right)^{\!\!{\frac {\nu }{4}}}\!\!K_{\frac {\nu }{2}}\left({\sqrt {-2i\tau ^{2}\nu t}}\right),}$

где ${\displaystyle K_{\frac {\nu }{2}}(z)}$ это модифицированный Функция Бесселя второго рода.

Оценка параметров

В оценка максимального правдоподобия из ${\displaystyle \tau ^{2}}$ является

${\displaystyle \tau ^{2}=n/\sum _{i=1}^{n}{\frac {1}{x_{i}}}.}$

Оценка максимального правдоподобия ${\displaystyle {\frac {\nu }{2}}}$ можно найти с помощью Метод Ньютона на:

${\displaystyle \ln \left({\frac {\nu }{2}}\right)-\psi \left({\frac {\nu }{2}}\right)=\sum _{i=1}^{n}\ln \left(x_{i}\right)-n\ln \left(\tau ^{2}\right),}$

где ${\displaystyle \psi (x)}$ это функция дигаммы. Первоначальную оценку можно найти, взяв формулу для среднего и решив ее для ${\displaystyle \nu .}$ Позволять ${\displaystyle {\bar {x}}={\frac {1}{n}}\sum _{i=1}^{n}x_{i}}$ быть выборочным средним. Тогда начальная оценка для ${\displaystyle \nu }$ дан кем-то:

${\displaystyle {\frac {\nu }{2}}={\frac {\bar {x}}{{\bar {x}}-\tau ^{2}}}.}$

Байесовская оценка дисперсии нормального распределения

Масштабированное обратное распределение хи-квадрат имеет второе важное применение в байесовской оценке дисперсии нормального распределения.

Согласно с Теорема Байеса, то апостериорное распределение вероятностей для количеств, представляющих интерес, пропорционален произведению предварительное распространение для величин и функция правдоподобия:

${\displaystyle p(\sigma ^{2}|D,I)\propto p(\sigma ^{2}|I)\;p(D|\sigma ^{2})}$

где D представляет данные и я представляет собой любую исходную информацию о σ² что у нас, возможно, уже есть.

Самый простой сценарий возникает, если среднее значение μ уже известно; или, альтернативно, если это условное распределение из σ² который ищется для конкретного предполагаемого значения μ.

Тогда срок вероятности L(σ²|D) = п(D| σ²) имеет знакомый вид

${\displaystyle {\mathcal {L}}(\sigma ^{2}|D,\mu )={\frac {1}{\left({\sqrt {2\pi }}\sigma \right)^{n}}}\;\exp \left[-{\frac {\sum _{i}^{n}(x_{i}-\mu )^{2}}{2\sigma ^{2}}}\right]}$

Комбинируя это с инвариантным к масштабированию априорным p (σ²|я) = 1 / σ², что можно утверждать (например, следуя за Джеффрисом ) быть наименее информативным априорным значением для σ² в этой задаче дает комбинированную апостериорную вероятность

${\displaystyle p(\sigma ^{2}|D,I,\mu )\propto {\frac {1}{\sigma ^{n+2}}}\;\exp \left[-{\frac {\sum _{i}^{n}(x_{i}-\mu )^{2}}{2\sigma ^{2}}}\right]}$

Эта форма может быть распознана как форма масштабированного обратного распределения хи-квадрат с параметрами ν = п и τ² = s² = (1/п) Σ (x_я-μ)²

Гельман и другие заметьте, что повторное появление этого распределения, ранее замеченное в контексте выборки, может показаться замечательным; но с учетом выбора приора «результат неудивителен».^[1]

В частности, выбор априорного инварианта относительно масштабирования для σ² приводит к тому, что вероятность отношения σ² / s² имеет ту же форму (независимо от обусловливающей переменной) при условии s² как при условии, что σ²:

${\displaystyle p({\tfrac {\sigma ^{2}}{s^{2}}}|s^{2})=p({\tfrac {\sigma ^{2}}{s^{2}}}|\sigma ^{2})}$

В случае теории выборки при условии σ², распределение вероятностей для (1 / s²) - масштабированное обратное распределение хи-квадрат; и поэтому распределение вероятностей для σ² при условии s², учитывая априор, не зависящий от масштаба, также является масштабированным обратным распределением хи-квадрат.

Использовать как информативный априор

Если больше известно о возможных значениях σ², распределение из семейства масштабированных обратных хи-квадрат, например Scale-inv-χ²(п₀, s₀²) может быть удобной формой для представления менее информативного априорного значения σ², как будто в результате п₀ предыдущие наблюдения (хотя п₀ не обязательно должно быть целым числом):

${\displaystyle p(\sigma ^{2}|I^{\prime },\mu )\propto {\frac {1}{\sigma ^{n_{0}+2}}}\;\exp \left[-{\frac {n_{0}s_{0}^{2}}{2\sigma ^{2}}}\right]}$

Такой априор привел бы к апостериорному распределению

${\displaystyle p(\sigma ^{2}|D,I^{\prime },\mu )\propto {\frac {1}{\sigma ^{n+n_{0}+2}}}\;\exp \left[-{\frac {\sum {ns^{2}+n_{0}s_{0}^{2}}}{2\sigma ^{2}}}\right]}$

что само по себе является масштабированным обратным распределением хи-квадрат. Таким образом, масштабированные обратные распределения хи-квадрат являются удобным сопряженный предшествующий семья для σ² предварительный расчет.

Оценка дисперсии, когда среднее значение неизвестно

Если среднее значение неизвестно, наиболее неинформативным априорным значением, которое может быть принято за него, является, возможно, инвариантный к переводу априор. п(μ |я) ∝ const., Что дает следующее совместное апостериорное распределение для μ и σ²,

${\displaystyle {\begin{aligned}p(\mu ,\sigma ^{2}\mid D,I)&\propto {\frac {1}{\sigma ^{n+2}}}\exp \left[-{\frac {\sum _{i}^{n}(x_{i}-\mu )^{2}}{2\sigma ^{2}}}\right]\\&={\frac {1}{\sigma ^{n+2}}}\exp \left[-{\frac {\sum _{i}^{n}(x_{i}-{\bar {x}})^{2}}{2\sigma ^{2}}}\right]\exp \left[-{\frac {\sum _{i}^{n}(\mu -{\bar {x}})^{2}}{2\sigma ^{2}}}\right]\end{aligned}}}$

Маргинальное апостериорное распределение для σ² получается из совместного апостериорного распределения путем интегрирования по μ,

${\displaystyle {\begin{aligned}p(\sigma ^{2}|D,I)\;\propto \;&{\frac {1}{\sigma ^{n+2}}}\;\exp \left[-{\frac {\sum _{i}^{n}(x_{i}-{\bar {x}})^{2}}{2\sigma ^{2}}}\right]\;\int _{-\infty }^{\infty }\exp \left[-{\frac {\sum _{i}^{n}(\mu -{\bar {x}})^{2}}{2\sigma ^{2}}}\right]d\mu \\=\;&{\frac {1}{\sigma ^{n+2}}}\;\exp \left[-{\frac {\sum _{i}^{n}(x_{i}-{\bar {x}})^{2}}{2\sigma ^{2}}}\right]\;{\sqrt {2\pi \sigma ^{2}/n}}\\\propto \;&(\sigma ^{2})^{-(n+1)/2}\;\exp \left[-{\frac {(n-1)s^{2}}{2\sigma ^{2}}}\right]\end{aligned}}}$

Это снова масштабированное обратное распределение хи-квадрат с параметрами ${\displaystyle \scriptstyle {n-1}\;}$ и ${\displaystyle \scriptstyle {s^{2}=\sum (x_{i}-{\bar {x}})^{2}/(n-1)}}$.

Связанные дистрибутивы

• Если ${\displaystyle X\sim {\mbox{Scale-inv-}}\chi ^{2}(\nu ,\tau ^{2})}$ тогда ${\displaystyle kX\sim {\mbox{Scale-inv-}}\chi ^{2}(\nu ,k\tau ^{2})\,}$
• Если ${\displaystyle X\sim {\mbox{inv-}}\chi ^{2}(\nu )\,}$ (Обратное распределение хи-квадрат ) тогда ${\displaystyle X\sim {\mbox{Scale-inv-}}\chi ^{2}(\nu ,1/\nu )\,}$
• Если ${\displaystyle X\sim {\mbox{Scale-inv-}}\chi ^{2}(\nu ,\tau ^{2})}$ тогда ${\displaystyle {\frac {X}{\tau ^{2}\nu }}\sim {\mbox{inv-}}\chi ^{2}(\nu )\,}$ (Обратное распределение хи-квадрат )
• Если ${\displaystyle X\sim {\mbox{Scale-inv-}}\chi ^{2}(\nu ,\tau ^{2})}$ тогда ${\displaystyle X\sim {\textrm {Inv-Gamma}}\left({\frac {\nu }{2}},{\frac {\nu \tau ^{2}}{2}}\right)}$ (Обратное гамма-распределение )
• Масштабированное обратное распределение хи-квадрат - частный случай типа 5. Распределение Пирсона

использованная литература

• Гельман А. и другие (1995), Байесовский анализ данных, pp 474–475; также стр 47, 480

1. Гельман и другие (1995), Байесовский анализ данных (1-е изд), стр.68