Марковский процесс обновления - Markov renewal process - Wikipedia

В вероятности и статистике a Марковский процесс обновления (MRP) - это случайный процесс что обобщает понятие Марков скачкообразные процессы. Другие случайные процессы, такие как Цепи Маркова, Пуассоновские процессы и процессы обновления могут быть получены как частные случаи MRP.

Определение

Иллюстрация процесса марковского обновления

Рассмотрим пространство состояний ${\displaystyle \mathrm {S} .}$ Рассмотрим набор случайных величин ${\displaystyle (X_{n},T_{n})}$, куда ${\displaystyle T_{n}}$ время прыжка и ${\displaystyle X_{n}}$ ассоциированные государства в Цепь Маркова (см. рисунок). Пусть время между приходами, ${\displaystyle \tau _{n}=T_{n}-T_{n-1}}$. Тогда последовательность ${\displaystyle (X_{n},T_{n})}$ называется процессом марковского восстановления, если

${\displaystyle {\begin{aligned}&\Pr(\tau _{n+1}\leq t,X_{n+1}=j\mid (X_{0},T_{0}),(X_{1},T_{1}),\ldots ,(X_{n}=i,T_{n}))\\[5pt]={}&\Pr(\tau _{n+1}\leq t,X_{n+1}=j\mid X_{n}=i)\,\forall n\geq 1,t\geq 0,i,j\in \mathrm {S} \end{aligned}}}$

Связь с другими случайными процессами

1. Если мы определим новый случайный процесс ${\displaystyle Y_{t}:=X_{n}}$ за ${\displaystyle t\in [T_{n},T_{n+1})}$, то процесс ${\displaystyle Y_{t}}$ называется полумарковский процесс. Обратите внимание, что основное различие между MRP и полумарковским процессом состоит в том, что первый определяется как двухкомпонентный.кортеж состояний и времени, в то время как последний является фактическим случайным процессом, который развивается во времени, и любая реализация процесса имеет определенное состояние для любой данное время. Весь процесс не является марковским, т.е. не имеет памяти, как это происходит в Марковская цепь / процесс с непрерывным временем (CTMC). Вместо этого процесс является марковским только в указанные моменты перехода. Это объяснение названия, Полу-Марков.^[1][2][3] (Смотрите также: скрытая полумарковская модель.)
2. Полумарковский процесс (определенный в пункте выше), где все времена выдержки равны экспоненциально распределенный называется CTMC. Другими словами, если времена между поступлениями распределены экспоненциально и если время ожидания в состоянии и следующее достигнутое состояние независимы, у нас есть CTMC.

   ${\displaystyle {\begin{aligned}&\Pr(\tau _{n+1}\leq t,X_{n+1}=j\mid (X_{0},T_{0}),(X_{1},T_{1}),\ldots ,(X_{n}=i,T_{n}))\\[3pt]={}&\Pr(\tau _{n+1}\leq t,X_{n+1}=j\mid X_{n}=i)\\[3pt]={}&\Pr(X_{n+1}=j\mid X_{n}=i)(1-e^{-\lambda _{i}t}),{\text{ for all }}n\geq 1,t\geq 0,i,j\in \mathrm {S} ,i\neq j\end{aligned}}}$

3. Последовательность ${\displaystyle X_{n}}$ в MRP - это дискретное время Цепь Маркова. Другими словами, если временные переменные игнорируются в уравнении MRP, мы получаем DTMC.

   ${\displaystyle \Pr(X_{n+1}=j\mid X_{0},X_{1},\ldots ,X_{n}=i)=\Pr(X_{n+1}=j\mid X_{n}=i)\,\forall n\geq 1,i,j\in \mathrm {S} }$

4. Если последовательность ${\displaystyle \tau }$s независимы и одинаково распределены, и если их распределение не зависит от состояния ${\displaystyle X_{n}}$, то процесс процесс обновления. Итак, если состояния игнорируются и у нас есть цепочка времен iid, то у нас есть процесс обновления.

   ${\displaystyle \Pr(\tau _{n+1}\leq t\mid T_{0},T_{1},\ldots ,T_{n})=\Pr(\tau _{n+1}\leq t)\,\forall n\geq 1,\forall t\geq 0}$

Смотрите также

• Марковский процесс
• Теория обновления
• Марковская модель переменного порядка
• Скрытая полумарковская модель

Рекомендации

1. Медхи, Дж. (1982). Стохастические процессы. Нью-Йорк: Wiley & Sons. ISBN  978-0-470-27000-4.
2. Росс, Шелдон М. (1999). Стохастические процессы (2-е изд.). Нью-Йорк [u.a.]: Рутледж. ISBN  978-0-471-12062-9.
3. Барбу, Влад Стефан; Лимниос, Николаос (2008). Полумарковские цепи и скрытые полумарковские модели к приложениям: их использование в надежности и анализе ДНК. Нью-Йорк: Спрингер. ISBN  978-0-387-73171-1.