마르코프 체인을 돌이킬 수없는 방법은 무엇입니까? “모든 상태에서 어떤 상태로든 갈 수 있음”을

나는 마르코프 체인 속성을 이해할 수없는 이해하는 데 어려움이 있습니다.

Irreducible은 확률 적 프로세스가 “모든 상태에서 어떤 상태로든 갈 수 있음”을 의미한다고합니다.

그러나 그것이 상태에서 벗어날 수 있는지 여부를 정의하는 것

i

상태로

j

또는 갈 수 없습니까?


위키 피 디아 페이지 공식화을 제공합니다 :

상태

j

접근 (작성

i→j

) 상태에서

i

정수가 존재하는 경우

nij>0


P(Xnij=j | X0=i)=pij(nij)>0

그렇다면 의사 소통

i→j

j→i

.

이러한 비 환원성에서 어떻게 든 다음과 같습니다.



답변

다음은 전이 행렬에 대한 세 가지 예입니다. 첫 번째는 환원 가능한 경우에 대한 것이고 두 번째는 환원 불가능한 경우에 대한 것입니다.

P1=(0.50.5000.90.100000.20.8000.70.3)P2=(0.10.10.40.40.50.10.10.30.20.40.20.20001)


에 대한

P1

예를 들어, 상태 3 또는 4에 있으면 상태 1 및 2에 대해 동일하게 유지됩니다. 예를 들어 상태 1에서 상태 3 또는 4로 이동할 수있는 방법이 없습니다.

에 대한

P2

, 상태 1에서 3까지 모든 상태에 도달 할 수 있지만 상태 4에 있으면 상태가 유지됩니다.

P3=(0.50.500000.900000.10000.800.20.700.100.200000.10.900.90000.10)


이 예의 경우 한 단계 만은 아니더라도 모든 상태에서 시작할 수 있으며 다른 상태에 도달 할 수 있습니다.


답변

상태

j

상태에서 접근 할 수 있다고합니다

i

(보통

i→j

) 존재하는 경우

n≥0

그런 :

pijn=P(Xn=j∣X0=i)>0


즉, 상태에서 벗어날 수 있습니다

i

상태로

j

n

확률로 단계

pijn

.

둘 다

i→j

j→i

그런 다음 상태를 유지

i

j

의사 소통 (보통

i↔j

). 따라서 각 두 상태가 통신하는 경우 Markov 체인을 되돌릴 수 없습니다.


답변

허락하다

i

j

Markov Chain의 두 가지 상태가됩니다. 프로세스가 상태에서 벗어날 가능성이 긍정적 인 경우

i

상태로

j

, 걸음 수에 관계없이 (예 : 1, 2, 3)

), 우리는 그 상태를 말합니다

j

주에서 접근 가능

i

.

표기법으로, 우리는 이것을 다음과 같이 표현합니다.

i→j

. 확률 측면에서 다음과 같이 표현됩니다.

j

주에서 접근 가능

i

정수가있는 경우

m>0

그런

pij(m)>0

.

마찬가지로, 우리는

j→i

정수가있는 경우

n>0

그런

pji(n)>0

.

이제 둘 다

i→j

j→i

사실이라면 우리는

i

j

서로 통신하고 표기법으로 표현됩니다.

i↔j

. 확률 측면에서 이것은 두 개의 정수가 있음을 의미합니다.

m>0,n>0

그런

pij(m)>0

pji(n)>0

.

Markov 체인의 모든 상태가 하나의 닫힌 통신 클래스에 속하는 경우 체인을 돌이킬 수없는 Markov 체인 이라고합니다 . 불환 성은 체인의 속성입니다.

돌이킬 수없는 Markov Chain에서 프로세스는 필요한 단계 수에 관계없이 모든 상태에서 모든 상태로 이동할 수 있습니다 .


답변

기존 답변 중 일부가 잘못된 것 같습니다.

J. Medhi (79, 개정판 4)에 의한 확률 적 프로세스 에서 인용 된 바와 같이 , Markov 체인은 상태 공간 이외의 적절한 ‘닫힌’하위 집합을 포함하지 않으면 되돌릴 수 없습니다.

따라서 전이 확률 행렬에 해당 상태와는 다른 다른 상태에 ‘도달'(또는 액세스) 할 수없는 상태의 하위 집합이있는 경우 Markov 체인을 줄일 수 있습니다. 그렇지 않으면 Markov 체인은 되돌릴 수 없습니다.


답변

경고의 첫 번째 단어 : 당신이 그렇게해야 할 심각한 이유가 없다면 매트릭스를 보지 마십시오. 내가 생각할 수있는 유일한 것은 실수로 입력 한 숫자를 확인하거나 교과서에서 읽는 것입니다.

만약

P

전이 행렬입니다

exp⁡(P)

. 모든 항목이 0이 아닌 경우 행렬을 되돌릴 수 없습니다. 그렇지 않으면 환원 가능합니다. 만약

P

너무 크다

Pn

n

당신이 할 수있는 한 큰. 동일한 테스트, 약간 덜 정확합니다.

부적합성 의미 : 유한 한 단계만으로 어떤 주에서 다른 주로 갈 수 있습니다.

Christoph Hanck의 예에서

P3

, 상태 1에서 상태 6으로 직접 갈 수는 없지만 1-> 2-> 6으로 갈 수 있습니다.