Markov Process #1. 소개, 챕맨-콜모고르프 등식

미래가 현재에만 영향을 받고 과거에 영향을 받지 않는 특성을 마르코프 성질(Markov property)라 하며, 이 성질을 가진 과정을 마르코프 과정(Markov process)라 한다. 마르코프 과정이 연속시간 과정일 때를 연속시간 마르코프 과정(continuous time Markov process)라 하며, 이산시간 과정일 때를 이산시간 마르코프 과정(discrete time Markov process)라 한다. 또한, 마르코프 과정이 이산크기를 가질 때를 특별히 마르코프 연쇄(Markov chain)라 하며, 연속적인 값을 가질 때를 일반적으로 마르코프 과정이라 한다. 마르코프 연쇄가 가지는 이산값 x1, x2, x3... 을 상태(state)라 하며, 연속적인 값을 가지는 마르코프 과정을 연속상태 과정(continuous-state process)이라 부르기도 한다.

* 마르코프 연쇄(Markov Chain)

확률과정 {Xn, n=0,1,2,..} 이 유한이거나 셀수있는 집합의 값을 가진다고 할때, Xn=i는 확률과정이 시간 n에 i의 값을 가지는 것을 뜻하며, 상태 i에 있다고 말한다. 그리고 상태들의 전체 집합을 상태공간(state space)이라 부르고 S로 나타낸다(즉, {0,1,2...}) 시간 n을 현재라고 할때, X00, X1,...X(n-1)을 과거의 확률 과정, Xn을 현재의 확률과정, X(n+1), X(n+2),... 를 미래의 확률 과정이라 하자. 미래의 확률과정이 과거에 영향받지 않을 때, 이 확률 과정은 마르코프 성질(Markov property)을 가진다고 하는데 동질(homogeneous) 마르코프 연쇄의 경우에는 다음과 같이 작성할 수 있다. [어떤 상태로 이동하게 되는 확률을 전이확률(transition probability)이라 부르며, 전이 확률이 시간에 상관없이 일정할때, 곧 시간 의존성을 가지지 않을 때, 마르코프 연쇄가 동질(homogeneous)또는 정상(stationary)이라 하며, 시간에 따라 바뀔 때, 마르코프 연쇄가 이질(non-homogeneous)또는 비정상(non-stationary)라 한다.]

이는 상태 i에 있는 확률과정이 그 다음 상태 j에 있을 확률을 나타내며, i 이전에 발생하는 이벤트가 j로의 이벤트에 영향을 미치지 않는다는것을 의미한다. P는 전이확률을 모든 상태에서 행렬 꼴(그림 b)로 나타낸 것이며, 전이확률행렬(transition probability matrix) 또는 줄여 전이행렬(transition matrix)이라 한다. 전이행렬에서의 모든 원소는 음이 아닌 값을 갖으며, 각각의 행의 합은 1인 성질을 갖는다. 두번째 성질을 개념적으로 살펴볼 때, 시간 상태 i에 있는 마르코프 연쇄는 다음으로 (자신을 포함한) 상태공간의 어떤 상태로든 이동해야 하므로 당연하다 할 수 있다. 또한 전이행렬은 그래프로서 표현(그림 a)될 수 있는데 이때는 전이 그래프(transition graph, G)이며, 각각의 노드는 S 상태로 구분된다. 그래프는 노드 x에서 노드 y로 향하는, 가중치 p를 가진 간선을 가지고 있으며, 이는 x에서 y로 이동(전이)할 확률 P(x,y)=p 을 의미한다. 

두개의 상태를 가진 마르포크 연쇄를 생각할 수 있다. 상태0에서 상태 0으로 가는 확률을 1-p0라고 한다면, 상태 0에서 상태 1로 가는 확률을 p0이라고 할 수 있으며 상태 1에서도 이와 같이 적용할 수 있다. 통신 시스템에서의 예를 들자면, 한쪽에서 통신 장치를 써서 0과 1의 신호를 다른쪽으로 보낼 때, 신호가 제대로 도착할 확률을 p라고 한다면, 이 통신 시스템은 마르포크 연쇄이고 이를 표현하자면 아래와 같다.

* 챕맨-콜모고로프 등식(Chapman-Kolmogorov equation)

지금까지의 마르코프 연쇄에서는 한번의 전이확률과 전이 행렬만을 다루었다. 만약 시간 간격이 길 때의 전이 확률에 대해 생각해보자면, 이 전이 확률은 n번 전이확률(n-step transition probability)라 부르며, 상태 i에서 n번 이동하여 상태 j로 갈 확률을 뜻한다. n번 전이 확률은 챕맨-콜모고로프 등식(Chapman-Kolmogorov equation)으로 얻게 된다. 

챕맨 콜모고로프 등식을 개념적으로 살펴보면 n+m번 이동하여 상태 i에서 상태 j로 가려면, 상태 i가 n번 이동하여 상태 k로 가고, 다시 m번 이동하여 k에서 j로 가는것으로 이해할 수 있다. 상태공간의 모든 k에서 이 확률들을 얻어 더하는것은 n+m번 이동하여 i에서 j로 가는 도중에 거치는 모든 가능한 서로 다른 이동경로에 대한 확률을 더하는 것으로 받아들일 수 있다. 챕맨-콜모고로프 등식의 수학적인 증명은 다음과 같이 마르코프 성질을 써서 할 수 있다.

P가 한번 이동할 전이행렬을 나타내고, P(n)은 n번 전이행렬을 뜻할 때, 챕맨-콜모고르프 등식을 행렬 표현으로 쓰면 아래와 같으며, 위에서 가운뎃점()은 행렬의 곱셈을 뜻한다. 따라서 P(n)=P^n을 통해, n번 전이행렬은 행렬의 n번 거듭곱으로 쉽게 얻어짐을 알 수 있다.

참고서적 : 확률과정, Introduction to Probability Models 10th