馬爾可夫提出馬爾科夫鏈之後,用矩陣來表示一個系統的變化,這是連續時間引數馬爾可夫鏈理論。

其中的每一個量都是每一個引數從一個狀態到另一個狀態的機率。

所以這個柯爾莫哥洛夫開始研究這個方程隨時間變化後,自己想要的哪個狀態引數的量。

馬爾可夫說:“從我的這個系統方程裡,最有趣的就是那種狀態才會發生,而那種狀態永遠都不會出現。”

柯爾莫哥洛夫說:“需要推到哪個是隨時間變化而變化的,哪個是隨時間變化都不會變的。”

馬爾可夫說:“然後再去研究哪個是隨時間機率會加強的,哪個是隨時間機率會減弱的。哪個是隨時間改變毫無規律而變化的甚至是瞬間變化的。”

馬爾可夫鏈x={xt:t>=0},p(t)=[pij(t)],q=[qij],i,j屬於S,當S為有限狀態空間。

向前方程p`(t)=p(t)q。

向後方程p`(t)=qp(t)。