自從發現馬爾科夫鏈之後,馬爾可夫便開始進行深度挖掘。

一個系統的某些因素在轉移中,第n次結果只受第n-1的結果影響,只與當前所處狀態有關,與其他無關。在馬爾科夫分析中,引入狀態轉移這個概念。所謂狀態是指客觀事物可能出現或存在的狀態;狀態轉移是指客觀事物由一種狀態轉移到另一種狀態的機率。

馬爾可夫認為自己可以對一個系統進行預測,自己可以當一個完美的算命先生。

就是使用馬爾可夫轉移矩陣法。

假定某大學有1萬學生,每人每月用1支牙膏,並且只使用“中華”牙膏與“黑妹”牙膏兩者之一。根據本月(12月)調查,有3000人使用A牙膏,7000人使用b牙膏。又據調查,使用A牙膏的3000人中,有60%的人下月將繼續使用A牙膏,40%的人將改用b牙膏;使用b牙膏的7000人中,有70%的人下月將繼續使用b牙膏,30%的人將改用A牙膏。

現用\\擬用 A牙膏 b牙膏

A牙膏 60% 40%

b牙膏 30% 70%

根據這個表,馬爾可夫用矩陣表示。

b=[ 60% 40%]

[ 30% 70%]

稱為轉移機率矩陣。可以看出,轉移機率矩陣的一個特點是其各行元素之和為1。在本例中,其經濟意義是:現在使用某種牙膏的人中,將來使用各種品牌牙膏的人數百分比之和為1。

有了轉移矩陣,可以預測下一個月(1月)的使用各種牙膏的人數。

(3000 ,7000)[ 60% 40%]=(3900,6100)

[ 30% 70%]

如果轉移機率矩陣不變,繼續可以預測2月份情況

(3900,6100)[ 60% 40%]=(4170,5830)

[ 30% 70%]

二月份使用牙膏數也知道了。

而且從中可以看出其中2個月的變化,就是這個矩陣的二次方。

辛欽對馬爾可夫說:“你發現的第n次結果只受第n-1的結果影響,只與當前所處狀態有關,與其他無關。這個會有很大作用嗎?感覺n-1以前的全部作廢了?”

馬爾可夫說:“你的腦子還是沒轉過來吧。n-1與n-2有關聯,n-2與n-3有關聯啊!”

辛欽說:“我們不是要研究n的狀態嗎?前面的我們還要管他幹嘛?”

馬爾可夫說:“很多系統,在時間演變過程中,我們只是取到其中幾個時間點的一些碎片。我們要把整個系統的演化過程推演出來,之後分成很多段時間點,把從上到下的每個轉移矩陣推敲出來,然後對系統前後的變化進行推敲。”

辛欽搖搖頭說:“機率轉移矩陣又不是恆定的?你這樣做的意義?”

馬爾可夫說:“不一樣,所以可以把每個狀態的機率矩陣都寫出來,然後觀察其中的變化。”

辛欽說:“試圖尋找穩定的,或者即使是不穩定的,也是可預測的那種?”

辛欽說:“是的。”

後來結合蒙特卡洛,馬爾科夫又發現了馬爾可夫鏈蒙特卡洛方法(markov chain monte carlo),簡稱mcmc,產生於19世紀50年代早期,是在貝葉斯理論框架下,透過計算機進行模擬的蒙特卡洛方法(monte carlo)。該方法將馬爾科夫(markov)過程引入到monte carlo模擬中,實現抽樣分佈隨模擬的進行而改變的動態模擬,彌補了傳統的蒙特卡羅積分只能靜態模擬的缺陷。mcmc是一種簡單有效的計算方法,在很多