第五節 吸收馬可夫鏈 馬可夫鏈若試驗進入某一狀態後，即停留其上而不會離開，則此狀態稱為吸收狀態(Absorbing State)。若狀態 i 為吸收狀態，則該狀態的轉移機率為 也就是說，狀態 i 為吸收狀態時，其轉移矩陣 P 在主對角線位置為1，而該列其他位置為0。所謂吸收馬可夫鏈，必須具有下列兩個性質 至少含有一個吸收狀態。 由任何非吸收狀態開始，經若干次轉移後均可能到達吸收狀態。
作作看9 若有兩個轉移矩陣為
則P1 為吸收馬可夫鏈，其中狀態 2 和 3 皆為吸收狀態，因只要進入狀態 2 或 3，永遠停留在狀態 2 或 3，不會離開。
吸收馬可夫鏈性質之一是不論從那一個狀態開始，經過多次試驗轉移後，必會到達吸收狀態，因此對於吸收馬可夫鏈，有三個重要的問題 被吸收狀態吸收以前，在每一個非吸收狀態上平均各停留幾次？ 由某一非吸收狀態開始，平均經過幾次轉移才會被吸收狀態所吸收？ 由某一非吸收狀態開始，被某一特定吸收狀態吸收的機率為多少？
為了分析方便起見，我們將吸收馬可夫鏈的吸收狀態調整集中至矩陣最上面，而將非吸收狀態調整排列在矩陣最下面，因此將原來轉移矩陣修改具有下列的標準型式 P = 吸收 狀態 非吸收 狀 態 { O Q R I
設此一標準型式的轉移矩陣有 r 個吸收狀態和 s 個非吸收狀態。其中 I 為由 r 個吸收狀態所組成的 r × r 單位矩陣 R 為由s 個非吸收狀態進入吸收狀態之機率所組成的 s × r 矩陣 Q 為由 s 個非吸收狀態所組成的 s × s 方陣 O 為 r × s 零矩陣
R+QR+Q2R+…+Qn-1R=(I+Q+Q2+…+Qn-1)R 此標準型式的轉移矩陣，經過多次轉移，根據Chapman-kolmogorov Equation 可求得 Pn 為 其中 Qn 表示經 n 次轉移後，非吸收狀態到非吸收狀態的機率矩陣，因為 Q 為機率矩陣，所以在 Q 矩陣中的每一個元素皆小於 1，因此當 n 很大時， Qn 矩陣會趨近於零矩陣。又 R+QR+Q2R+…+Qn-1R=(I+Q+Q2+…+Qn-1)R
由代數公式可知 (I-Q)(I+Q+Q2 +…＋Qn-1)=I-Qn (I-Q)(I+Q+Q2 +…＋Qn-1)=I (當n 很大時，Qn →O) ∴ (I+Q+Q2 +…+Qn-1)=(I-Q)-1 令N = (I-Q)-1為馬可夫鏈的基本矩陣(Fundamental Matrix)，請讀者注意，求 N 時所用的單位矩陣 I 之行列數必須與 Q 相同，為 s × s 單位矩陣，並非前述由吸收狀態所組成的 r × r 單位矩陣。
若吸收馬可夫鏈的基本矩陣 N = (I-Q)-1，則在N 矩陣中的元素 nij 表示由非吸收狀態i 開始，在被吸收前停留在非吸收狀態 j 的平均次數。而將 N 矩陣各列的元素加總起來，或令 t= Ne，e為所有元素皆為1的行向量，則向量 t中的元素 ti 表示從非吸收狀態 i 開始，在被吸收狀態吸收前所經過非吸收狀態總次數平均值。 至於從非吸收狀態開始，到達各吸收狀態的機率為 B 矩陣，而 B 矩陣中元素 bij 表示由非吸收狀態 i 開始，被吸收狀態 j 吸收的機率，則 B = NR，以下例說明之。
作作看10 以作作看 9 之 P1 說明。
作作看11 張三和李四兩人玩猜拳遊戲，比賽開始每人各有二元，每次猜拳輸贏為一元，當其中一人輸光所有的錢時，比賽即停止。假設每人出剪刀、石頭、布的機率皆相等，試問 (1)張三玩兩次猜拳遊戲，比賽即停止的機率？ (2)張三可玩多於四次的機率為何？ (3)在比賽停止前，張三身上金錢變化之平均次數。 (4)張三身上有錢，平均玩幾次才會停止遊戲。 (5)張三身上有錢，其輸光或李四輸光所有的錢機率為 何？
在考量有限馬可夫鏈時，首先須區分是正規馬可夫鏈或是吸收馬可夫鏈，其辨別分式是由轉移矩陣 P 來判定，若是正規馬可夫鏈可求長期穩定機率，長期穩定機率的倒數等於期望再現時間；若為吸收馬可夫鏈必須將原先的轉移矩陣，改寫成標準型式，主要探討 由非吸收狀態 i 開始，在被吸收狀態吸收前，停留在非吸收狀態 j 的平均次數，其為吸收馬可夫鏈的基本矩陣 N = (I-Q)-1； 從非吸收狀態 i 開始，在被吸收狀態吸收以前，所經過非吸收狀態的平均總次數，為 t = Ne； 由非吸收狀態 i 開始，而被吸收狀態 j 吸收的機率，為 B = NR。