統計學: 應用與進階 第9 章: 貝氏統計學

貝氏統計學與古典統計學 主觀機率與客觀機率的關連性 貝氏統計與古典統計之比較

貝氏統計學 在統計學中存在兩大派別, 一派稱作古典統計學, 另一派稱作貝氏統計學 古典統計學立基於客觀機率, 而貝氏統計學則仰賴於主觀機率

客觀機率vs. 主觀機率 客觀機率: 銅板的物理性質。亦即, 如果我們把這 枚銅板送到實驗室作檢驗, 確定這枚銅板是完全對 稱的(perfectly balanced), 根據物理性質,出現正面或 反面的機會將會是一半一半, 這就是所謂的客觀機 率 主觀機率代表我們個人主觀的「信念」, 我們「相 信」這枚銅板出現正面或反面的機會是一半一半 。因此, 主觀機率又可以稱作個人機率(personal probability)

客觀機率vs. 主觀機率 也許你會認為, 客觀機率不涉及個人主觀判斷,應該是一個對於機率較佳的詮釋。然而, 問題是我們並無法總是有機會獲知任何一枚特定銅板的物理特性。相反的, 姑且不論個人判斷能力的好壞, 我們總是能夠胡謅一個機率值出來

客觀機率vs. 主觀機率 一般而言, 客觀機率與主觀機率並不相等, 然而,在某些特殊的情形下, 客觀機率會等於主觀機率 舉例來說, 在美國拉斯維加斯的賭場中, 所有的賭具都受到政府法令嚴格的控管, 因此, 如果我們要去玩美式輪盤, 我們主觀的信念是, 小球落入輪盤中任何一個的機率為1/38, 而客觀機率值也是1/38

客觀機率vs. 主觀機率 客觀機率 主觀機率 物理性質 可用統計工具驗證 一般而言未知 個人主觀信念 不需(也不能) 被驗證 總是能夠胡謅

客觀機率vs. 主觀機率 我們以 代表客觀機率, 以 代表主觀機率 如果我們投擲一枚不公正的銅板, 其偏誤率(出現正面機率) 為 我們以 代表客觀機率, 以 代表主觀機率 如果我們投擲一枚不公正的銅板, 其偏誤率(出現正面機率) 為 令Xi = 1 代表出現正面, Xi = 0 代表出現反面顯而易見地, ~Bernoulli( ) 令 代表投擲n 次中, 出現正面的次數。試問 既然我們可以從兩種角度來詮釋機率, 對於這個問題自然可以有兩種答案

1. 客觀見解: 根據物理性質 每次試驗有兩種可能性(正面或反面) I i , j = 1, . . . , n {Xi} 為i.i.d. 因此, 根據 我們知道 為二項分配: 是故

2. 主觀見解: 根據個人信念 每次試驗有兩種可能性(正面或反面) 每次試驗應具有相同的機率值: 每次試驗是否獨立?假設我們原有的信念為 為了暸解這枚銅板, 我們將其投擲100 次, 結果發現, 出現75 次正面。這個發現將讓我們相信這枚銅板出現正面的機率較大因此,

2. 主觀見解: 根據個人信念 因此,根據 並非二項分配(not binomially distributed) 根據 , 由於{Xi} 為i.i.d., 我們可以得到 亦即, 在客觀機率的概念下, 即使我們已經觀察到75 次的正面, 第101 次出現正面的機率依舊是1/2

古典統計學vs. 貝氏統計學 古典統計學: 立基於未知的客觀機率 且其每次試驗為i.i.d.。雖然我們不知道 , ,但是整個古典統計學仰賴此未知的客觀機率與i.i.d.的假設 貝氏統計學: 據主觀機率(信念) , 且在主觀信念下, 每次試驗並非獨立。既然每次試驗並非獨立, 我們可以藉由過去經驗再塑(update) 我們對於下次試驗的信念

貝氏統計學的一般性原則 對於所關心的隨機事件建構一個適當的客觀機率模型, 其中包含了我們所關心的未知參數 對所關心的未知參數形成主觀的信念亦即, 對未知參數形成先驗機率 在觀察樣本後, 根據貝氏法則再塑我們的信念,形成事後機率 根據事後機率作出決策

例子 在我們以下的討論中, 為了避免符號的繁瑣, 我們將不區分 與 , 一律以P(·) 示之 至於所應用的機率概念為客觀機率或是主觀機率, 則視討論時的上下文而定

例子 記憶體製造廠以一特定機器製造DRAM。製造出來的DRAM 品質或為良品, 或為不良品 假設由物理性質觀之, 此機器以一i.i.d. 的隨機過程製造DRAM, 該機器每製造一個DRAM,有 的機率會製造出不良品(不良率 為一未知的參數) 最近工廠添購一台新機器, 根據我們過去的經驗, 對於同型的機器我們已有相當的認識。假設我們知道該型機器有三種可能的不良率: 1%(優), 3%(普通), 以及5% (劣)

例子 且根據經驗, 機器為優, 普通以及劣的可能性分別為0.65, 0.30 以及0.05。亦即, 有65% 的機率我們會買到優質機器, 其餘依此類推 在機器試用期, 為了決定是否要留下此機器, 或是要退貨, 身為經理人的你先對機器進行測試。結果發現, 在100 個DRAM 中有6 個不良品。試問, 在觀察到這組樣本後, 你對這台新機器的評價為何?

步驟1. 建構一個適當的客觀機率模型 令隨機變數Xi = 1 代表該機器所製造出的第i個DRAM 為不良品, 則對於這個隨機事件的客觀機率模型為: 未知 令 根據我們所觀察到的樣本,100 個DRAM 中有6 個不良品, 亦即 6 這樣的結果似乎暗示著該機器為劣質機器(不良率為0.05)

步驟2. 對未知參數形成先驗機率 將我們對於未知參數(未知不良率) 的信念以一個隨機變數B 來表示 敘述先驗分配於下表: b P(B = b) 優 0.01 0.65 普通 0.03 0.30 劣 0.05

步驟3. 觀察樣本後計算事後機率 根據條件機率, 我們可以算出對於任一b 值的事後機率為: 我們必須求出: 以及

步驟3. 觀察樣本後計算事後機率 來自我們的先驗分配 ? 別忘了一旦我們確定知道這是台機器的不良率, 則此時主觀機率與客觀機率一致 每次試驗將視為獨立。無論看到多少不良品, 都不會改變我們的信念 因此, 給定B = b, 為二項分配b(100, b) 譬如說, B = 0.01,

步驟3. 觀察樣本後計算事後機率 計算 根據總機率法則,

步驟3. 觀察樣本後計算事後機率

先驗機率與事後機率 在觀察到樣本 後, 我們評估新機器是普通品質的可能性約略兩倍於它是劣質機器的可能性

先驗機率與事後機率 既然樣本呈現100 個DRAM 中有6 個不良品,其樣本不良率為6%, 已然非常接近劣質機器的不良率5%, 為什麼我們的信念依然認為新機器是普通品質的可能性較高? 理由: 我們先驗上的信念認為新機器是劣質的可能性非常低(P(B = 0.05) = 0.05)。即使我們觀察到的樣本似乎暗示它是劣質機器, 由於原有的信念, 我們不會馬上修正到相信它就是劣質機器 貝氏統計推論講求在(1) 個人先驗信念與(2)觀察到的樣本之間取得一個平衡點

事後機率: 當樣本數增加 This suggests a process of learning.

貝氏統計推論 根據貝氏統計推論, 我們對於第i 個製造出來的DRAM 是不良品的機率評估, P(Xi = 1), 將會因為觀察到樣本後有所不同 在觀察到樣本之前, 我們根據先驗機率:

貝氏統計推論 在觀察樣本發現 後, 若令 代表給定 下的事後機率: 則可以得到

貝氏統計推論 亦即, 也就是說, 在觀察到100 個DRAM 中發現6 個不良品後, 我們對於第i 個製造出來的DRAM是不良品的機率評估增加了

敞開心胸的信念(open-minded beliefs) 其機率密度函數恆不為零 雖然我們在DRAM 廠的例子中, 將B 設為間斷的隨機變數(B = 0.01, 0.03 或0.05), 然而, 一般而言, 我們如果沒有任何理由排除某一特定不良率, 以連續隨機變數來刻畫信念是一個比較好的選擇

兩個敞開心胸信念的例子

貝氏極限定理 當先驗的信念是敞開心胸的, 則 當先驗信念是敞開心胸的, 主觀機率會隨著樣本增加而趨近於客觀機率 此外, 我們之前就已經討論過, 當我們知道真實的參數時, 主觀機率與客觀機率將會一致:

貝氏統計與古典統計之比較 貝氏統計與古典統計各有其適用之處 一般的看法是: 個人決策時適用貝氏統計, 提供他人諮詢時, 適用古典統計 貝氏統計強調個人的主觀信念, 而個人的主觀信念則反映其過去的經驗累積。因此, 當你在做決策時需要參考過去經驗時, 貝氏統計是一個不錯的選擇 相對的, 如果別人不認同你的先驗主觀信念, 即使之後的分析再精妙, 依然無法使人認同。因此,如果運用統計學的目的是為了提供他人諮詢, 或是要據此說服別人, 則古典統計就是一個較佳的選擇

貝氏統計與古典統計之不同 貝氏統計 古典統計 基本觀察 μ 未知。根據我的主觀機率評估, 一連串的試驗並非獨立, 亦即觀察到的樣本不是i.i.d. 樣本。 μ 未知但是依據客觀機率,一連串的試驗為i.i.d.。 基本原理 將我對未知參數μ 的信念以隨機變數B 來表示。以我的觀察信念作為統計分析的基礎。 統計分析立基於以上的客觀, 不帶任何主觀信念。 機率性質 主觀機率 客觀機率 統計分析 首先將我的主觀信念以隨機變數B 來表示, 形成先驗分配。 觀察樣本後, 以貝氏法則再塑我對B分配的信念,形成事後分配。 (c) 最後, 利用B 的事後 分配做統計分析。 由於一連串的試驗i.i.d., 方式即使我不知道μ, 只要我觀察的樣本夠多, WLLN 提供我猜測μ 的準度。 主要應用 個人決策 提供諮詢, 說服他人