Download presentation
Presentation is loading. Please wait.
1
第 14 章 Logistic迴歸
2
14.1 二元應變數之迴歸模型 當應變數是二元資料時,其反應函數的含意 以簡單線性迴歸模型 (14.1)
其應變數Yi為二元資料,不是0就是1,則在此例中期望值E{Yi}有一個特別的含意,因為 = 0,所以 (14.2)
3
若Yi為伯努利的隨機變數,其機率分配如下:
因此,當Yi = 1時,其機率值為 ;而Yi = 0時,其機 率值為1- 。由隨機變數的定義(A.12),可得 (14.3) 由方程式(14.2)及(14.3),可得 (14.4)
5
當反應函數是二元資料的特例 1. 非常態誤差項:針對應變數為0與1,每個誤差項 只有兩種結果。 (14.5a) (14.5b) 2. 誤差項之變異數非定值:當應變數為指示變數,其所有誤差項 不具有相同的變異數。簡單說明如下,由(14.1)的簡單線性迴歸可得 ,並利用(A.15),得 或是 (14.6)
6
之變異數與 的變異數是相同的,因為 ,而且 為常數。 (14.7) 或 (14.7a) 3.反應函數的限制:由於反應函數可視為機率值,當應變數為0或1的指示變數,則平均反應應該限制為 (14.8)
7
14.2 二元應變數下的S模型反應函數
8
Probit的平均反應函數 考慮母親在懷孕期間Y c與酒精使用程度X之關係,此處的c代表連續型懷孕期間的反應變數。因此可以利用簡單線性迴歸表示成 (14.9) 由(14.3)與(14.9)可得 (14.10a) (14.10b) (14.10c) (14.10d) (14.10e)
9
假若令 ,從(14.10a-e),可得 (14.11) 由(14.3)式及(14.11)式,推導出一非線性迴歸函數, 稱為probit平均反應函數。 (14.12) 利用probit轉換來求(14.12)的,可得 (14.13)
11
Logistic平均反應函數 假設隨機變數 服從logistic分配平均值為0,標準差為 ,其分配 (14.14a) 其累積分配函數為: (14.14b) 假設由(14.9)式的具有logistic分配平均值為0,標準差為,然後由(14.10d)可得:
12
之後,將不等式的左右兩邊各乘上 ,其機率 值亦保持不變,因此: (14.15a) (14.15b) (14.15c) (14.15d)
13
總括而論,logistic平均反應函數為:
(14.16) 而(14.16)亦等同 (14.17) 由(14.16)做累積分配FL的反函數則可得: (14.18) 的轉換函數稱為機率值 的logit轉換,表示 為: (14.18a)
14
互補Log-Log反應函數 可由(14.9)的 為Gumbel的誤差分配來導出平均反應函數: (14.19) 解線性預測 時,我們可得到互補log-log反應模型: (14.19a)
16
14.3 簡單Logistic迴歸 簡單Logistic迴歸模型
因為誤差項的分配與反應變數Yi的伯努利分配有關,所以用以下的方式表達簡單Logistic迴歸模型會比較好些: Yi為服從伯努利分配的獨立隨機變數且具有 期望值 ,其中 (14.20)
17
概似函數 因為每一個Yi都是服從伯努利分配的隨機變數,其中: 其機率分配如下: (14.21) 因為觀測值Yi是獨立的,他們的聯合機率函數為: (14.22) 再者,對其聯合機率函數取對數,這是方便來找最大概似估計值:
18
(14.23) 因為 且Yi為二元變數,由(14.16)得: (14.24) 進一步,由(14.18a),我們可得: (14.25)
19
因此,從(14.23)可簡化成: (14.26) 最大概似估計值 一旦得到最大概似估計值 與 之後,我們將這些估計值代入(14.20)便可得到配適的反應函數,我們定義 為第 i 個配適值: (14.27) 配適的logistic反應函數,如下所示: (14.28) 若我們在(14.18)利用logit轉換,便可解釋(14.28)的配適反應函數,如下: (14.29) 其中 (14.29a) 我們稱(14.29)為配適logit反應函數。
23
的解釋 考慮配適logit反應函數(14.29)在X = : 代表X的某層級與配適值的關係,我們亦可考慮配適logit反應函數在X = : 此兩配適值的差為: 由(14.29a)式, 是取對數的估計發生比估計值;故我們可以用 ,相同地,對於 我們可以用 。因此,其之間的差別為: 之後將對數給還原,就可得到發生比(odds ratio)表示為 ,等於exp( ): (14.31)
25
互補Log-Log與Probit的反應函數之使用
26
重複樣本,以二項式樣本為例 在 層級,數字為1的和表示為 : (14.32a) 而且在 層級,數字為1的比例表示為 : (14.32b) 隨機變數 服從二項式分配,表示為: 其中 (14.33) 之後對數概似函數可表示如下: (14.34)
Similar presentations