第 五 章 複迴歸分析.

Presentation on theme: "第 五 章 複迴歸分析."— Presentation transcript:

1 第 五 章 複迴歸分析

2 複相關係數 欲測量二組變數之間的關聯性，如果其中一組只有一個變數，另一組有二個以上的變數，則此二組變數間的相關稱為複相關。
如果二組變數都有二個以上的變數，則此二組變數間的相關稱為典型相關。

3 複相關係數 Yi = β0 + β1Xi1 + β2Xi2 + εi
X* = aX1 + bX2，找到 X1 、X2 的線性組合與 Y 有最大的相關係數，此最大的相關係數值就稱為 X1 、X2 與 Y 的複相關係數。

4 複迴歸分析簡介 複迴歸分析是探討預測變數有二個以上時，預測變數如何影響準則變數的問題。
Y 對 X 的複迴歸模式如下： Yi = β0 + β1Xi1 + β2Xi2 + εi εi ~ N( 0，σ2 )，i = 1,2,…,n 模式設定後，第一件工作就是參數估計，即求參數 β0、β1、β2 的估計值，它的求法和簡單線性迴歸一樣，都是利用普通最小平方法。

5 各種方法求複迴歸的係數 （1）解正規方程式。 （2）以矩陣方程式估計。 （3）以另一種公式求解。 （4）以統計軟體作分析。

6 複迴歸模式的統計推論 複迴歸模式的一般式 Yi = β0 + β1Xi1 + β2Xi2 + … + βp-1Xi,p-1 + εi εi ~ N( 0，σ2 ) ， i = 1,2,…,n 參數之估計 Y = β0 + β1Xi1 + β2Xi2 + … + βp-1Xi,p-1 ︿ ︿ ︿ ︿ ︿

7 偏迴歸係數的含義 β1 測量了在 X2 保持不變的情況下， X1 變動一單位所引起 Y 平均值 E(Y) 的改變量。
β1 、 β2 稱為偏迴歸係數，其意義如下： β1 測量了在 X2 保持不變的情況下， X1 變動一單位所引起 Y 平均值 E(Y) 的改變量。 β2 測量了在 X1 保持不變的情況下， X2 變動一單位所引起 Y 平均值 E(Y) 的改變量。 偏迴歸係數反映了當模型中其他解釋變數保持不變時，某個解釋變數對反應變數平均值的影響。

8 模式之簡化 參數的檢定：模式是否合適，除了作殘差分析的方法之外，尚須討論模式的簡化問題。
模式的簡化問題有三種情形： （1）只去除其中一個預測變數。 （2）同時去除幾個預測變數。 （3）同時去除所有的預測變數。 上述三種簡化模式的情形，都是在作統計檢定的工作。

9 檢定某一個預測變數的迴歸係數是否等於0 以檢定最後一個預測變數 Xp-1 作說明，即檢定 Yi = β0 + β1Xi1 + β2Xi2 + … + βp-1Xi,p-1 + εi H0： βp-1 = H1： βp-1≠0 以上的假設檢定的意義為：當預測變數 X1, X2,...,Xp-2已經放入模式內時，則預測變數 Xp-1是不是可以不用再放入模式內。

10 檢定某一個預測變數的迴歸係數是否等於0 要作此項檢定，主要是計算 F 統計量，F 值是二個平方和作自由度調整後的比值。
首先計算簡化模式（Reduced Model）的殘差平方和SSE(R)，也就是模式中未放入 Xp-1 時的殘差平方和。 其次，再計算完整模式（Full Model）的殘差平方和SSE(F)，也就是模式中除了預測變數 X1, X2,...,Xp-2 外，尚包含預測變數 Xp-1 時的殘差平方和。

11 檢定某一個預測變數的迴歸係數是否等於0 當模式越複雜時，其 SSE 會越小，所以 SSE(F) ≦ SSE(R)，而SSE(R) – SSE(F)的值越大，就表示 Xp-1 越有用（也就是 βp-1≠0，即拒絕H0）。 SSE(R) – SSE(F) 的值表示增加預測變數 Xp-1 到模式中後，Y 變異降低的部份， 以SSR(Xp-1 | X1, X2,...,Xp-2 ) 表示。

12 檢定某一個預測變數的迴歸係數是否等於0 到底變異要降低多少才表示預測變數 Xp-1 是有用的呢？統計學上以降低變異的比例為指標，亦即 以 [ SSE(R) – SSE(F)] / SSE(F) 作為判斷準則。此為二個平方和的比值，再作自由度的調整後，就成了 F分配。 F = [ (SSE(R) – SSE(F)) / 1 ] / [ SSE(F) / (n – p) ] 當 F > F1,n-p,α 時，拒絕 H0。 上述的 F值亦稱為偏 F 值（Partial F）。

13 多加一個解釋變數的貢獻

14 多加一個解釋變數的貢獻 P-2個

15 多加一個解釋變數的貢獻 P-2個

16 多加一個解釋變數的貢獻 P-2個

17 同時檢定幾個預測變數的迴歸係數是否等於0 以檢定最後 p - q 個預測變數 Xq , … , Xp-1 作說明，即檢定 Yi = β0 + β1Xi1 + β2Xi2 + … + βp-1Xi,p-1 + εi H0： βq = βq+1 = … = βp-1 = H1： βi 不全為 0，i = q, q+1,...,p-1

18 同時檢定幾個預測變數的迴歸係數是否等於0 首先計算簡化模式（Reduced Model）的殘差平方和SSE(R)，也就是模式中未放入預測變數 Xq , … , Xp-1 時的殘差平方和。 其次，再計算完整模式（Full Model）的殘差平方和SSE(F)，也就是模式中除了預測變數 X1, X2,...,Xq-1 外，尚包含預測變數 Xq , … , Xp-1 時的殘差平方和。 SSE(R) = SSE(X1, X2,...,Xq-1) SSE(F) = SSE(X1, X2,...,Xp-1)

19 同時檢定所有預測變數的迴歸係數是否都等於0
H0： β1 = β2 = … = βp-1 = 0 H1： βi 不全為 0，i = 1, 2,,...,p-1 當模式中不放入任何預測變數時，則模式中只有常數項，因此，簡化的殘差平方和 SSE(R) = SSTO。 所以SSE(R) – SSE(F) = SSTO – SSE。 X1, X2,...,Xp-1 對 Y 有影響並不表示每一個 Xi 都對 Y有影響。

20 SAS報表之分析 Analysis of Variance
Source DF Sum of Mean Square Square F Value Prob>F Model Error C Total ,049.60 H0： β1 = β2 = … = βp-1 = 0 H1：至少有一 βi 不為 0

21 SAS報表之分析 Root MSE R-square Dep Mean Adj R-sq C.V

22 SAS報表之分析 Parameter Estimates
Parameter Standard T for H0： Variable DF Estimate Error Parameter=0 Prob>|T| Intercept X X X 迴歸式： Y = X X2 – X3 ︿

23 檢定聯合假設 H0： β1 = β2 = … = βp-1 = 0 H1： βi 不全為 0，i = 1, 2,,...,p-1
在複迴歸模型中，一個或多個解釋變數各自對反應變數沒有影響，但聯合起來卻對反應變數有影響。 這意味著 t 檢定雖然對於檢定單個迴歸係數的統計顯著性是有效的，但對於聯合假設的檢定卻是無效的。所以對聯合假設的檢定要改用 F 檢定。

24 SAS報表之分析 ANOVA Table 是對整體的預測變數的預測能力作檢定。 H0： β1 = β2 = … = βp-1 = H1： βi 不全為 0，i = 1, 2,,...,p-1 Parameter Estimates 則是對個別的預測變數的預測能力作檢定。 H0：β1 = H0： β2 = 0 …… H0： βp-1 = 0 H1：β1 ≠ 0 H1： β2 ≠ 0 …… H1： βp-1 ≠ 0

25 SAS報表之分析 在Parameter Estimates中，對個別預測變數的參數作檢定，若同時有二個預測變數的 P Value 均大於0.05，則表示這二個預測變數可以從模式中刪除，但應一次刪除一個，而不是將二個同時刪除。通常以 P Value 較大者先刪除。 刪除掉一個預測變數後，需要重新跑迴歸式。

26 預測變數太多的困擾 對於一個準則變數，如果選用太多的預測變數，則可能會發生模式擬合得太好，出現 R2 = 1 的情形，這種情形通常發生在觀察的資料筆數 n 太少而預測變數 p 太多時。 事實上，當 p ≧ n+1 時，R2 一般都會等於 1。

27 預測變數取捨的依據 在模型建立過程中，要以經濟理論為依據，並充分利用以往的工作經驗。 一但建立起模型，就不要隨意地從模型中刪除某個解釋變數。