第 7 章 複迴歸之二
7.1 額外平方和 基本想法 額外平方和
定義 由於額外平方和是在衡量新舊兩種迴歸模型間的誤差平方和之差，因此我們可以定義： (7.1a) 或 (7.1b) 若X2是後來才加入的新預測變數，則 (7.2a) (7.2b)
將上述定義擴增至三個或三個以上時，例如： (7.3a) 或 (7.3b) 而且， (7.4a) 等價於 (7.4b)
分解SSR成為額外平方和 複迴歸的迴歸平方和SSR可以依照不同的額外平方和形式，而有多種不同的總和分解方式，首先考慮(2.50)的等式 (7.5) 上式中指出模型的預測變數為X1，現在利用(7.2a)的等式代入： (7.6) 於是形成兩個預測變數的複迴歸平方和等式，亦即： (7.7) 根據(7.7)與(7.6)的結果，我們可以得到： (7.8)
事實上，引進預測變數的順序可能會改變，所以平 方和 也可以分解為： (7.9) 當迴歸模型所引進的預測變數有三個時，則可能有 多種的分解形式，例如： (7.10a) (7.10b) (7.10c)
包含SSR之分解的ANOVA表
如果同時引進兩個預測變數時，則額外平方和 將具有兩個自由度，因為它可以 表示成兩個各具有一個自由度的額外平方和之總 和，例如： (7.11) 所以均方可以計算如下：
7.2 利用額外平方和檢定迴歸係數 檢定單一 此外，上述檢定也可以根據2.8節所介紹的一般線性檢定方法來進行。我們先考慮三個預測變數的一階迴歸模型： (7.12) 假設檢定為： (7.13) (7.13)的成立時可以得到縮減模型為： (7.14)
一般線性檢定之統計量為(2.70)： 亦即： 上式分子中的兩個誤差平方和之差正是(7.3a)的額外 平方和： 所以一般線性檢定之統計量為： (7.15)
檢定多個 檢定的虛無假設為： (7.16) 採用一般的線性檢定，在成立下之縮減模型為： (7.17) 檢定之統計量為： (7.18)
7.3 檢定迴歸係數之總結 檢定所有的 式子(6.39)的整體F檢定是針對反應變數Y對於所有的預測變數X，是否存在迴歸關係之檢定，檢定的虛無假設為： (7.21) 而檢定的統計量為： (7.22)
檢定單一 針對特定迴歸係數 的部份F檢定，檢定的虛無假設為： (7.23) 而檢定的統計量為： (7.24) 式子(6.51b)為一個等價的檢定統計量： (7.25)
檢定多個 這是另一種部份F檢定，檢定的虛無假設為： (7.26) 為了方便表示，我們把要進行檢定的(p - q)個變數移至最後，檢定的統計量為： (7.27)
如果統計套裝軟體有提供所需的額外平方和，則 (7.28) 檢定統計量(7.27)也可以用在具有截距項 時的全 模型與縮減模型上，我們透過複判定係數表示如 下： (7.29)
其他檢定 有時迴歸係數的檢定並不是針對單一或多個 ，則無法使用額外平方和，所以一定要分別配適全模型與縮減模型，然後進行一般線性檢定，例如全模型中有三個預測變數X： (7.30) 而我們想檢定： (7.31) 於是可以先配適全模型，然後配適縮減模型： (7.32)
另外一個額外平方和無法適用的例子為檢定迴歸模 型(7.30)中： (7.33) 縮減模型為： (7.34)
7.4 偏判定係數 雙預測變數 SSE(X2)是可以用來衡量變數X2引進模型中時，對於Y變數的變異影響，SSE(X1, X2)則是用來衡量變數X1與X2引進模型中時，對於Y變數的變異影響，因此當變數X2已經在模型中時，變數X1對於Y變數的變異之邊際貢獻比率為：
此一數值可以視為給定X2已經在模型中時，Y變 表示： (7.35) 類似的作法可以用來定義給定X1已經在模型中時，Y變數與變數X2之間的偏判定係數： (7.36)
一般情形 上述關於偏判定係數的定義可以立即推廣至三個或三個以上X變數的模型如： (7.37) (7.38) (7.39) (7.40)
偏相關係數
7.5 標準化複迴歸模型 標準方程式計算的捨入誤差 迴歸係數的不可比較性 相關轉換 轉化為以該變數之標準差為單位，因此一般反應變數Y與預測變數X1, …, Xp - 1其標準化後如下： (7.43a) (7.43b)
其中 與 分別為Y與 觀測值的平均，而 與 則分別是其標準差，定義如下： (7.43c) (7.43d) 於是相關轉換可以藉由(7.43a,b)的標準化，簡單修改 為： (7.44a) (7.44b)
標準化迴歸模型 透過(7.44)的相關轉換後，進行配適的迴歸模型稱為標準化迴歸模型： (7.45) 另外我們可以發現標準化迴歸模型的參數 與一般複迴歸模型(6.7)之參數 有下列的關係： (7.46a) (7.46b)
轉換變數後的 矩陣 為了研究經過相關轉換後的 與最小平方標準方程式的特殊性質，我們可以將(6.67)中有關反應變數與預測變數兩兩相關係數之相關矩陣分解為二： 1.第一個矩陣以 表示，稱為X變數的相關矩陣，組成元素為所有X變數兩兩間的簡單相關係數，其定義如下： (7.47)
2.第二個矩陣以 表示，是由反應變數Y與每一個X 變數間的簡單相關係數(一樣用符號 等等 表示)所組成的向量： (7.48) 現在我們可以開始考慮(7.45)的標準化迴歸模型中 經過轉換變數的 矩陣，此時的X矩陣為： (7.49)
由於(7.45)的標準化迴歸模型並沒有截距項，因此在 X矩陣中並沒有全為1的行，同時可以經證明而得到 轉換變數後的 就是(7.47)中的相關矩陣，亦即 (7.50) 標準化迴歸係數的估計 一般複迴歸模型的最小平方標準方程式(6.24) 與最小平方估計量(6.25)： 對於經轉換過後之變數，可以證明為： (7.51)
根據(7.50)與(7.51)可以得到標準化迴歸模型(7.45)的最 小平方標準方程式，以及迴歸係數之估計量如下： (7.52a) (7.52b) 其中， (7.52c) 而迴歸係數習慣上稱之為標準化迴歸係數。
藉由下面的關係式可以轉換回原變數下的迴歸模型(6.7)中估計之迴歸係數： (7.53a) (7.53b) 說明 當迴歸模型中只有兩個X變數，亦即當p - 1 = 2時，可以將標準化迴歸係數之代數式寫出，利用： (7.54a) (7.54b)
(7.54c) 可以藉由(7.52b)得到： (7.55) 所以： (7.55a) (7.55b)
7.6 多重共線性及其效果 預測變數無相關
說明 要證明當 與 無相關性時， 的迴歸係數不會因 加入迴歸模型後而有所改變，我們可以考慮兩預測變數在第一階複迴歸模型下， 的代數式： (7.56) 當 與 無相關性時， ，所以(7.56)成為： (7.56a)
預測變數完全相關下的問題本質 我們在此假設當兩個預測變數為完全相關的情形，表7.8為一個反應變數與兩個預測變數下，收集四個樣本觀測值的例子，A先生配適了一個第一階複迴歸函數： (7.57) A先生配適後之結果如下： (7.58) 在表7.8中列出了配適值。
而同一時間B小姐也針對同樣的資料配適了(5.57) 的第一階複迴歸函數，卻得到結果如下： (7.59) 事實上可以證明有無窮多個可能的反應函數可以完 全配適出表7.8的資料，其原因是兩個預測變數具有 下列的完全相關性： (7.60)
多重共線性效果 對迴歸係數的效果
對的效果 對配適值及預測值的效果 說明 3.當迴歸模型的變數進行過(7.44)的相關轉換後，將可以立即發現預測變數間的相關性，對於估計迴歸係數的標準差產生作用，下面我們考慮兩預測變數下的第一階模型： (7.61) 模型經由(7.44)的相關轉換後，成為： (7.62)
此一標準化模型的 可以利用(7.50)與(7.54c) 得到： (7.63) 因此，應用(6.46)與(7.63)可以得到所估計之迴歸係 數的共變異矩陣： (7.64) 其中，為標準化模型(7.62)的誤差項變異數，我們看 到此處所估計之迴歸係數與具有相同變異數： (7.65) 對於多重共線性所需的更有效診斷方法