第一章
第十二章 多重線性迴歸
本章綜覽 在實際的應用中，常會發現應變數 Y 的變動可以由超過一個以上的變數來描述。 討論包含了一個以上的解釋變數的多重線性迴歸模型 (multiple linear regression model)。 多重線性迴歸模型的模型設定 最小平方法估計式 標準化的迴歸 配適度的衡量 最小平方估計式的性質與假設檢定
多重線性迴歸 包含截距項的多重線性迴歸模型為 多重線性迴歸模型欲捕捉的系統性部分為 最小平方法就是要選擇適當的參數，使得以下的目標函數極小:
最小平方法 分別對 k 個參數作偏微分，我們可以得到 k 個線性標準方程式。若方程式間沒有線性相依的關係，就可以得到 k 個 βi 的最小平方估計式。 當解釋變數間沒有任何線性關係時，就可以求出模型參數的最小平方估計式，所以這是多重線性迴歸中應用最小平方法的認定條件。 若解釋變數有完全線性重合的問題，則必須更改模型設定 (例如，排除一個或幾個解釋變數)，使新的模型符合認定條件。 將最小平方估計式代入線性模型，就得到估計的迴歸面。(estimated regression hyperplane)
迴歸係數的涵義 在估計的迴歸面中，斜率係數表示對應的解釋變數變動 1 個單位時(而其他解釋變數維持不變)，模型所預測應變數 Y 的變動幅度。 在控制其他變數可能產生的影響之後，斜率係數代表了該解釋變數的「淨」效果。因此，解釋變數有時亦被稱作控制變數。
標準方程式的代數性質 由標準方程式，可得到代數性質： .
標準化的迴歸 假設在房價的迴歸模型中有「坪數」與「衛浴設備的數目」兩個解釋變數。若比較二者的影響力時會發現兩個變數的衡量單位不同，因此相對應的係數估計值並無共同的比較基礎。 最小平方估計值之間通常不能互相比較，較大的係數估計值並不表示該變數較為重要。 解決之法為先將應變數與解釋變數都先用自己的樣本平均數與樣本標準差標準化之後再作迴歸。
標準化的迴歸 新的迴歸係數可以彼此作比較，稱作貝塔係數 (beta coefficients)。 所有的變數變動都以相關的標準差來衡量，故貝塔係數較大者代表該變數可以使預測的 Y 值有較大的變動 (以 Y 的樣本標準差來衡量)，故較為重要。 等號左邊是新的係數， 分別表示應變數與解釋變數的樣本標準差。
配適度的衡量 可以將應變數在其樣本平均數周圍的總變動量(總平方和)分解成兩部分： 總平方和 = 迴歸平方和 + 殘差平方和。 迴歸平方和：由多重線性迴歸模型捕捉的變動量 殘差平方和：迴歸模型所無法捕捉的變動量 總平方和 = 迴歸平方和 + 殘差平方和。 這三者的定義都和單變數時的定義一樣。 總平方和的自由度為 n – 1 ; 由於資料須滿足 k 條標準方程式的限制，所以殘差平方和的自由度為 n – k ; 兩者的差距 k – 1 即為迴歸平方和的自由度。 置中的判定係數 R2 = 迴歸平方和 ÷ 總平方和
判定係數與調整的判定係數 判定係數也可表為 當模型中解釋變數增加時，判定係數值不會降低。因此需要調整的判定係數 (adjusted R2，以 來表示)。 調整的判定係數是模型配適能力與模型複雜度折衷後的結果，其值不一定隨解釋變數的增加而遞增。
多元迴歸模型的古典條件 為了推導最小平方估計式的性質，考慮以下的古典條件： 其中Vi具有以下的性質: [D1] 所有的解釋變數均為非隨機的實數 [D2] 存在 β0,1 , … , β0,k 使得 其中Vi具有以下的性質:
多元迴歸模型的古典條件 [D2’]存在β0,1 , … , β0,k使得 其中 Vi 為互相獨立的常態隨機變數 條件 [D2](ii) 中 σ02 的最小平方估計式為
最小平方法估計式的性質 在 [D1] 與 [D2](i) 之下，最小平方估計式是真實參數的線性且不偏的估計式。
最小平方法估計式的性質 在 [D1] 與 [D2’] 之下，
修正的古典條件 修正的古典條件: 其中Vi具有以下的性質： [E2] 存在 β0,1 , … , β0,k 使得 [E1] {(X2i, …, Xki, Yi), i=1,2,…,n }為具有有限變異數的多變量隨機變數。 [E2] 存在 β0,1 , … , β0,k 使得 其中Vi具有以下的性質：
修正的古典條件 在 [E1] 與 [E2](i) 之下，最小平方估計式是真實參數的一致估計式。
假設檢定 首先考慮單一的虛無假設， H0： β0,j = b 在古典條件下， 則在古典條件下，
假設檢定 檢定統計量的虛無分配 t(n-k) 並不受假設中所包含之係數數目所影響。 調整的判定係數和 t 比例之間有如下的關係：
假設檢定 如果有 h 個虛無假設，而每一個虛無假設都是係數的線性組合，此時可以採用虛無分配為 F(h,n – k) 的 F 檢定。 聯合虛無假設： 原來設定的模型為 在虛無假設之下的模型稱為受限制的模型 (模型R): 估計這兩個模型後的殘差平方和分別為 ESS 和 ESSR，其判定係數則分別為 R2 和 R2R。
假設檢定 檢定時以比較兩個模型的殘差平方和來作判斷。 在古典條件下，
實例分析 欲分析下表的資料：
實例分析 模型如下： EXCEL計算結果如下： 另外考慮三個單變數迴歸模型，列在下頁表中。
實例分析--不同模型迴歸結果