Chapter 3 複迴歸分析： 估計

複迴歸分析：估計 由於允許我們明確地控制許多其他也會影響應變數的因素，複迴歸分析(multiple regression analysis) 要做其他條件不變下的分析較為合適。 若我們在模型中加入較多因素，其對解釋y是有用的，則很自然地y的變異將有較多可被模型解釋。因此，複迴歸分析可以用來建立預測應變數之較佳模型。 複迴歸分析的另一個優勢在於它可融合一般化的函數形式。 CH3 複迴歸分析：估計 第79頁

兩個自變數的模型 課本3.1式 p.80 請以wage1之檔案，進行複迴歸之各項係數之估計。 討論：為何採用兩個解釋變數說明薪資之變化？ CH3 複迴歸分析：估計 第81頁

3.1 複迴歸之動機 我們可將兩個獨立變數模型寫為 其中β0為截距， β1 衡量其他因素固定之下x1 變動時y 的變動。β2衡量其他因素固定之下x2變動時y 的變動。 3.3 CH3 複迴歸分析：估計 第81頁

3.1 複迴歸之動機 在兩自變數模型中，u 如何和x1 、 x2 相關聯之主要假設為 條件(3.5) 之解釋類似於簡單迴歸分析的假設SLR.4。 3.5 CH3 複迴歸分析：估計 第81-82頁

K 個自變數的模型 一般的線性複迴歸模型(multiple linear regression model) (亦稱為複迴歸模型) 在母體中可被寫為 其中β0為截距(intercept)， β1 為x1的參數， β2為x2 的參數等等。 為簡化起見，我們有時會將除了截距之外的其他參數稱為斜率參數(slope parameters)，即使它們有時並非是斜率。 正如同在簡單迴歸，變數u 亦稱為誤差項(error term) 或干擾項(disturbance)。 3.6 CH3 複迴歸分析：估計 第83頁

K 個自變數的模型 CH3 複迴歸分析：估計 第83頁 表3.1

3.2 普通最小平方之機制和解釋 得到OLS 估計 估計的OLS 方程式之寫法類似於簡單迴歸： 普通最小平方(ordinary least squares) 法利用殘差平方和極小化來選擇估計值。 CH3 複迴歸分析：估計 第84頁

3.2 普通最小平方之機制和解釋 得到OLS 估計 我們同時選擇 、 及 的估計使下式極小化 在k 個自變數的情況下我們要求得以下方程式之 我們同時選擇 、 及 的估計使下式極小化 在k 個自變數的情況下我們要求得以下方程式之 的估計 CH3 複迴歸分析：估計 第85頁

3.2 普通最小平方之機制和解釋 得到OLS 估計 有k + 1 個OLS 估計值被選擇以使殘差平方和極小化 CH3 複迴歸分析：估計 第85頁

3.2 普通最小平方之機制和解釋 得到OLS 估計 此導致k + 1 條線性方程式要解k + 1個未知數 ： CH3 複迴歸分析：估計 第85頁

3.2 普通最小平方之機制和解釋 得到OLS 估計 這些通常稱之為OLS 一階條件(first order conditions)。 如同簡單迴歸分析，(3.11) 式稱為OLS 迴歸線(OLS regression line) 或是樣本迴歸函數(sample regression function, SRF)。我們將稱 為OLS 截距估計(OLS intercept estimate) 且 為OLS 斜率估計(OLS slope estimates) (對應於自變數x1, x2, ……, xk)。 CH3 複迴歸分析：估計 第86頁

解釋OLS 迴歸方程式 和 存在偏效果(partial effect)，或其他條件不變(ceteris paribus) 之解釋。由(3.14) 式可知 故我們可在x1 和x2 變動下獲得y 的預測變動。(注意y 的變動並不受截距的影響。) 特別是，當x2既定之下，即Δx2 = 0 ，則 透過x2代入模型中，我們得到x1 的係數即有其他條件不變的解釋。同樣地，在x1 既定下 CH3 複迴歸分析：估計 第86-87頁

解釋OLS 迴歸方程式 OLS 迴歸線為 x1的係數衡量在其他自變數既定下， x1增加一單位導致 的變動。亦即，在x2, x3,…xk既定下 3.16 3.17 3.18 CH3 複迴歸分析：估計 第88頁

解釋OLS 迴歸方程式 請以wage1之檔案， 　練習課本範例3.2 (p.89)。 　注意：應變數之數值 CH3 複迴歸分析：估計 第88頁

複迴歸之「其他因素固定不變」的涵義 複迴歸分析之優勢在於它允許我們在非實驗性的環境中，做出自然科學家在可控制的實驗室環境中能做的：使其他因素固定不變。 CH3 複迴歸分析：估計 第90頁

OLS 配適值和殘差 我們可得到每一個觀察值之配適或是預測值。對觀察值i 而言，配適值為 觀察值i 之殘差(residual) 的定義如同簡單迴歸， 3.21 CH3 複迴歸分析：估計 第90頁

OLS 配適值和殘差 OLS 配適值和殘差有一些由簡單迴歸擴充而來的特性： 殘差之樣本平均為0，因此 。 殘差之樣本平均為0，因此 。 各自變數和OLS 殘差之樣本共變異數為0。這導致OLS 配適值和OLS 殘差之樣本共變異數為0。 點 永遠會在OLS 迴歸線上： 。 CH3 複迴歸分析：估計 第90-91頁

複迴歸之「偏排除」 我們專注在 上。表現 的一種方式為 我們專注在 上。表現 的一種方式為 在有k 個解釋變數之一般化模型中， 仍可寫為(3.22) 式，但殘差 乃由x1對x2,…, xk迴歸而來。因此， 衡量在x2,…, xk被偏排除後x1對y 的效果。 3.22 CH3 複迴歸分析：估計 第91-92頁

簡單迴歸和複迴歸估計之比較 讓我們對簡單和複迴歸作有趣的比較，其關係為： 在兩種特殊情況下， 和 會相等： 3.23 在兩種特殊情況下， 和 會相等： 1. 在樣本中x2對 的偏效果為0。亦即 。 2. x1和x2在樣本中不相關。即 。 3.23 CH3 複迴歸分析：估計 第92頁

配適度 定義總平方和(total sum of squares, SST)、被解釋平方和(explained sum of squares, SSE)，和殘差平方和(residual sum of squares) 或平方和殘差(sum of squared residual, SSR) 為 3.24 3.25 3.26 CH3 複迴歸分析：估計 第93-94頁

配適度 簡單迴歸的情況，R2定義為 且其解釋為yi之樣本變異可被OLS 迴歸線所解釋的比例，由定義看，R2是介於0 和1 之間。 3.28 　平方。亦即 3.28 3.29 CH3 複迴歸分析：估計 第94頁

配適度 R2 一個重要的特性即其不會遞減，且當其他自變數加人迴歸時它通常會增加。 練習：請以wage1之檔案，先算出簡單迴歸之R2 ，再計算複迴歸之R2 ，並比較之。 CH3 複迴歸分析：估計 第97頁

通過原點的迴歸 其方程式的形式為 當x1 ＝ 0, x2 ＝ 0, ..., xk ＝ 0 ，則預測值為0。在此情況下， 稱為y 對x1, x2, ..., xk之通過原點迴歸的OLS 估計。 3.30 CH3 複迴歸分析：估計 第97頁

假設MLR.1 參數線性 母體模型可寫為 其中β0, β1, ..., βk為我們感興趣的未知參數(常數)，且u 為不可觀察的隨機誤差或隨機干擾項。 3.31 CH3 複迴歸分析：估計 第98頁

假設MLR.2 隨機抽樣 假設MLR.3 無完全共線性 由假設MLR.1 之母體模型，有 n 個觀察值之隨機樣本， 。 在樣本中(也因此在母體中)，沒有自變數是常數，且在自變數之間沒有確切的線性關係。 CH3 複迴歸分析：估計 第98頁

假設MLR.4 條件平均為0 在任意既定的自變數值之下，誤差項u 的期望值為0。換句話說， 3.36 CH3 複迴歸分析：估計 第101頁

3.3 OLS 估計式之期望值 當假設MLR.4 成立，我們通常會說我們有外生解釋變數(exogenous explanatory variables)。若因為某些原因xj和u 相關，則xj稱為內生解釋變數(endogenous explanatory variable)。「外生」和「內生」之詞是由聯立方程式分析而來，但「內生解釋變數」一詞則衍生至包括解釋變數和誤差項相關的任何情況。 CH3 複迴歸分析：估計 第102頁

定理3.1 OLS 的不偏性 在假設MLR.1 至MLR.4 之下，對任意母體參數βj 換句話說，OLS 估計式為母體參數之不偏估計式。 3.37 CH3 複迴歸分析：估計 第102頁

將不相干的變數加入迴歸模型 在複迴歸分析中一個可以很快加以討論的議題是加入一個不相干的變數(inclusion of an irrelevant variable) 或是過度設定模型(overspecifying the model)。這代表有一個(或多個) 即使在母體中它對y 沒有偏效果(亦即，其母體係數為0) 的自變數被代入模型中。 CH3 複迴歸分析：估計 第103頁

遺漏變數的偏誤：簡單的情況 現在假定我們沒有代入不相干變數，我們遺漏了事實上屬於真實模型(或母體模型) 的變數。這通常稱為排除相干變數(excluding a relevant variable) 的問題或模型設定不足(underspecifying the model)。 CH3 複迴歸分析：估計 第104頁

遺漏變數的偏誤：簡單的情況 推導出由遺漏重要變數所產生的偏誤是錯誤設定分析(misspecification analysis) 的一個例子。我們從真實母體模型有兩個解釋變數和一個誤差項的情況開始 由於我們的疏忽或資料的不可獲得，我們估計沒有代入x2 的模型。換句話說，我們只做了一個y 對x1的簡單迴歸，得到方程式 3.40 3.41 CH3 複迴歸分析：估計 第104頁

假設MLR.5 同質變異性 在任意既定的解釋變數值之下，誤差項u 有相同的變異數。換句話說 如下頁圖形所示 (簡單線性迴歸 ch2 圖2.8) CH3 複迴歸分析：估計 第110頁

3.4 OLS 估計式之變異數 假設MLR.1 至MLR.5 對橫斷面迴歸而言合起來稱為高斯馬可夫假設(Gauss-Markov assumptions)。 利用符號x 來代表所有的自變數(x1,…, xk)。 假設MLR.5 可寫為Var (y | x) = 2 CH3 複迴歸分析：估計 第110-111頁

3.4 OLS 估計式之變異數 假設MLR.1 至MLR.5 對橫斷面迴歸而言合起來稱為高斯馬可夫假設(Gauss-Markov assumptions)。 利用符號x 來代表所有的自變數(x1,…, xk)。 假設MLR.5 可寫為Var (y | x) = 2 CH3 複迴歸分析：估計 第110-111頁

定理3.2 OLS 斜率估計式之抽樣變異數 在假設MLR.1 至MLR.5 之下，且條件於自變數樣本值，對j =1,2, ..., k而言 以下省略，有興趣同學請找我。謝謝！ 定理3.2 OLS 斜率估計式之抽樣變異數 在假設MLR.1 至MLR.5 之下，且條件於自變數樣本值，對j =1,2, ..., k而言 其中 為xj總樣本變異，且 為xj 對所有其他自變數迴歸(有截距項) 之R2 。 3.51 CH3 複迴歸分析：估計 第111頁

Skip OLS 變異數之組成要素：多元共線性 (3.51) 式顯示 之變異數取決於三個要素：σ2 、 SSTj 以及 。在此之下標 j 只是代表第 j 個自變數。我們現在按順序探討影響 之每個要素。 誤差變異數σ2 ：較大的σ2代表OLS 估計式變異數較大。 xj總樣本變異 SSTj ：我們由母體中隨機抽樣時隨著樣本大小愈來愈大， SSTj將會無限制地增加。 自變數之間之線性關係　： 的值很大會導致 很大。 兩個或多個自變數之間高度(但並非完全) 相關稱為多元共線性(multicollinearity)。 。 CH3 複迴歸分析：估計 第112-114頁

OLS 變異數之組成要素：多元共線性 Skip CH3 複迴歸分析：估計 第113頁 圖3.1

Skip OLS 變異數之組成要素：多元共線性 威斯康辛大學有名的計量經濟學者Arthur Goldberger 對許多計量學家之多元共線性的迷思做了反應，並創造一個新名詞為微數缺測性(micronumerosity)，他定義為：小樣本的問題。[對多元共線性和微數缺測性的詳細討論見Goldberger (1991)。] CH3 複迴歸分析：估計 第114頁

錯誤設定模型之變異數 將真實母體模型(其符合高斯馬可夫假設) 寫為 我們現在考慮 β1 的兩個估計式，估計式 來自於複迴歸 我們現在考慮 β1 的兩個估計式，估計式 來自於複迴歸 CH3 複迴歸分析：估計 第117頁

錯誤設定模型之變異數 在x1和x2無關的情況下， 和 相同。假定x1和x2並非無關，我們可得以下結論： 當β2≠ 0 時， 是有偏誤的， 為不偏的，且 。 當β2＝ 0時， 和 均為不偏，且 。 當β2＝ 0 時，表示x2之解釋變數無存在之必要，則模型只要設定為簡單迴歸即可。 CH3 複迴歸分析：估計 第117頁

估計2：OLS 估計式的標準誤 我們現在指出如何選擇一個2 之不偏估計式，而這使我們可以得到 之不偏估計式。 我們現在指出如何選擇一個2 之不偏估計式，而這使我們可以得到 之不偏估計式。 由於2 = E(u2)，一個2 的不偏「估計式」為誤差平方之樣本平均： 。不幸地，由於我們無法觀察到ui，所以這不是一個真正的估計式。然而，我們知道誤差可以寫為ui = yi  0  1xi1  2xi2  …  kxik ， 故我們無法觀察ui的原因即是我們無法知道βj的緣故。當每一個βj 以其OLS 估計式代替時，我們可得OLS 殘差。 CH3 複迴歸分析：估計 第118頁

估計2：OLS 估計式的標準誤 2在一般複迴歸的情形下，不偏估計式為 (3.56) 式中之n – k – 1為n 個觀察值和k 個自變數之一般OLS 問題的自由度(degrees of freedom, df)。由於在迴歸模型中有k ＋ 1 個參數，其中有k 個自變數和一個截距項，我們可寫為 3.56 3.57 CH3 複迴歸分析：估計 第118-119頁

估計 ：OLS 估計式的標準誤 練習：用wage1檔案做一次簡單迴歸並找出殘差及殘差圖。 討論：上述兩種之差異為何？ CH3 複迴歸分析：估計 第119頁

定理3.3 2之不偏估計 在MLR.1 至MLR.5 的高斯馬可夫假設下， 。 Recall: σ2：誤差變異數 2：殘差變異數 定理3.3 2之不偏估計 在MLR.1 至MLR.5 的高斯馬可夫假設下， 。 Recall: σ2：誤差變異數 2：殘差變異數 CH3 複迴歸分析：估計 第119頁

估計2：OLS 估計式的標準誤 由於未知，我們將其替換為它的估計式 。這產生 的標準誤(standard error of )： 3.58 CH3 複迴歸分析：估計 第120頁

3.5 OLS 的效率性：高斯馬可夫定理 在假設MLR.1至MLR.5 之下， βj的OLS 估計式 是最佳線性不偏估計式(best linear unbiased estimator, BLUE)。 CH3 複迴歸分析：估計 第121頁

定理3.4 高斯馬可夫定理 在假設MLR.1 至MLR.5 之下， 為0, 1, …, k 之最佳線性不偏估計式(BLUEs)。 定理3.4 高斯馬可夫定理 在假設MLR.1 至MLR.5 之下， 為0, 1, …, k 之最佳線性不偏估計式(BLUEs)。 B: best, 最佳（變異數最小） L: linear, 線性 U: unbiased, 不偏 E: estimator, 估計式 CH3 複迴歸分析：估計 第122頁