Multiple Regression: Estimation and Hypothesis Testing

Presentation on theme: "Multiple Regression: Estimation and Hypothesis Testing"— Presentation transcript:

1 Multiple Regression: Estimation and Hypothesis Testing
chapter four Multiple Regression: Estimation and Hypothesis Testing

2 The Key Concepts Multiple Regression Model(多元迴歸或複迴歸模型)
Multicollinearity (共線性) Adjusted (調整後判定係數) : Individual hypothesis testing vs. Joint hypothesis testing(聯合檢定) Analysis of variance (ANOVA) 變異數分析 F test (F test vs. t test)

3 The Key Concepts Restricted least squares vs. unrestricted least squares

4 I. Multiple Regression Model (1/7)
多元迴歸模型係指解釋變數超過一個的迴歸模型，以下以最基本的three-variable linear regression model (兩個解釋變數)來說明。 其中， 和 稱為 partial regression (slope) coefficients，表示其它解釋變數維持不變時， 該自變數對應變數的影響。

5 I. Multiple Regression Model (2/7)
多元線性迴歸模型的假設: p.97 A4.1~A4.7 其中新的假設為A4.6 : 兩解釋變數之間不具 有完全線性重合(no exact collinearity, no multicollinearity)。 若兩解釋變數之間具有線性關係(一變數可以表達成另一變數的線性函數)，則採用多元迴歸模型來估計，無法區分個別解釋變數的影響，也就是無法估計 與 。

6 I. Multiple Regression Model (3/7)
Estimation: 採用OLS SRF Min RSS = 將上式對 , 和 微分，可得到(4.17)~(4.19)三式，根據這三條聯立求解出三個OLS估計式:(4.20)~(4.22)式。

7 I. Multiple Regression Model (4/7)
(4.21) (4.22) OLS估計式的變異數與標準誤 (4.25) (4.27)

8 I. Multiple Regression Model (5/7)

9 I. Multiple Regression Model (6/7)

10 I. Multiple Regression Model (7/7)
隨機項變異數 的估計式 與簡單線性迴歸模型比較，因估計殘差必須先得到三個估計式，損失三個自由度，故除以n-3。 在多元線性迴歸模型假設成立下，OLS估計式仍擁有BLUE的良好性質。

11 II. The Adjusted (1/2) Goodness of fit of the estimated multiple regression (多元迴歸估計結果的配適度) Multiple coefficient of determinant (4.36) In practice, is of little importance. Adjusted ( ) : 當解釋變數放得愈多，多元判定係數不可能會減少，這是否表示解釋變

12 II. The Adjusted (2/2) 數較多的模型，配適度就會比較好，答案是否定的，因為解釋變數愈多，必須估計的參數也愈多，自由度的損失愈多，因此我們需要調整修正(4.36)式，其中一個常用的指標便是調整後判定係數 。 (4.54) (1) If k>1, (2) could be negative.

13 III. Hypothesis Testing (1/16)
個別檢定(4.7節) 對個別參數進行檢定，採用t 檢定。 聯合檢定(4.8節) 對多個參數進行聯合檢定，採用F 檢定。 線性限制式檢定(4.11, 4.12節) 對一個或多個線性限制式進行檢定，採用F 檢 定。

14 III. Hypothesis Testing (2/16)
個別檢定 (個別迴歸參數估計值的顯著性) 和簡單線性迴歸模型的作法完全相同，僅需要調整自由度為n-k (k代表估計之參數的個數)。 請參考(4.38)~(4.40)式。 聯合檢定(joint hypothesis testing) or 檢定所有解釋變數一起考慮的話，對應變數Y是否有所影響，這個檢定考慮了解釋變數之

15 III. Hypothesis Testing (3/16)
間的相關性，與個別迴歸參數的 t 檢定並不相同，唯當自變數只有一個的簡單線性迴歸模型，兩種檢定才會相同。聯合檢定係透過變異數分析(analysis of variance, ANOVA)來進行。 ANOVA : 將應變數的變異分解成被解釋變異(ESS)與殘差變異(RSS) (4.48)

16 III. Hypothesis Testing (4/16)
各項變異均有其對應的自由度(p.109表4.1)，ESS的自由度為解釋變數的個數(k-1)，RSS的自由度為n-k (TSS為n-1)，將各項變異除以其自由度即為MSS (mean sum of squares) 。

17 III. Hypothesis Testing (5/16)
Table 4-1 ANOVA table for the three-variable regression

18 III. Hypothesis Testing (6/16)
F檢定 在CLRM的假設以及虛無假設 成立，以下的變數可證明為服從F分配: 當F值愈大，表示總變異中自變數所解釋者相對於殘差變異愈大，自變數對應變數的影響性愈顯著，因此我們可以用F值的大小來進行聯合檢定。

19 III. Hypothesis Testing (7/16)
If F > , reject the null hypothesis 表4.2 :拍賣古董鐘的例子(Appendix 4A.4)，應變數為拍賣價格，自變數為古董鐘的age以及競標者人數，檢定結果 p value為 ，表示 “if the null hypothesis were true, the probability of obtaining an F value of as much as 118 or greater for 2 and 29 d.f. is practically zero.”

20 III. Hypothesis Testing (8/16)
The relationship between F and F值的計算亦可表示為 (4.50) The F test which is a measure of the overall significance of the estimated regression line, is also a test of significance of .Testing the null hypothesis (4.46) is equivalent to testing the null hypothesis that is zero(4.47). ANOVA表也可以 來表示(表4.3).

21 III. Hypothesis Testing (9/16)
Table 4-2: ANOVA table for the clock auction price example

22 III. Hypothesis Testing (10/16)
Table 4-3: ANOVA table in terms of R2.

23 III. Hypothesis Testing (11/16)
個別檢定可視為聯合檢定的特例

24 III. Hypothesis Testing (12/16)
線性限制式的檢定 採用F檢定， 檢定量如下: 下標 “r”代表受限模型(restricted model)， “ur”代表非受限模型， m 為限制式的個數。

25 III. Hypothesis Testing (13/16)
個別檢定是限制式檢定的特例 非受限模型 受限模型

26 III. Hypothesis Testing (14/16)
聯合檢定是限制式檢定的特例 非受限模型 受限模型

27 III. Hypothesis Testing (15/16)
線性限制式檢定例1: 固定規模報酬

28 III. Hypothesis Testing (16/16)
線性限制式檢定例2: 結構性變化 假設有1970~1995美國的消費(Y)與所得(X)資料，現欲檢定兩者之間的關係在1982年是否產生變化?

29 IV. Specification Bias (1/6)
本節利用example 2.5 拍賣古董鐘的例子簡單地說明模型設定的問題。首先，表4.4 顯示放入不同之自變數下的迴歸結果。 應放入幾個自變數:慣用的作法是add variables as long as increases( = 加入之自變數的 值大於1)。 當僅放截距項時，該截距項值即為應變數的樣本平均數。

30 IV. Specification Bias (2/6)
當加入自變數age或競標者人數，其t值皆大於1且顯著(4.52, 4.53式)。 最後，根據F檢定兩個自變數都應該放入模型內。

31 IV. Specification Bias (3/6)
Table 4-4: A comparison of four models of antique clock auction prices

32 IV. Specification Bias (4/6)
更一般化的方法是利用restricted vs. unrestricted regression model。以表4.4 model (1) vs. model(4)為例，model(1)為restricted model(因為此模型隱含限制 )，而model (4)為unrestricted model，將兩模型分別跑迴歸可得到兩個multiple coefficient of determinant 與 ，則檢定 “restriction是否valid”的方式為F檢定: (4.56)

33 IV. Specification Bias (5/6)
其中，m為限制式的個數(m=2)，若計算之F值超出臨界值，則限制式不成立。 此法相當一般化，聯合檢定可視為其中一個特例(即為model (1) vs. model(4))。 亦可檢定model (1) vs. model (2), model (1) vs. model (3), model (2) vs. model (4) or model (3) vs. model (4)。 使用(4.56)式比較restricted vs. unrestricted model時要特別注意模型的應變數必須一樣(具有相同的形式)，否則我們必須設法修正

34 IV. Specification Bias (6/6)
應變數或是將(4.56)式修正如下(exercise 4.20):