Simple Linear Regression -4

Presentation on theme: "Simple Linear Regression -4"— Presentation transcript:

1 Simple Linear Regression -4
第十三章 簡單線性迴歸分析-4 Simple Linear Regression -4

2 學習目標 複習 ----- 簡單線性迴歸分析- 1 、 2 、 3 2. 今日內容 ----- 簡單線性迴歸分析- 4
2. 今日內容 ----- 簡單線性迴歸分析- 1 、 2 、 3 簡單線性迴歸分析- 4 As a result of this class, you will be able to...

3 學習目標 (複習—重點內容) 簡單線性迴歸分析- 1 模型各變異量的估計 ----- ANOVA 表 簡單線性迴歸分析- 2
簡單線性迴歸分析- 1 1. 簡單線性迴歸模型 迴歸模型參數之估計 模型各變異量的估計 ANOVA 表 簡單線性迴歸分析- 2 3. 估計誤差項的變異情形 4. 決定係數的計算與解釋 R2 (或是 r2 )

4 學習目標 (複習—重點內容) 簡單線性迴歸分析- 3 評估衡量所建立的模型 ---- 驗證迴歸模型成立的假設 迴歸斜率係數的檢定
簡單線性迴歸分析- 3 評估衡量所建立的模型 ---- 驗證迴歸模型成立的假設 迴歸斜率係數的檢定 ---- 決定因變數Y與自變數X間是否有線性相關

5 學習目標 (今日內容 ) 簡單線性迴歸分析- 4 7. 利用迴歸模式做估計或預測工作 8. 線性相關分析 9. 回顧簡單線性迴歸分析所學
簡單線性迴歸分析- 4 As a result of this class, you will be able to... 7. 利用迴歸模式做估計或預測工作 8. 線性相關分析 9. 回顧簡單線性迴歸分析所學

6 迴歸模型使用時的步驟Regression Modeling Steps
1. 事先決定反應變數與獨立變數間的模式 2. 估計模式的參數 模式中誤差項的機率分配之描述 評估衡量所建立的迴歸模型 5. 利用迴歸模式做估計或預測工作 在特定x值時，Y的期望平均 E(Yi|xi) 在某特定點xi下，Yi的反應 6. 線性相關分析 F

7 利用迴歸模式做估計或預測工作 (1) 複習 簡單線性迴歸模型 (2) 了解 估計或預測些什麼？

8 簡單線性迴歸模型 獨立變數Ｘ和反應變數Ｙ之間為線性關係 Y = b + b X + e 截距參數 Y-intercept 斜率參數slope
自變數(Independent , explanatory variable) Y = b + b X + e i 1 i i 因變數(Dependent response variable) 隨機誤差Random error

9 簡單迴歸模型下的母體與樣本 L $ J $ K $ J $ J $ K $ J $ 隨機取樣 Random Sample
母體Population 推論 假設母體關係：未知為參數 L $ J $ K $ J $ J $ K $ J $ 34

10 簡單線性迴歸模型取樣後結果 未取到的觀察值 ^ ei = 殘差 觀察到的誤差 觀察值 觀察值 36

11 隨機誤差機率分配示意圖Error Probability Distribution
f(e) 不同Ｘ值所對應的Y值 均呈現常態分配，而且有相同的變異數 殘差 Y X 1 X 2 X 迴歸直線 91

12 使用迴歸模型作預測Prediction With Regression Models
估計或預測些什麼？ 在特定xp值時，Y的期望平均 =E(Yp|xp) 即在母體迴歸線上的某特定點xp下，Yp的平均反應 1. 在特 定x值時，預測的種類 點估計﹕平均Y值 區間估計﹕平均Y值、個別y值

13 預測的示意圖 What Is Predicted
| 115

14 E(Yp|Xp) 的信賴區間Confidence Interval Estimate of Mean Yp

15 影響信賴區間寬度的因素Factors Affecting Interval Width
1. 信賴水準的選擇Level of confidence (1 - a) 信賴水準增加則信賴區間寬度也隨之變寬 2. 資料距離迴歸線的散布情形 (S) S加大，信賴區間寬度也隨之增加 3. 樣本數Sample size 樣本數減少則信賴區間寬度會隨之增加 4. 特定點Xp至自變數平均數 X的距離 距離越遠則信賴區間寬度將隨之增加

16 信賴區間估計範例 Confidence Interval Estimate
你是銘傳熊寶寶的行銷分析人員， 已知 = -.1, = .7 而 s = 。 廣告費(千元) 銷售量 (千個) 廣告花費在4千元時平均銷售量的95%信賴區間為多少﹖

17 迴歸模型計算用總結表 120

18 直線樣本迴歸估計式 在 = 4 時， 的 點估計值 121

19 信賴區間估計求解Confidence Interval Estimate
在 = 4 時， 的信賴區間 X to be predicted 121

20 個別特定點估計的預測區間Prediction Interval of Individual Response
Note the 1 under the radical in the standard error formula. The effect of the extra Syx is to increase the width of the interval. This will be seen in the interval bands. 注意!多出了1 122

21 為何會多出一倍的 ‘S’? | 115

22 預測區間估計求解 在 = 4 時， 的信賴區間 X to be predicted 121

23 電腦報表之估計 信賴區間 在x=4時 觀測值, y SY ^ 預測區間 在x=4時E(y)的點估計值, y
Dep Var Pred Std Err Low95% Upp95% Low95% Upp95% Obs SALES Value Predict Mean Mean Predict Predict 在x=4時 觀測值, y SY ^ 信賴區間 預測區間 在x=4時E(y)的點估計值, y

24 全域信賴區間估計形成之信賴帶Hyperbolic Interval Bands
Note: 1. As we move farther from the mean, the bands get wider. 2. The prediction interval bands are wider. Why? (extra Syx) 124

25 相關（線性）模型Correlation Models
1. 衡量兩變數之間線性相關的強度 2. 線性相關係數(coefficient of correlation) 母體（真正）相關係數為 (rho) 其值介於-1 至 +1間 3. 用於了解兩變數之間的線性相關之強度及方向

26 樣本線性相關係數 Sample Coefficient of Correlation
量測兩數值變數間線性相關的程度Measures the strength of the linear relationship between two quantitative variables

27 雙數值變數的散佈圖形表達 —正相關例題一

28 線性相關係數r的計算一

29 雙數值變數的散佈圖形表達 —負相關例題二

30 線性相關係數r的計算二

31 線性相關係數的性質 Features of Correlation Coefficient
無單位 值在-1與1之間 越靠近-1時表示負線性相關越強烈 越靠近1時表示正線性相關越強烈 數值靠近0時表示線性相關微弱

32 各種線性相關所繪得的散佈圖 Y X Y X Y X r = -1 r = -.6 r = 0 Y X Y X r = .6 r = 1

33 樣本形成的線性相關係數Sample Coefficient of Correlation
(Pearson’s coefficient of correlation) 132

34 線性相關係數值的含意Coefficient of Correlation Values
無線性相關 No Correlation -1.0 -.5 +.5 +1.0 循此方向逐漸加強兩者間的負線性相關關係Increasing degree of negative correlation 136

35 線性相關係數值的含意Coefficient of Correlation Values
無線性相關 No Correlation 完全負相關 -1.0 -.5 +.5 +1.0 循此方向逐漸加強兩者間的正線性相關關係Increasing degree of positive correlation 138

36 線性相關係數值的含意Coefficient of Correlation Values
無線性相關 No Correlation 完全正相關 完全負相關 -1.0 -.5 +.5 +1.0 139

37 線性相關係數值各範例 Coefficient of Correlation Examples
141

38 線性相關係數的檢定 Test of Coefficient of Correlation
1. 可顯示（檢定）出兩變數間關係是否為線性相關 2. 檢定「結果」完全相同於迴歸模型斜率b1的檢定結果 3. 檢定用的假設Hypotheses H0: r = 0 (無線性相關no correlation) Ha: r≠0 (有線性相關correlation)

39 線性相關的檢定 Test for a Linear Relationship
Hypotheses H0:  = 0 (no correlation) H1:   0 (correlation) 檢定統計量 (Test statistic)

40 熊寶寶行銷範例 – 1/3 你是銘傳熊寶寶的行銷分析人員， 已知b0 = -0.1和 b1 = 0.7. 決定係數R2= 0.8167 ^
83

41 熊寶寶行銷範例 -- 2/3 H0:  = 0 (no correlation) H1:   0 (correlation)
熊寶寶行銷範例 -- 2/3 H0:  = 0 (no correlation) H1:   0 (correlation) 決策: 拒絕 H0 結論 : 廣告與銷售量之間有著相關性 Critical Value(s): Reject Reject 這個 t 統計量的值 與斜率係數的檢定統計量值是相等的 .025 .025 3.1824

42 熊寶寶行銷範例 --3/3 斜率係數檢定 1. H0: b1 = 0 2. H1: b1≠ 0 3. a = .05
熊寶寶行銷範例 --3/3 斜率係數檢定 1. H0: b1 = 0 2. H1: b1≠ 0 3. a = .05 df = = 3 4. Critical Value(s): 5. 在Ho的Test Statistic: 6. Decision: 在 a = .05拒絕Ｈ0 結論:兩者之間存在著顯著的線性相關 109

43 線性相關的檢定例 – 1/3 Ｑ：店面大小是否會 影響年銷售量? Data for Seven Stores:
線性相關的檢定例 – 1/3 Data for Seven Stores: From Excel Printout Annual Store Square Sales Feet ($000) , ,681 , ,395 , ,653 , ,543 , ,318 , ,563 , ,760 Ｑ：店面大小是否會 影響年銷售量?

44 線性相關的檢定例 – 2/3 拒絕 H0 店面大小會影響銷售量
線性相關的檢定例 – 2/3 H0:  = 0 (No association) vs H1:   0 (Association)   df  = 5 拒絕 H0 Conclusion: 店面大小會影響銷售量 Critical Value(s): Reject Reject 這個 t 統計量的值 與斜率係數的檢定統計量值是相等的 .025 .025 2.5706

45 線性相關的檢定例 – 3/3 Test Statistic: H0: 1 = 0 Decision: H1: 1  0   .05
線性相關的檢定例 – 3/3 Test Statistic: Decision: Conclusion: H0: 1 = 0 H1: 1  0   .05 df  = 5 Critical Value(s): From Excel Printout 拒絕 H0 Reject Reject .025 .025 店面大小會影響銷售量 t 2.5706

46 回顧所學： 迴歸模型使用時的步驟 1. 事先決定反應變數與獨立變數間的模式 2. 估計模式的參數 模式中誤差項的機率分配之描述
1. 事先決定反應變數與獨立變數間的模式 2. 估計模式的參數 模式中誤差項的機率分配之描述 評估衡量所建立的迴歸模型 5. 利用模式做估計或預測工作 6. 線性相關分析

47 回顧所學 -- 例子 房價(y)和坪數(x)例子 1. 建立迴歸模式包括平均價格和誤差部分
2. 房價跳動部分，在不同坪數時皆相同(變異數相同) 3. 估計迴歸模式及評估房價和坪數之關係 知道房屋坪數，只能估計平均房價 個別特定房屋之房價，僅以預測區間估計

48 結論(一) 線性迴歸模型及假設條件的描述 假設(1). 常態 假設(2). 變異數為固定常數 假設(3). 誤差項之間相互獨立
假設(1). 常態 每一個Ｘ值所相對應的Y值，通常有許多值，這些值之間呈現的為常態分配 誤差項ei 的機率分配為常態 假設(2). 變異數為固定常數 誤差項的變異數為固定常數，通常命名為s2 假設(3). 誤差項之間相互獨立

49 結論(二) 2. 迴歸模型內各參數的估計(最小平方法) 迴歸直線預估方程式

50 結論(二) 變異數分析ANOVA表 ANOVA變異數分析表 3. 變異數分析表(ANOVA Table) df SS MS F
Significance F Regression 1 SSR MSR =SSR/1 MSR/MSE P-value of the F Test Residuals n-p-1 SSE MSE =SSE/(n-p-1) Total n-1 SST

51 結論(三) 3. 變異數分析表(ANOVA Table) SST = SSR + SSE df: n-1 = (1) + (n-p-1)
MSR = SSR/(1) ; MSE=SSE/(n-p-1) 檢定Ho: =0 vs Ha: 0 檢定統計量, F*=(MSReg/MSE) ~ F(1; n-p-1)

52 結論(四) 4. 線性迴歸模型之詮釋與應用 5. 殘差分析(residual analysis) ---- 評估是否合乎線性迴歸成立的假設
4. 線性迴歸模型之詮釋與應用 5. 殘差分析(residual analysis) ---- 評估是否合乎線性迴歸成立的假設 檢驗線性結構 殘差圖 ( e vs X) 驗證齊一性 -----『變異數是否一致』 Studentized殘差圖 ( SR vs X) 檢驗誤差項之間的獨立性 Durbin-Watson檢定

53 結論(五) 6. 迴歸斜率係數的檢定 以樣本斜率的抽樣分配為理論基礎 7. 反應變數(平均值, E(Yp|xp)的信賴區間

54 結論(六) 8. 單個觀測值, Yp, 的預測區間

55 結論(七) 9. 決定係數 R2 =SSR/SSE 10. 線性相關係數 11. 電腦報表的解讀

56 關於本課程... 請你靜下來想一想並回答下列問題: 1. 你此堂課學到的最重要的觀念為何? 2. 是否還有相關問題與疑問?
1. 你此堂課學到的最重要的觀念為何? 2. 是否還有相關問題與疑問? 3. 如何改善今後的學習? As a result of this class, you will be able to... 70