Download presentation
Presentation is loading. Please wait.
1
簡單迴歸分析與相關分析 莊文忠 副教授 世新大學行政管理學系 計量分析一(莊文忠副教授) 2019/8/3
2
課程大綱 簡單迴歸分析(simple regression analysis)的基 本概念
迴歸係數(regression coefficients)的估計 簡單迴歸分析模型的判斷 相關分析(Correlation Analysis) 計量分析一(莊文忠副教授) 2019/8/3
3
簡單迴歸分析的基本概念 計量分析一(莊文忠副教授) 2019/8/3
4
函數關係與統計關係 函數關係(functional relationship)—是真實關係, 自然存在的,不會有誤差。但在人文社會科學 中,此種關係很難找到。 Y=a+bX 統計關係(statistical relationship)—以人為的方式來 製造X和Y之間的關係,再加上誤差項做為下台 階,因此,它只是一個模型,不一定能解釋所 有的情形。另一方面,除了X影響Y之外,Y本 身也有些固有的變異性,即非X所能解釋的部 分。 Y=f(X)+error 計量分析一(莊文忠副教授) 2019/8/3
5
函數關係(functional relationship)
計量分析一(莊文忠副教授) 2019/8/3
6
統計關係(statistical relationship)
計量分析一(莊文忠副教授) 2019/8/3
7
簡單迴歸分析的意涵 Data: Y是數量的依變數 X是數量的自變數 三個重要的問題:
1.Is there an association? (test of independence) 2.How strong is the association? (uses correlation) 3.How can we describe the nature of the relationship, e.g., by using x to predict y? (regression equation, residuals) 線性函數(linear function):Y = + x e.g., Y = 3 + 2X, Y = X 計量分析一(莊文忠副教授) 2019/8/3
8
簡單迴歸分析的意涵 截距(intercept):當X=0時,Y的數值 斜率(slope):X每增加一個單位,Y的平均數改變量
1.if > 0, then Y increases as X increases, the relationship between Y and X is positive(正相關). 2.if < 0, then Y decreases as X increases, the relationship between Y and X is negative (負相關).. 3. if = 0, the value of Y is constant and does not vary as X varies, the relationship between Y and X is independence(獨 立無關). 計量分析一(莊文忠副教授) 2019/8/3
9
簡單迴歸分析的意涵 計量分析一(莊文忠副教授) 2019/8/3
10
簡單迴歸模型的基本假設 計量分析一(莊文忠副教授) 2019/8/3
11
散布圖(Scatterplot) It provide a visual check of whether a relationship is approximately linear. When the relationship seems highly nonlinear, it is not sensible to use a straight line model. 計量分析一(莊文忠副教授) 2019/8/3
12
極端值(outliers)的影響 An observation is called influential(影響值) if removing it results in a large change in the prediction equation. Unless the sample size is large, an observation can have a strong influence on the slope if its x-value is low or high compared to the rest of the data and if it is a regression outlier. Example : murder rate and poverty rate Example : murder rate and poverty rate (without D.C) 計量分析一(莊文忠副教授) 2019/8/3
13
迴歸係數的估計 計量分析一(莊文忠副教授) 2019/8/3
14
估計、和σ2 利用 估計 最小平方法(least squares estimate, LSE)
利用 估計 最小平方法(least squares estimate, LSE) 最小平方迴歸線(the least-squares regression line): 計量分析一(莊文忠副教授) 2019/8/3
15
例子:求最佳的迴歸線 i 1 2 3 4 Xi 6 Yi 計量分析一(莊文忠副教授) 2019/8/3
16
最小平方法(LSE)的意涵 是「最佳線性無偏估計」(Best Linear Unbiased Estimate, BLUE)
Linear—因為和都是Y的線性函數。 Unbiased—E(a)=,E(b)=β,E(MSE)=σ2。 Best—因為var(a)、var(b)、及 都是最小。 計量分析一(莊文忠副教授) 2019/8/3
17
迴歸模型中的餘值(residuals) 迴歸線代表著以X分數來預測Y分數時我 們最佳的估計。除非X與Y之間的關係是 屬於完全關係,要不然大部分真確的Y值 都不會落在迴歸線上。 當變項間的關係是屬於不完全關係時, 便需要測量預測誤差。如果預測的誤差 非常小,則我們便可接受此預測,並據 之以做決策。 餘值ei為Yi偏離估計值的程度 計量分析一(莊文忠副教授) 2019/8/3
18
利用最小平方法(LSE)估計餘值 1. 2. 3. 4. 計量分析一(莊文忠副教授) 2019/8/3
19
測量相關性的四個要素 A summary measure of prediction error for each rule, E1 for errors by rule 1 and E2 for errors by rule 2. The difference in the amount of error with the two rules is E1 - E2. Converting this reduction in error to a proportion provides the definition 計量分析一(莊文忠副教授) 2019/8/3
20
預測誤差 When we predict y without using x, best predictor is sample mean of y, and summary measure of prediction error is total sum of squares When we use x in the prediction equation to predict y, a summary measure of prediction error is sum of squared errors Predictions using x get “better” as SSE decreases relative to SST. 計量分析一(莊文忠副教授) 2019/8/3
21
預測誤差 計量分析一(莊文忠副教授) 2019/8/3
22
變異數分析(Analysis of Variance)
總變異量(Total Sum of Squares) 總誤差量(Sum of Squares Errors) 迴歸解釋量 自由度 n-1 = n-2 計量分析一(莊文忠副教授) 2019/8/3
23
判定係數(r2) The proportional reduction in error in using x to predict y (via the prediction equation) instead of using sample mean of y to predict y is i.e., the proportional reduction in error equals the square of the correlation! This measure is sometimes called the coefficient of determination(判定係數), but more commonly just “r- squared”. 計量分析一(莊文忠副教授) 2019/8/3
24
判定係數(r2)的特性 Since -1 ≤ r ≤ +1, 0 ≤ r2 ≤ 1.
Minimum possible SSE = 0, in which case r2 = 1 and all sample points fall exactly on prediction line. There is no prediction error using x to predict y. If b = 0, then , so and so TSS = SSE and r2 = 0. r2 measure the strength of linear association. The closer r2 is to 1, the stronger the linear association. r2 does not depend on units, or distinction between x, y. 計量分析一(莊文忠副教授) 2019/8/3
25
例:預測「家庭」使用信用卡數 ID 家庭的信用卡數 (Yi) 家庭成員數 (X1) 家庭收入(千美元) (X2) 家庭汽車數 (X3) 1
4 2 14 6 16 3 7 17 5 8 18 21 10 25 計量分析一(莊文忠副教授) 2019/8/3
26
簡單迴歸分析模型的判斷 計量分析一(莊文忠副教授) 2019/8/3
27
判定係數(coefficient of determination)
計量分析一(莊文忠副教授) 2019/8/3
28
a和b的推論 估計所得的a和b必須經過統計檢定才能決 定是否可以接受,即檢定截距和斜率是 否為0。 H0:b=0 (X對Y無直線性影響)
在σ2已知的情況下,用Z分配來檢定 在σ2未知的情況下,用t分配來檢定 計量分析一(莊文忠副教授) 2019/8/3
29
標準迴歸係數(Beta) 每增加一個標準差單位的X,E(Y)改變的 標準差單位量。
在複迴歸中,標準迴歸係數Bk可能落在±1 之外,但大於1的機會很小,超過1者即表 示該變數有高度的解釋力。 在複迴歸中,r稱之為「複相關」,指Y和 所有X的相關程度,但意義不大。 計量分析一(莊文忠副教授) 2019/8/3
30
迴歸模型的適合度(fitness) X與Y是否呈線性; 每個等級之εi的變異數是否相等; 利用餘值對X畫圖,圖形的分布愈亂愈好;
迴歸模型用在預測上非常實用,主要是 找出E(Yi)的上下限區間,可以根據來判斷 指標的優劣;但若用在解釋或推論上, 主要是估計β的大小,此時必須做許多假 設,判斷模型時除了考慮r2外,尚必須估 計σ2 ,如果σ2太大,模型就會有問題。 計量分析一(莊文忠副教授) 2019/8/3
31
迴歸分析在現實世界的不適用性 基本假設太多,很難有完全符合條件的資料。
迴歸分析是利用a和b估計和β,而在社會科學 中, 的推論並不重要,因為X=0可能不存在 或無意義(如身高),重要的是用b推估β,若b的 穩定性很差時,表示σ2很大。但在自然科學中, X=0可能是有意義的,為0或負值都可能還是有 意義的。 證明b不為0時,僅表示X和Y相關,不表示二者 有因果關係存在。 計量分析一(莊文忠副教授) 2019/8/3
32
相關分析(Correlation Analysis)
計量分析一(莊文忠副教授) 2019/8/3
33
相關分析的目的 假如變項間是相關,則他們其中之一變 可能是引發另外一個變項的「原因」。
評估一項測驗工具的「再測信度」。再 測信度意味著重複實施一項測驗,其間 分數的一致性即稱之再測信度。 計量分析一(莊文忠副教授) 2019/8/3
34
什麼是「相關」? 線性關係(liner relationship):是指兩變項間 的關係,大部分可以一條直線準確地來 加以說明。
Y= a + bX a=截距(當X= 0,Y的值) b=斜率= 變項的相關包括關係的方向及程度。方 向指的是變項間是正向關係或負向關係; 關係的程度則是指關係的大小及強度, 從關係不存在到完全關係。 計量分析一(莊文忠副教授) 2019/8/3
35
相關的類型 正向關係(positive relationship)與負向關係(negative relationship):
1.正向關係乃是指變項間具有直接的關係,斜率 是正數。 2.負向關係是指X變項與Y變項間具有反向的關 係,斜率成負數。 完全關係(perfect relationship)與不完全關係 (imperfect relationship) 1.完全關係:不論是正相關或負相關,只要所有 的點都落在一直線上便稱之為完全關係。 2.不完全關係乃是一種關係,但並非所有的點都 落在同一條直線上。 計量分析一(莊文忠副教授) 2019/8/3
36
Person’s積差相關係數 變項間經常都是使用不同的尺度及單位來測量, 但相關係數大小及方向計算不受到變項間所使 用不同測量尺度及測量單位影響。因Person’s 相關係數變是使用Z分數計算。 所以,改變X或Y的測量單位,不會改變X和Y的 相關係數。 公式: 計量分析一(莊文忠副教授) 2019/8/3
37
例子:計算X和Y的相關係數 個案 X Y X2 Y2 XY A 1 2 4 B 3 5 9 25 15 C 16 12 D 6 7 36
49 42 E 35 Σ=21 Σ=22 Σ=111 Σ=112 Σ=106 計量分析一(莊文忠副教授) 2019/8/3
38
相關係數的特性(Properties) 相關係數也可被解釋成以X來說明Y變異量的程 度。
X和Y在座標軸上交換位置(即X換到Y軸,Y換到 X軸),不會改變相關係數的大小。換言之,相 關係數不會受自變數或依變數性質的影響。 缺點: 1.相關係數會受到兩個變數的極端值所影響。 2.相關係數僅能描述兩個變數的直線關聯程度, 對二次型以上的關係無能為力。 計量分析一(莊文忠副教授) 2019/8/3
39
變項之間相關的四種可能解釋 X變項與Y變項間的關係是虛假的; X變項是Y變項的因; Y變項是X變項的因;
計量分析一(莊文忠副教授) 2019/8/3
40
迴歸係數與相關係數的關係 假設我們以迴歸線上的每個X分數來預測 Y分數 總變異量=預測誤差的變異數量+ 以X來解釋Y的變異量
總變異量=預測誤差的變異數量+ 以X來解釋Y的變異量 如果X與Y的關係愈強,預測誤差的變異 量將越小。即 將變小。 計量分析一(莊文忠副教授) 2019/8/3
41
迴歸係數與相關係數的關係 乃是X與Y之間關係強度的 一種測量。假如將上式開根號,並以適 當值代換 ,便可以得到相關係數r的計算 公式
r越大,代表以X來解釋Y的變異量佔總變 異量的比例越大。 計量分析一(莊文忠副教授) 2019/8/3
42
Example: 不同方向與程度的相關 計量分析一(莊文忠副教授) 2019/8/3
43
解釋相關係數應注意 相關係數(γ)與樣本大小有密切關係—當樣本數 小時,相關係數的絕對值必須要很大,才能達 到統計上的顯著。
有相關並不表示一定有因果關係—相關只是說 明兩個變數之間關聯的情形,有可能兩變數均 是共同的「因」或者共同的「果」,而不存在 因果關係。 判定係數(r2)為相關係數(γ)的平方和,是A變數 和B變數兩者交集之比率部分,代表由此一變數 來決定或預測之變異量中所占之比例。(1-r2)為 「未判定係數」(coefficient of nondetermination), 代表不能由此一變數來決定或預測之變異量所 佔之比率。 計量分析一(莊文忠副教授) 2019/8/3
44
提問與心得分享 計量分析一(莊文忠副教授) 2019/8/3
Similar presentations