變異數分析 ANalysis Of VAriance ANOVA

Presentation on theme: "變異數分析 ANalysis Of VAriance ANOVA"— Presentation transcript:

1 變異數分析 ANalysis Of VAriance ANOVA
謝寶煖 台灣大學圖書資訊學系

2 自變數 依變數 統計分析方法 類別 交叉表 連續 t-test：1～2個樣本 ANOVA：2個(含)以上樣本 相關分析 迴歸分析

3 基本概念 ANOVA的目的 檢定平均數之間是否有顯著差異 (significant differences)
如果只比較兩組平均數，那麼ANOVA的結果和獨立樣本 t檢定（比較兩個不同群體）或是成對樣本t檢定（比較一組觀察值的兩個變數），是一樣的

4 T檢定可以用來檢驗兩個獨立樣本的平均數差異是否達到所謂的「顯著水準」。那麼，超過兩個以上的獨立樣本需要比較其間的平均數差異時，該如何進行呢？
兩兩比較 1923年R.A. Fisher創用了變異數分析（analysis of variance, ANOVA）來檢驗兩個以上獨立樣本的平均數間的差異情形是達到預設的顯著水準 是社會科學研究最常用的統計分析方法之一

5 您是怎麼泡茶的？ 牛奶加進茶裏？ 茶加進牛奶裏？

6 淑女與下午茶 「把茶倒進牛奶中」和「把牛奶倒進茶中」，喝起來是不一樣的？！
1920年代40歲的小鬍子Sir Ronald A. Fisher, （ ，英國統計學家）的實驗 The Design of Experiments, 1935 變異數分析(analysis of vairance)是在費雪的＜作物收成變化研究II＞論文(1942)中首次出現 3種不同的人工肥料 10種馬鈴薯 4塊土地/土壤 ＜作物收成變化研究IV＞共變分析(analysis of covariance)

7 為什麼叫ANOVA 明明是比較平均數的統計程序，為什麼要取名變異數分析（analysis of variance）
因為，事實上檢定平均數的統計顯著性時，我們真正比較（或分析）的是變異數（ variances ）

8 變異數的拆解 同時處理多個平均數的比較時，主要原理是將全體樣本在依變項的得分的變異情形，就「源自於自變項影響的變異」和「源自於誤差的變異」兩個部份分別計算。 也就是把總變異量拆解成自變項效果（組間效果）和誤差效果，兩個部份，再加以比較。

9 (2-4)2+ (3-4)2+ (1-4)2+ (6-4)2+ (7-4)2+ (5-4)2=28
Group 1 Group 2 Observation 1 Observation 2 Observation 3 2 3 1 6 7 5 Mean Sums of Squares (SS) 2 2 6 2 Overall Mean Total Sums of Squares  4 28 (2-2)2+ (3-2)2+ (1-2)2=2 (2-4)2+ (3-4)2+ (1-4)2+ (6-4)2+ (7-4)2+ (5-4)2=28 total SS (28) 可以分成兩部份 一為組內變異(within-group variability) (2+2=4) 二為平均數不同所造成的變異 (28-(2+2)=24). MAIN EFFECT SS  df  MS F p Effect Error 1 4 24.0   .008

10 SS Error and SS Effect the within-group variability (SS) is usually referred to as Error variance. This term denotes the fact that we cannot readily explain or account for it in the current design. the SS Effect we can explain. Namely, it is due to the differences in means between the groups. Put another way, group membership explains this variability because we know that it is due to the differences in means.

11 ANOVA comparison of the variance
between- groups variability (called Mean Square Effect, or MSeffect) within- group variability (called Mean Square Error, or Mserror) the null hypothesis：that there are no mean differences between groups in the population compare those two estimates of variance via the F test, which tests whether the ratio of the two variance estimates is significantly greater than 1.

12 T test vs. anova total variance T test: experiment or gender
Experimental Group 1 Experimental Group 2 Males     2 3 1 6 7 5 Mean 2 6 Females     4 5 3 8 9 7 4 8 total variance error (within-group) variability variability due to experimental group membership variability due to gender T test: experiment or gender Anova: experiment x gender interaction

13 Main effects, two-way interaction
Achievement- oriented Achievement- avoiders Challenging Test Easy Test 10 5 5 10 challenging tests make students work harder? achievement-oriented students work harder than achievement- avoiders? challenging tests make only achievement-oriented students work harder, while easy tests make only achievement- avoiders work harder Main Effects Interaction Effects

14 Higher order interactions
Females Achievement- oriented Achievement- avoiders Challenging Test Easy Test 10 5 5 10 Males 1 6 6 1

15

16

17

18

19

20

21

22

23

24 檢定平均數間之差異顯著性 因自變項（類別變項）和水準（level）的多寡，而有不同型式之平均數檢定 所謂「因子」指的是自變項

25 變異數分析家族 自變項的多寡（因子數） 如果研究者所關的是一個自變項（類別變項）對依變項平均數的影響時，所進行的是單因子變異數分析，不管該因子的內含水準有多少個，仍舊稱為單因子變異數分析（one way ANOVA） 如果研究者同時考慮兩個自變項（類別變項），檢定平均數的差異，則稱為二因子變異數分析（two way ANOVA） 如果研究者同時考慮多個自變項（類別變項），同時檢定多個平均數的差異，則稱為多因子變異數分析（factorial analysis of ANOVA）

26 變異數分析家族 樣本設計 獨立樣本 相依樣本

27 研究設計 自變項 變異數分析方法 單因子設計 one way ANOVA 二因子設計 two way ANOVA 完全獨立樣本 完全相依樣本
1個 One way ANOVA 相依樣本 (配對樣本或重複量數) 二因子設計 two way ANOVA 完全獨立樣本 2個 two way ANOVA 完全相依樣本 相依與獨立混合 1個獨立，1個相依 two way ANOVA mixed design

28 多因子變異數分析 研究設計 自變項 變異數分析方法 多因子設計 Factorial ANOVA 完全獨立樣本 完全相依樣本 相依與獨立混合
3個 3 way ANOVA 完全相依樣本 相依與獨立混合 多個獨立，1個相依 3 way ANOVA mixed design

29 共變分析 ANCOVA Analysis of Covariance
研究者控制某一個連續變項，去除第三變項的混淆效果，以了解自變項對特定連續變項的效果 同樣考慮 自變項多寡（類別變項） 單因子 多因子 樣本設計 獨立 相依

30 多因子共變設計 Factorial ANCOVA 完全獨立樣本 完全相依樣本 相依與獨立混合
研究設計 自變項 變異數分析方法 單因子共變設計 one way ANCOVA 獨立樣本 1個自變項 1個或多個共變項 One way ANCOVA 相依樣本 1個 (配對樣本或重複量數) 多因子共變設計 Factorial ANCOVA 完全獨立樣本 多個自變項 factorial ANCOVA 完全相依樣本 相依與獨立混合 factorial ANCOVA mixed design

31 多變量變異數分析，MANOVA Multivariate analysis of variance 依變項數目增加時
一個自變項（類別變項），單因子多變量分析 多個自變項（類別變項），多因子多變量分析

32 單因子多變量設計 one way MANOVA 獨立樣本 相依樣本 二因子多變量設計 two way MANOVA 完全獨立樣本
研究設計 自變項 變異數分析方法 單因子多變量設計 one way MANOVA 獨立樣本 1個 One way MANOVA 相依樣本 (配對樣本或重複量數) 二因子多變量設計 two way MANOVA 完全獨立樣本 2個 two way MANOVA 完全相依樣本

33 多因子多變量設計 Factorial MANOVA 完全獨立樣本 Factorial MANOVA 完全相依樣本
研究設計 自變項 變異數分析方法 多因子多變量設計 Factorial MANOVA 完全獨立樣本 3個 Factorial MANOVA 完全相依樣本

34 多變項共變分析 MANCOVA Multivariate Analysis of Covariance

35

36 單因子變異數分析 one-Way ANOVA

37 單因子變異數分析 檢定數個獨立群體之平均數是否相等的統計方法
單因子變異數分析（one-way ANOVA），是指只有一個自變項的變異數分析。 例如：利用web、 、DM三種廣告方法分析進行新產品的促銷，而分析三種廣告方法的差異（response rate） 廣告方法：自變項，操縱因素

38 例：甜甜圈在調理過程中，使用不同的食用油，是否會使甜甜圈吸收不等量的油脂？
食用油：花生油、葵花油、豬油（類別） 不飽和脂肪（花生油、葵花油） 飽和脂肪（豬油） 油脂吸收量（連續） 例2：不同學域的學生對資訊素養目標之看法（Q10） 學域：人文、社會、自然、工程、醫學（5 level 類別） 資訊素養目標（量尺 連續）

39 單因子變異數分析 變異數分析所檢驗的虛無假設是：所有樣本所來自之母群體之平均數都相等。
虛無假設: H0:1=2=3=……=k 對立假設： 1、2 、 3 、 …… 、 k 至少有一個不等 拒絕虛無假設，則表示對立假設可以成立，換句話說，至少有一個平均數是和其他平均數有顯著差異。至於顯著差異狀況到底存在於那些平均數之間，這是變異數分析完成之後，需要進一步進行事後追蹤的。

40 組間變異 vs. 組內變異 變異數分析的根據是將實驗處理中所獲得的資料的變異狀況，分為兩個來源 組間的變化 組內的變化
Variance between/among groups的 組間變異數：組與組之間有系統差異，是可以用實驗處理效果來解釋的 Web組與DM組對廣告效果的影響 組內的變化 Variance within groups 組內變異數：是個體之間的隨機差異，是與實驗處理無關的，而且事實上一定會存在的，即使完全沒有做任何實驗處理，隨機取樣所得到的組內單位個體之間仍然會有差異存在。 樣本組間變異數愈大大（相對於組內變異數），拒絕虛無假設的機率也愈高。所以變異數分析是利用樣本組間與組內的變異數的比值來做為拒絕虛無假設與否的根據。

41 Xij= +j+ij 每個觀察值Xij可分成3個來源 Xij ：在第j組內的第I個人的資料數值
j：是Xij所在j組的平均數與全體平均數之差異部份，即j= j- ,代表組與全體之間的平均數之差異量，一般通稱為特殊效果（special effect）或是實驗處理效果（ treatment effect），凡在該組內的個體都有接受到此項效果。但是，並不是所有接受到該組特殊效果的個體所得到的觀察值都完全相同，在同一組內的個體仍有實驗處理效果所無法完全解釋的個別差異因素存在，即為第3部分：

42 因此， Xij的總變異來源可以分割為兩部份：
ij：該組內的隨機個別差異，亦即Xij異於j的部份，即ij ＝ Xij － j 因此， Xij的總變異來源可以分割為兩部份： 各組平均數與總平均數之間的變異組內隨機差異的變異

43 單因子ANOVA的類型 獨立樣本 相依樣本 統計檢定時需考慮是否為平衡設計 平衡設計：各組觀察值均相等
例：web、 、DM各找100位受試者

44 ANOVA的假設 在線性模式中的ij為常態分配 各組之ij所來自之母群體中變異數均相等 殘差（residual ）分配
可用下列方式判斷殘差值是否為一常態分配中所得之樣本 將殘差值歸類，使用2適合度檢定 SAS PROC Univariate之plot和normal兩個選項 各組之ij所來自之母群體中變異數均相等 變異數同質性檢定

45 輕微至中等程度地違反常態分配假設並無顯著影響，但會影響統計檢定力。
在平衡設計中，變異數不同，也不會顯著影響統計推論 若樣本數目有顯著差別時，違反變異數同質性的檢定，對實驗處理結果會有重大的影響

46 單因子變異數分析 程序1 程序2 分析 比較平均數法單因子變異數分析(one-way ANOV) 單因子變異數分析
分析一般線性模式單變量 單因子變異數分析 ＋多因子變數分析、迴歸分析、共變量分析

47

48

49 上述ANOVA表顯示，檢定組別平均數之p-value=. 435，因此在=

50 學院 vs. 利用圖書館網站頻率 分析比較平均數單因子變數分析

51

52

53 變異數分析的每個組別都是取自常態母群體的獨立隨機樣本。雖然資料應該是對稱的，但是變異數分析不受偏離常態性的影響。但是各組別應該來自具相等變異數的母群體。若要檢定這個設設，可使用 Levene 的變異數同質性檢定。 顯著，表示變異數不同質，後續Post-hoc 檢定時，應選擇適當的分析程序

54 上述變異數分析表顯示，檢定組別平均數之F值為5. 192, p值為. 000，因此在顯著水準為. 05的情形下，顯著性為. 000＜
使用者的學院別對圖書館網站利用頻率有顯著差異(F=5.192, df=11, p<.001)

55 顯著檢視平均數，了解變異來源 Post-hoc test 變異數同質：假設相同的變異數 變異數不同質：未假設相同的變異數

56 Post-hoc test 當變異數分析，判斷平均數之間的確存有差異之後，post hoc 全距檢定和成對多重比較可以決定到底是那些平均數不一樣。 全距檢定：判斷那些是等值平均數的均勻子集 成對多重比較：檢定每對平均數之間的差異，並且產生一個矩陣。 該矩陣以星號代表顯著不同的組別平均數，其 alpha 水準為 .05。

57

58 Post-hoc多重比較檢定方法 Tukey Bonferroni t procedure Scheffe檢驗法 是最誠實顯著性差異檢定
僅適用於各組樣本數均相等時 Bonferroni t procedure 各組樣本數相等或不相等時，均可使用 又稱Dunn’s procedure Scheffe檢驗法 極端保守，一般咸信，只要經過Scheffe法檢驗出的顯著效果，這樣的效果一定存在。 社會科學的研究經常使用 由於此法極度保守（統計檢定力極低），一般僅在比較數目龐大時使用，若僅為二、三個平均數比較，使用Scheffe法來做檢驗並非明智之舉

59 Post-hoc多重比較檢定方法 Dunnett 事前比較法
研究目的是要將各種不同的實驗處理組與控制組做配對比較，例web、 、DM三種廣告方法和控制組，若欲將控制組以外的三種廣告方法兩兩比較

60

61 由事後檢定可知，文學院與社科院和管院有顯著差異，到底差在那裏呢？由描述性統計量可知，社科院和管院之平均數均比文院高，顯示社科院和管院學生利用圖書館網站頻率顯著高於文院。

62 平均數圖

63 ANOVA 平均數有顯著差異差在那裏（事後檢定組別） 差多少（描述性統計） 多組類別變數與連續變數之平均數差異
程序：分析比較平均數單因子變異數分析選項：描述性統計量＋變異數同質性檢定 顯著事後檢定 視變異數同質性顯著與否，選用不同檢定方法 界定顯著組別 顯著描述統計量之平均數顯著趨勢 平均數有顯著差異差在那裏（事後檢定組別） 差多少（描述性統計）

64 ANOVA結果呈現 如果只要呈現單一變項的分析，不需要製作統計表，只要在正文中說明平均數、標準差和ANOVA檢定結果即可。
One-way ANOVA同時檢定多項自變項時，始需製作表格 “Play It Safe” Table Degree of freedom Sums of squares Mean squares F ratios

65 Example 1 Independent variable Dependent variable 每組各40名員工
Coworker program:由同事上3天課，加上手冊 Consultant program：由外聘講師上3天課，加上手冊 Self-program：給手冊自學3天 Dependent variable Job performance：7點量表，由員工上司評分 每組各40名員工

66 表中畫底線的部分，應該用斜體

67

68

69 Example 2 Independent variable 每組各3000名員工 Dependent variable：7
Coworker program:由同事上3天課，加上手冊 Consultant program：由外聘上3天課，加上手冊 Self-program：給手冊自學3天 每組各3000名員工 Dependent variable：7 Job performance：7點量表，由員工上司評分 Organizational commitment Job commitment Job satisfaction Turnover intention Job stress Role ambiguity

70 先呈現平均數和標準差

71 彙整7項ANOVA檢定 是”Play It Safe” table

72 與前一張表之差異在：省略自由度一欄，與F值合併呈現
彙整7項ANOVA檢定 是”Play It Safe” table

73 結合描述性統計與ANOVA F ratios

74