Analysis of Variance (一)

Presentation on theme: "Analysis of Variance (一)"— Presentation transcript:

1 Analysis of Variance (一)
變異數分析(一) Analysis of Variance (一)

2 比較多個母體平均數 應用在實驗設計 如何分析
變異數分析 比較多個母體平均數 應用在實驗設計 如何分析

3 學習目標 1. 比較多母體的平均數(檢定) 解說變異數分析的原理 3. 變異數分析analysis of variance (ANOVA)
1. 比較多母體的平均數(檢定) 解說變異數分析的原理 3. 變異數分析analysis of variance (ANOVA) 4. 單因子的實驗設計 完全隨機設計(completely randomized design) 隨機完全區集設計(randomized complete block designs) 5. 無母數方法 Kruskal-Wallis rank test As a result of this class, you will be able to ...

4 例題 例一:某一產品以三種不同組合方式(A, B, C)以探討其組合完成時間(分鐘)是否有差異. 以隨機選取員工分派不同組合方式以完成最後產品,得下列實驗結果: A方式: 15, 18, 19, 21, 23, 26 B方式: 17, 18, 24, 20 C方式: 13, 10, 16, 11, 9 是否有証據顯示該三種組合方式之完成最後產品之時間不同？

5 例題(續) 例二:將商業區分為4大類後,收集30家商店本月的業績，以了解不同分類的業績是否有差異存在。
例三:隨機選取200位一至四年級的學生,記錄其個人學業總平均成績。比較四個年級學生的學業總平均是否有差異存在。

6 實驗設計與資料分析 實驗設計: 由研究者設定條件後, 執行實驗以觀察結果是否受該條件之影響
設定條件稱為「處理」方式(treatments) 同類型處理方式稱為一個「因子」(factor) 每因子內之處理方式亦稱為「水準」(levels) 資料分析:利用變異數分析檢定不同處理對實驗結果產生的差異或效應

7 各種實驗設計

8 實驗設計專有名詞 1. 實驗單位(experimental units/subjects)
2. 處理(treatments): 實驗中所設定或選取之條件 3. 控制因子(factors): 由數種處理或水準組成 4. 處理效應(effect): 每一種處理對實驗結果產生之影嚮 5. 觀測結果(observations)

9 實驗設計三原則 1. 隨機(randomization)取樣 2. 複製(replications)樣本 3. 區集(blocking)技巧
不同實驗模型,設計不同隨機方式取得樣本 2. 複製(replications)樣本 在相同處理下, 重複實驗以取得的重複樣本 3. 區集(blocking)技巧 在不同處理下選取同質性高之實驗單位 實驗中,僅處理方式不同外,其它因素無法影嚮實驗結果

10 完全隨機設計(Completely Randomized Design, CRD)
1. 一個實驗中,在多個不同處理下取得觀測結果,以比較多個處理效應是否異同 一種處理代表「一個母體」﹔實驗結果即為觀測值或樣本值 2. 以「完全隨機」方式決定實驗單位的處理方式 先決定各處理所需樣本數後, 再以隨機數字表, 決定每次實驗將使用之處理方式

11 CRD設計方式 1. 和比較多個母體平均數之觀念及分析方法皆相同 2. 實驗結果之分析方式可稱為單因子(或one-way)ANOVA
一個母體等於一個處理方式 不同母體皆具相同變異情形(homogeneous) 每一母體下, 重複實驗選取隨機樣本 2. 實驗結果之分析方式可稱為單因子(或one-way)ANOVA

12 例題: 完全隨機設計 Are the mean training times the same for 3 different methods? 9 subjects 3 methods (factor levels) K K K K K K K K K 78

13 完全隨機設計 單因子變異數分析 CRD One-Way ANOVA
9 17

14 比較多個母體統計思考方式 1. 比較多個母體之異同 2. 比較多個平均數之異同 3. 評估多個平均數之間之變異情形
4. 若變異量趨近於零，則代表平均數可能相同(Ho:平均數全等) 5. 若變異量愈大，則代表至少一個平均數可能不相同(Ha:至少一個平均數不等)

15 CRD統計理論 yij代表觀測值必須是連續變數 yij = µj + Ij 1. 模式(model) ﹕
任何觀測值 = (特定母體平均值 + 誤差值) yij = µj + Ij (樣本數 i=1, …,n j ﹔母體樣本數 j=1, …, c) 或者 yij = (µ + j)+ ij 模式中有c個參數須要估計

16 CRD統計理論(續一) ij ~ N(0, 2) ， ij independent ij 2. 假設條件(assumptions)﹕
各母體的變異數2皆相等(homogeneity) 誤差項為常態機率分配,期望值為0 ﹔誤差值之間獨立 ij ~ N(0, 2) ， ij independent ij 2須要估計 誤差項以上的假設條件, 必須正式以統計量檢定, 或以殘差分析檢查其是否符合

17 CRD統計理論(續二) 或者 Ho ﹕ µ1 = µ2 = … = µc v.s. Ha ﹕ 至少有一個µ j不同
3. 目的﹕檢定不同處理對實驗結果的差異或效應 Ho ﹕ µ1 = µ2 = … = µc v.s Ha ﹕ 至少有一個µ j不同 或者 Ho ﹕ 1 = 2 = … = c = 0 v.s. Ha ﹕ 至少有一個 j不同 4. 以變異數分析來檢定Ho (用F-表，又稱F檢定)

18 CRD統計理論(續三) (No Treatment Effect)
The Null Hypothesis is True

19 CRD統計理論(續四) (Treatment Effect)
The Null Hypothesis is NOT True

20 變異數分析 (ANOVA)探討 1. 變異量(sum of squares, SS)和自由度(degrees of freedom, df)
藉由樣本變異數 s2 =  ( yij - y )2 / (n-1) = SS / (n-1) 來了解 分子項SS代表數據的變異程度, 必為正值(>0), SS愈大表示該組數據之間差異愈大 分母項自由度為樣本數減1, df = (n-1) s2 =SS / df 亦稱均方(mean square, MS)代表平均變異,其意義和SS相似

21 變異數分析(ANOVA)探討(續一) 2. 總變異量(SSTotal)
先由a個母體皆相同(即是Ho)時來看, 所有樣本(N)觀測值的總變異量SS (n-1)為總變異量SS的自用度, df=(n-1) 在單因子ANOVA中, 總變異量由整體隨機樣本(n)的抽樣變異所形成

22 變異數分析(ANOVA)探討(續二) 3. 總變異量的切割 總變異量公式 總變異量 = 處理間變異量 + 處理內變異量
SSTotal =   ( yij - y )2, df=(n-1) 總變異量 = 處理間變異量 + 處理內變異量 總變異量 = 母體平均數之間變異量 + 誤差項變異量 上面式子也可以代數公式表示

23 變異數分析(ANOVA)探討(續三) 4. 處理間變異量(SSBetween) ﹕母體平均數之間變異量，其自由度=(c-1)
SSBetween = SSB = SS(Trt) = SSModel MS(Trt) = [SS(Trt)] / (c-1)﹔均方(mean of squares) [SS(Trt )]/ 2 = [(c-1)MS(Trt)]/ 2 為卡方分配(df=c-1) 若母體平均數之間變異愈大，則至少有一個平均數不同

24 變異數分析探討(續四) 5. 處理內變異量(SSWithin, SSW, SSE) ﹕
評估屬於每個母體內或誤差項之變異量(SS)，其自由度=(n-c) SSE = [SSE1+SSE2+…+SSEc] / (n-c) MSE = MSW = SSE / (n-c) MSE為母體或誤差項變異數(2)之估計值 SSE / 2 為卡方分配(df=n-c)

25 變異數分析探討(續五) 6. F* = MS(trt) / MSE 為 F分配(df1=c-1, df2=n-c)
F* 中分子項MS(trt) 值愈大,F* 愈大(位在F曲線右尾) 7. F分配之曲線為向右傾斜, F*值愈大發生機率愈小. RR區域在F曲線右尾 8. F*值愈大愈容易落在RR, 則可拒絕Ho

26 單因子變異數分析Ｆ-檢定 One-Way ANOVA F-Test
9 17

27 單因子ANOVA的不同形式敘述 1. 一個觀測值只棣屬於一個母體 2. 檢定多個母體的平均數是否均相等 或者
3. 檢定多個處理的效應是否皆相等 4. 一個觀測值只受到一種處理方式的影嚮 Note: There is one dependent variable in the ANOVA model. MANOVA has more than one dependent variable. Ask, what are nominal & interval scales?

28 合於使用一因子變異數分析Ｆ-檢定的情況 1. 常態假設 (normality) 2. 變異數為同質（homogeneity）
各母體均為常態分配 2. 變異數為同質（homogeneity） 各母體的變異數皆相等 3. 觀測值及誤差項為隨機且獨立的 隨機樣本抽選時亦為獨立

29 單因子變異數分析之檢定假設 H0: m1 = m2 = m3 = ... = mc Ha:母體平均數並不全等 f(X) X m = m =
所有母體平均數均相等 即各處理並無影響(或效應相同) Ha:母體平均數並不全等 至少有一母體平均數有差異 處理之間有差異(處理效應不同) m1 = m2= …= mc 是錯的 f(X) X m = m = m 1 2 3 f(X) X m = m m 1 2 3

30 看圖了解變異數分析的原理 A B 組內變異不同 組間變異不同 可能得到母體平均數均相等的結論! 上下兩組處理間產生不同的變異
但上下兩組各母體內變異相同同 上下兩組處理間產生相同的變異 但上下兩組各母體內變異不同 A B In all cases, the population means are DIFFERENT! Should reject Ho. Panel A: Same treatment effect - means are equal. Different random variation - standard deviations are different. As variances WITHIN get bigger, we are more likely to conclude equal means. In Populations 4, 5, & 6, it is possible to draw a sample and falsely conclude population means are equal. Panel B: Different treatment effect - means are different. Same random variation - standard deviations are equal. As variances AMONG get bigger, we are more likely to conclude population means are different. In Populations 4,5, & 6, it is possible to draw a sample and falsely conclude population means are equal. 組內變異不同 組間變異不同 可能得到母體平均數均相等的結論! 82

31 使用變異數分析的原理 2. 以兩個變異數的比率值為檢定基礎
1. 比較組內變異與組與組間變異的情形以檢定各母體平均數是否相等 2. 以兩個變異數的比率值為檢定基礎 3. 若是組間變異量相當程度大於> 組內的變異量則得到各母體平均數不可能相等 組間變異量與組內變異量可由總變異量分割而得 總變異量﹦組間變異量＋組內變異量 (n-1) = (c-1) (n-c)

32 單因子變異數分析： 總變異量的切割 總變異量 因為組間平均數差異產生的變異量 因為組內隨機樣本誤差產生的變異量
Variation due to Random Sampling are due to Individual Differences Within Groups. 因為組間平均數差異產生的變異量 因為組內隨機樣本誤差產生的變異量 Sum of squares treatment Sum of squares among Sum of squares between Among groups variation Sum of squares error Sum of squares within Within groups variation 89

33 總變異

34 總變異量之公式與圖解 反應, X `X 總樣本平均 X11 第一組 第二組 第三組

35 組間（處理與處理之間）之變異量 Variation Due to Differences Among Groups

36 組間（處理與處理之間）之變異量 反應值(X) `X3 (各組的平均值對總平均產生)的差異平方 `X `X2 `X1 第一組 第二組 第三組

37 組內 (隨機誤差、模型後誤差)變異量 Summing the variation within each group and then adding over all groups.

38 組內 (隨機誤差、模型後誤差)變異量 反應, X 個別觀察值相較所屬組平均數差異平方和 `X3 `X2 `X1 第一組 第二組 第三組

39 組內 (隨機誤差、模型後誤差)變異量 (continued) For c = 2, this is the pooled-variance in the t-Test. If more than 2 groups, use F Test. For 2 groups, use t-Test. F Test more limited.

40 單因子 ANOVA的 F-檢定統計 1. 檢定統計Test statistic 2. 所對應的自由度Degrees of freedom
F = MS(Trt) / MSE MS(Trt) =SS (Trt) / n1 組間變異量除以其自由度的平均 MSE = SSE / n2 組內變異量除以其自由度的平均 2. 所對應的自由度Degrees of freedom n1 = c -1 n2 = n - c c = 組數；母體個數(處理個數/水準數/群數/組數) n = 所有的樣本數；總樣本數

41 建立ANOVA 表 Source of Degrees Sum of Mean F Variation 來源 of Squares 平方和
Freedom 均方和 n = sum of sample sizes of all populations. c = number of factor levels All values are positive. Why? (squared terms) Degrees of Freedom & Sum of Squares are additive; Mean Square is NOT. Treatment 組間；處理 c - 1 SSA MSA = MSA/ SSA/(c - 1) MSE Error 誤差；組內 n -c SSE MSE = SSE/(n - c) Total 總和 n - 1 SS(Total) = SSA+SSE

42 總是使用單尾檢定呦Always One-Tail!
F-檢定 統計量之臨界值 若是各處理母體間平均數差異大, 則F = MST / MSE » 1. Reject H a Do Not Reject H F F a ( p - 1 , n - p ) 總是使用單尾檢定呦Always One-Tail!

43 例題一﹕單因子 ANOVA 你是生產管理經理，欲知道三台機器的產品裝箱平均時間是否有差異。因此你抽選了具相同訓練及經驗的操作員，並隨機指定至此三台機器；每台五人。並測試得到了下列的裝箱時間。 以顯著水準.05 ，檢定三台機器的裝箱平均時間是否有差異? Mach1 Mach2 Mach

44 例題一﹕單因子 ANOVA Machine1 Machine2 Machine Time in Seconds 27 26 25 24 23 22 21 20 19 • • • • • • • • • • • • • • •

45 例題一﹕單因子 ANOVA Machine1 Machine2 Machine

46 例題一﹕建立ＡＮＯＶＡ表 Source of Degrees of Sum of Mean F Variation Freedom
Squares Square (Variance) Treatment 3 - 1 = 2 25.60 (Machines) Error = 12 .9211 Total = 14 電腦報表From Computer

47 例題一﹕F-檢定平均數相等 F MSA 23.528 F* = = = 25 . 6 MSE . 9211
1. H0: m1 = m2 = m3 2. Ha: Not all equal 3. a = .05 4. n1 = 2 n2 = 12 Critical Value(s): 5. 在Ho下, test statistic: 6. Decision: Conclusion: MSA 23.528 F* = = = 25 . 6 MSE . 9211 在 a = .05下 拒絕Ｈo a = .05 有充分證據顯示三台機器裝箱平均時間至少一台不等 F 3.89

48 利用 EXCEL求解 Use tools | data analysis | ANOVA: single factor
EXCEL worksheet that performs the one-factor ANOVA of the example

49

50

51 例題二﹕單因子 ANOVA 你是銘傳軟體公司的教育訓練主管，為比較四種不同訓練方式所需平均時間的差異性。隨機抽選了情況相近的12位員工，並測得各時間如下： 試以顯著水準a =.05檢定之。 M1 M2 M3 M You assign randomly 3 people to each method, making sure that they are similar in intelligence etc. Alone Group Class

52 利用 EXCEL求解 Use tools | data analysis | ANOVA: single factor
EXCEL worksheet that performs the one-factor ANOVA of the example

53

54

55 例題二﹕建立ＡＮＯＶＡ表 Source of Degrees of Sum of Mean F Variation Freedom
Squares Square (Variance) Treatment 4 - 1 = 3 348 116 11.6 (Methods) Error = 8 80 10 Total = 11 428

56 例題二﹕F-檢定平均數相等 F MSA 116 F* = = = 11 . 6 MSE 10
1. H0: m1 = m2 = m3 = m4 2. Ha: Not all equal 3. a = .05 n1 = n2 = 8 4. Critical Value(s): 5. 在Ho之檢定統計值: 6. Decision: Conclusion: MSA 116 F* = = = 11 . 6 MSE 10 在 a = .05下 拒絕Ｈo a = .05 有充分證據顯示四種訓練方式平均時間至少一種有差異 F 4.07

57 配對平均數的多重比較Tukey-Kramer 多重比較
1. 經ANOVA分析後，拒絕平均數全等的假設 2. 多重比較 (multiple comparisons) 例如: (m1 = m2)≠ m3 3. 常用方法: Bonferroni, Tukey, Scheffé. 2 Groupings 105

58 例題一﹕單因子 ANOVA (續) 你是生產管理經理，欲知道三台機器的產品裝箱平均時間是否有差異。因此三台機器；每台五人。並測試你抽選了具相同訓練及經驗的操作員，並隨機指定至此得到了下列的裝箱時間。 以顯著水準.05 ，檢定三台機器的裝箱平均時間是否有差異?如果有差異請指出何者機器最佳? Mach1 Mach2 Mach

59 Tukey-Kramer 多重比較過程: 例題一
1. Compute absolute mean differences: Machine1 Machine2 Machine 2. Compute critical range: 3. All of the absolute mean differences are greater. There is a significant difference between each pair of means at 5% level of significance.

60 隨機完全區集設計(RCBD) Items are divided into blocks
Individual items in different samples are matched Or repeated measurements are taken Reduced within group variation (i.e.: Remove the effect of block before testing) Response of each treatment group is obtained

61 隨機完全區集設計(RCBD) 例題          因子(訓練方法) 因子水準 區集 大一 大二 大三 觀察值 大一
區集 大一 大二 大三 觀察值 大一 21 hrs 17 hrs 31 hrs 27 hrs 25 hrs 28 hrs 29 hrs 20 hrs 22 hrs         

62 隨機完全區集設計(RCBD) (變異分解)
處理因子變異 SSA Commonly referred to as: Sum of Squares Among Among Groups Variation + 區集因子變異 SSBL Commonly referred to as: Sum of Squares among Block 總變異 SST = + Commonly referred to as: Sum of squares error Sum of squares unexplained 誤差變異 (無法解釋之因素) SSE

63 總變異

64 處理因子之變異

65 區集因子之變異

66 誤差之變異

67 RCBD之F-檢定 Test Statistic Degrees of Freedom No treatment effect Reject


68 RCBD之變異數分析表 變異來源 自由度 平方和 均方 Ｆ-檢定量 處理 區集 誤差 總和 c – 1 SSA
MSA = SSA/(c – 1) MSA/ MSE 區集 r – 1 SSBL MSBL = SSBL/(r – 1) MSBL/ MSE 誤差 (r – 1) (c – 1) SSE MSE = SSE/[(r – 1)(c– 1)] 總和 rc – 1 SST

69 例題一﹕RCBD之 ANOVA分析 你是生產管理經理，欲知道三台機器的產品裝箱平均時間是否有差異。因此你抽選了五個不同經驗的操作員，並隨機超做此三台機器；並測試得到了下列的裝箱時間。 以顯著水準.05 ，檢定三台機器的裝箱平均時間是否有差異?如果有差異哪一台機器較佳? 人　Mach1　 Mach2　Mach3 一　25.40 　　23.40　 二　26.31 　　21.80　 三　24.10 　　23.50　 四　23.74 　　22.75　 五　25.10 　　21.60　20.40

70 例題一﹕RCBD之 計算 Machine1 Machine2 Machine

71 例題一﹕RCBD之 ANOVA分析表 變異來源 自由度 平方和 均方 F Statistic 處理 區集 誤差 總和 2
SSA= MSA = 23.582/1.0503=22.452 區集 4 SSBL= MSBL = .6627 .6627/1.0503 =.6039 誤差 8 SSE= MSE = 1.0503 總和 14 SST=

72 例題一﹕RCBD 處理因子水準之檢定 F MSA 23 . 582 F    22.45 MSE 1.0503
Test Statistic: Decision: Conclusion: H0: 1 = 2 = 3 H1: Not All Equal  = .05 df1= df2 = 8 Critical Value(s): MSA 23 . 582 F    22.45 MSE 1.0503 Reject at  = 0.05  = 0.05 There is evidence that at least one  i differs from the rest. F 4.46

73 RCBD的 Excel求解 Tools | data analysis | ANOVA: two factor without replication Example solution in excel spreadsheet

74

75

76 Tukey-Kramer 多重比較程序: 例題一
1. Compute absolute mean differences: Machine1 Machine2 Machine 2. Compute Critical Range: 3. All of the absolute mean differences are greater. There is a significant difference between each pair of means at 5% level of significance.

77 Tukey-Kramer 多重比較 利用 PHStat
PHStat | c-sample tests | Tukey-Kramer procedure … Example in excel spreadsheet

78

79 ＣRD與RCBD 之關係 CRD SST=SSA+SSE(CRD) RCBD SST=SSA+SSBL+SSE(RCBD)
SSE(CRD)=SSBL+SSE(RCBD) RCBD將區集因子的變異從CRD的誤差變中分解出來 RCBD的誤差變異永遠比CRD為小

80 無母數方法 Kruskal-Wallis Rank Test
Extension of Wilcoxon Rank-Sum Test Tests the equality of more than two (c) population medians Distribution-free test procedure Used to analyze completely randomized experimental designs Use 2 distribution to approximate if each sample group size nj > 5 df = c – 1

81 K-W Rank Test之假設與穩健性 Assumptions
Independent random samples are drawn Continuous dependent variable Data may be ranked both within and among samples Populations have same variability Populations have same shape Robust with regard to last two conditions Use F test in completely randomized designs and when the more stringent assumptions hold

82 K-W Rank Test之方法 Obtain ranks
In event of a tie, each of the tied values gets its average rank Add the ranks for data from each of the c groups Square to obtain tj2

83 K-W Rank Test之方法(續) Compute test statistic
(continued) Compute test statistic # Of observation in j –th sample H may be approximated by chi-square distribution with df = c –1 when each nj >5

84 K-W Rank Test之方法(續) Critical value for a given a Decision rule
Upper tail Decision rule Reject H0: M1 = M2 = ••• = mc if test statistic H > Otherwise do not reject H0

85 例題一﹕ K-W Rank Test 你是生產管理經理，欲知道三台機器的產品裝箱平均時間是否有差異。因此你抽選了具相同訓練及經驗的操作員，並隨機指定至此三台機器；每台五人。並測試得到了下列的裝箱時間。 以顯著水準.05 ，檢定三台機器的裝箱平均時間是否有差異? Mach1 Mach2 Mach

86 例題解: 第一步 求 Ranks Raw Data Ranks
Machine1 Machine2 Machine Machine1 Machine2 Machine 65 38 17

87 例題解: 第二步 求 H 值

88 例題解: 第三步 中位數之檢定 Decision: Conclusion: Test Statistic: H0: M1 = M2 = M3
H1: Not all equal  = .05 df = c - 1 = = 2 Critical Value(s): Test Statistic: H = 11.58 Decision: Reject at  = .05 Conclusion:  = .05 有證據證明三種機器的組裝時間是有差異的.

89 K-W Test 利用PHStat求解 PHStat | c-sample tests | Kruskal-Wallis rank sum test … Example solution in excel spreadsheet

90

91

92 結論 1. 描述變異數分析analysis of variance (ANOVA) 2. 解說變異數分析的原理 3. 比較各種的實驗設計
2. 解說變異數分析的原理 3. 比較各種的實驗設計 4. 多母體平均數的比較與檢定 完全隨機設計Completely randomized design 隨機完全區集設計randomized complete block design Kruskal-Wallis rank test

93 關於本課程... 請你靜下來想一想並回答下列問題: 1. 你此堂課學到的最重要的觀念為何? 2. 是否還有相關問題與疑問?
1. 你此堂課學到的最重要的觀念為何? 2. 是否還有相關問題與疑問? 3. 如何改善今後的學習? As a result of this class, you will be able to... 70