Analysis of Variance (二)

Presentation on theme: "Analysis of Variance (二)"— Presentation transcript:

1 Analysis of Variance (二)
變異數分析(二) Analysis of Variance (二)

2 學習目標 1. 因子實驗設計(factorial design) 2. 解說因子間的交互作用項
2. 解說因子間的交互作用項 3. 兩因子變異數分析analysis of variance (ANOVA) 4. ANOVA假設之檢驗 常態分配之檢驗 變異數一致性之檢驗 As a result of this class, you will be able to ...

3 實驗設計與資料分析 實驗設計: 由研究者設定條件後, 執行實驗以觀察結果是否受該條件之影響
設定條件稱為「處理」方式(treatments) 同類型處理方式稱為一個「因子」(factor) 每因子內之處理方式亦稱為「水準」(levels) 變異數分析: 檢定不同處理對實驗結果產生的差異或效應

4 各種實驗設計

5 實驗設計專有名詞 1. 實驗單位(experimental units/subjects)
2. 處理(treatments): 實驗中所設定或選取之條件 3. 控制因子(factors): 由數種處理或水準組成 4. 處理效應(effect): 每一種處理對實驗結果產生之影嚮 5. 觀測結果(observations)

6 實驗設計三原則 1. 隨機(randomization)取樣 2. 複製(replications)樣本 3. 區集(blocking)技巧
不同實驗模型,設計不同隨機方式取得樣本 2. 複製(replications)樣本 在相同處理下, 重複實驗以取得的重複樣本 3. 區集(blocking)技巧 在不同處理下選取同質性高之實驗單位 實驗中,僅處理方式不同外,其它因素無法影嚮實驗結果

7 多因子實驗設計 1.實驗中使用兩個或以上的因子(factors) 2. 實驗單位隨機指派到不同處理
每一個因子有2個以上的水準(levels) 2. 實驗單位隨機指派到不同處理 任何水準之組合(level combination)成為一個處理 3. 主效應(main effect)﹕各別因子之效應 4. 交互(interact)效應﹕因子之間交互效應 5. 使用ANOVA分析檢定交互效應及主效應之不同與否

8 多因子實驗設計的優點 1. 節省時間並可了解每單一因子的主要影響或主要效應(main effects)
2. 引進多因子變數模型，可控制混淆影響(confounding effects) 3. 可檢測各個因子之間的交互作用(interaction effects)

9 兩因子實驗設計範例 J J J J J J L L L L L L 因子2 （ 訓練方式） 因子 Level 1 Level 2
水準 J J J Level 1 19 hr. 20 hr. 22 hr. (高) J J J 因子 1 11 hr. 17 hr. 31 hr. ( 動機 ) L L L Level 2 27 hr. 25 hr. 31 hr. (低) L L L 29 hr. 30 hr. 49 hr.

10 兩因子變異數分析 Two-Way ANOVA
9 17

11 圖示兩因子反應變數圖 第一種狀況 兩條反應線重疊且平行於X軸 A因子對於反應變數無效應 B因子對於反應變數無效應

12 圖示兩因子反應變數圖(續) 第二種狀況 兩條反應線平行且平行於X軸 A因子對於反應變數有效應 B因子對於反應變數無效應

13 圖示兩因子反應變數圖(續) 第三種狀況 兩條反應線重疊但不平行於X軸 A因子對於反應變數無效應 B因子對於反應變數有效應

14 圖示兩因子反應變數圖(續) 第四種狀況 兩條反應線平行但不平行於X軸 A因子對於反應變數有效應 B因子對於反應變數有效應

15 圖示兩因子反應變數圖(續) 第四種狀況 兩條反應線平行但不平行於X軸 A因子對於反應變數有效應 B因子對於反應變數有效應

16 圖示兩因子反應變數圖(續) 第四種狀況 兩條反應線平行但不平行於X軸 A因子對於反應變數有效應 B因子對於反應變數有效應

17 圖示兩因子反應變數圖(續) 第五種狀況 兩條反應線不平行 A B兩因子間有交互作用 A因子對於反應變數有效應 B因子對於反應變數有效應

18 什麼是交互作用項? 欲解釋A因子的效應需透過B因子的水準 如:在B1下A2-A1=2 在B2下A2-A1=5 在B3下A2-A1=8

19 圖示兩因子反應變數圖(續) 第五種狀況 兩條反應線不平行 A B兩因子間有交互作用 A因子對於反應變數有效應 B因子對於反應變數有效應

20 圖示兩因子反應變數圖(續) 第五種狀況 兩條反應線不平行 A B兩因子間有交互作用 A因子對於反應變數有效應 B因子對於反應變數有效應

21 圖示兩因子反應變數圖(續) 第五種狀況 兩條反應線不平行 A B兩因子間有交互作用 A因子對於反應變數有效應 B因子對於反應變數有效應

22 Xijk 兩因子實驗資料列表 因素 B 因素A 1 2 ... c 1 X X ... X X X ... X 2 X X ... X X
111 121 1c1 X X ... X 112 122 1c2 因素Ａ之水準 i 2 X X ... X 211 221 2c1 X X ... X 212 222 2c2 因素Ｂ之水準 j : : : : : r X X ... X r11 r21 rc1 X X ... X r12 r22 rc2 水準組合稱為Cell

23 兩因子ANOVA之理論 xijk代表觀測值必須是連續變數 xijk = µ + Ai + Bj + ABij + Ijk
1. 模式(model) ﹕ xijk代表觀測值必須是連續變數 x值=總平均+A因素主效應+B因素主效應+交互效應+誤差項 xijk = µ + Ai + Bj + ABij + Ijk (A因子水準 i=1, …,r ﹔B因子水準 j=1, …, c ; 樣本數 k=1, …,n’ )

24 Xijk 兩因子實驗資料列表 因素 B 因素A 1 2 ... c 1 X X ... X X X ... X 2 X X ... X X
111 121 1c1 X X ... X 112 122 1c2 因素Ａ之水準 i 2 X X ... X 211 221 2c1 X X ... X 212 222 2c2 因素Ｂ之水準 j : : : : : r X X ... X r11 r21 rc1 X X ... X r12 r22 rc2 水準組合稱為Cell

25 兩因子ANOVA之理論(續) ijk ~ N(0, 2) ， ijk independent ijk
2. 假設條件(assumptions)﹕ 誤差項為常態機率分配,期望值為0 ﹔誤差值之間獨立 ijk ~ N(0, 2) ， ijk independent ijk 2須要估計 誤差項以上的假設條件, 必須正式以統計量檢定, 或以殘差分析檢查其是否符合

26 兩因子變異數分析 總變異量的分割 Total Variation 總變異量SS(Total)
因為Ａ因子水準間差異所產生的變異量Variation due to Treatment A (SSA) 因為Ｂ因子水準間差異所產生的變異量Variation due to Treatment Ｂ(SSB) 因為Ａ、Ｂ因子水準間交互所產生的變異量 Variation due to AB Interaction (SSAB) 因為隨機樣本取樣間差異所產生的變異量Variation due to Random Sampling (SSE)

27 Two-Way ANOVA Total Variation Partitioning

28 Total Variation

29 Factor A Variation Sum of Squares Due to Factor A
= the difference among the various levels of factor A and the grand mean

30 Factor B Variation Sum of Squares Due to Factor B
= the difference among the various levels of factor B and the grand mean

31 Interaction Variation
Sum of Squares Due to Interaction between A and B = the effect of the combinations of factor A and factor B

32 Random Error Sum of Squares Error
= the differences among the observations within each cell and the corresponding cell means

33 兩因子ANOVA表 Same as other designs Source of Degrees of Sum of Mean F
Variation Freedom Squares Square A 因子 r - 1 SS(A) MS(A) MS(A) (Row) MSE B 因子 c - 1 SS(B) MS(B) MS(B) (Column) MSE AB 交互作用 (r-1)(c-1) SS(AB) MS(AB) MS(AB) (Interaction) MSE Error 誤差 N - rc SSE MSE Same as other designs C. Total 總和 N - 1 SS(Total)

34 兩因子變異數分析檢定假設 1. Ａ和Ｂ因素間無交互作用 H0: ABij = 0 for any (i, j)
1. Ａ和Ｂ因素間無交互作用 H0: ABij = 0 for any (i, j) 2. 因素Ａ各水準間平均數無差異 H0: m1.. = m2.. =... = mr.. 3. 因素B各水準間平均數無差異 H0: m.1. = m.2. =... = m.c.

35 Two-Way ANOVA: The F Test Statistic
F Test for Factor A Main Effect H0: 1 .= 2 . = ••• = r . H1: Not all i . are equal Reject if F > FU F Test for Factor B Main Effect H0: 1 = . 2 = ••• =  c H1: Not all . j are equal Reject if F > FU F Test for Interaction Effect H0: ij = 0 (for all i and j) H1: ij  0 Reject if F > FU

36 總是使用單尾檢定呦Always One-Tail!
F-檢定 統計量之臨界值 若是各處理母體間平均數差異大, 則F = MST / MSE » 1. Reject H a Do Not Reject H F F a ( p - 1 , n - p ) 總是使用單尾檢定呦Always One-Tail!

37 例題﹕店面大小和架上位置的周銷售額 你是銘傳行銷公司的分析師，你想要了解產品在架上不同位置會對產品的銷售產生何種的影響。今隨機抽選了三種大小的店面、配合了四種不同的架位。並選取架位配合店面大小各重複兩店。使用 a = .05，檢定所有各種效應並下結論。 VO-5 SUAVE PERT Alone Group Class

38 例題 (續二) - 資料展示 83

39 平均銷售量之交互作用圖

40 例題 (續三) - ANOVA表（僅展示部份）
Source of Degrees of Sum of Mean F Variation Freedom Squares Square A 1,828.09 (店面大小) B 17.09 (擺設位置) AB 88.91 (交互作用) Error(誤差) 12 21.500 C. Total 3,277.34

41 例題 (續四) - ANOVA表 Source of Degrees of Sum of Mean F Variation Freedom
Squares Square A 3 - 1 = 2 1,828.09 42.51 (Store size) B 4 - 1 = 3 1,102.34 17.09 (Shelf loc.) AB 6 88.91 14.818 0.69 (Interaction) Error 12 258.00 21.500 C. Total 23 3,277.34

42 例題 (續五) - 交互作用(店面與架位) F MS(AB) F* = = 0.69 MSE 1. H0: ABij = 0 (交互效應)
2. Ha: ABij ≠0 3. a = .05 n1 = 6 n2 = 12 4. Critical Value(s): 5. 在Ho的 test statistic: 6. Decision: MS(AB) F* = = 0.69 MSE 在 a = .05下 不拒絕Ｈo a = .05 結論:並無證據顯示店面與架位有交互作用 F 3.00

43 例題 (續六) - 主效應(店面) F MS(A) F* = = 42.51 MSE 1. H0: m1.. = m2.. = m3..
2. Ha: Not all equal 3. a = .05 n1 = 2 n2 = 12 4. Critical Value(s): 5. 在Ho的 test statistic: 6. Decision: MS(A) F* = = 42.51 MSE 在 a = .05下 拒絕Ｈo a = .05 結論:有充分證據顯示店面大小會影響銷售額 F 3.89

44 例題 (續七) - 主效應(架位) F MS(B) F* = = 17.09 MSE 1. H0: m.1. = m.2. = m.3.
2. Ha: Not all equal 3. a = .05 n1 = 3 n2 = 12 4. Critical Value(s): 5. 在Ho的 test statistic: 6. Decision: MS(B) F* = = 17.09 MSE 在 a = .05下 拒絕Ｈo a = .05 結論:有充分證據顯示架位不同會影響銷售額 F 3.49

45 兩因子ANOVA分析 利用EXCEL 工具 | 資料分析 | 雙因子變異數分析:重複試驗
Example in excel spreadsheet

46

47

48

49

50

51

52

53 例題二 J J J J J J L L L L L L 因子2 （ 訓練方式） 因子 Level 1 Level 2 Level 3 水準
19 hr. 20 hr. 22 hr. (高) J J J 因子 1 11 hr. 17 hr. 31 hr. ( 動機 ) L L L Level 2 27 hr. 25 hr. 31 hr. (低) L L L 29 hr. 30 hr. 49 hr.

54 兩因子ANOVA分析 利用EXCEL 工具 | 資料分析 | 雙因子變異數分析:重複試驗
Example in excel spreadsheet

55

56

57 變異數分析假設之檢定— 殘差分析 Residual analysis

58 變異數分析的假設 1. 常態假設 (normality) 2. 變異數為同質（homogeneity） 3. 觀測值及誤差項為隨機且獨立的
各母體均為常態分配 2. 變異數為同質（homogeneity） 各母體的變異數皆相等 3. 觀測值及誤差項為隨機且獨立的 隨機樣本抽選時亦為獨立

59 The Normal Distribution
“Bell shaped” Symmetrical Mean, median and mode are equal Interquartile range equals 1.33 s Random variable has infinite range f(X) X  Mean Median Mode

60 The Mathematical Model

61 Many Normal Distributions
There are an infinite number of normal distributions By varying the parameters  and , we obtain different normal distributions

62 常態分配之評估 Not all continuous random variables are normally distributed
It is important to evaluate how well the data set seems to be adequately approximated by a normal distribution

63 常態分配之評估(續) (continued) 利用圖表 小中樣本:莖葉圖, 箱型圖 大樣本:直方圖, 折線圖 最常用:常態機率繪圖

64 常態分配之評估(續) 常態機率繪圖 先將資料排序 計算相對應的標準常態分配的 quantile 值 將相對應的值畫散佈圖 評估是否為一條直線
(continued) 常態機率繪圖 先將資料排序 計算相對應的標準常態分配的 quantile 值 將相對應的值畫散佈圖 評估是否為一條直線

65 Normal Probability Plot for Normal Distribution
常態分配之評估(續) (continued) Normal Probability Plot for Normal Distribution 90 X 60 30 Z -2 -1 1 2 Look for Straight Line!

66 常態機率繪圖之狀況 Left-Skewed Right-Skewed Rectangular U-Shaped X X Z Z X X Z
90 90 X 60 X 60 30 Z 30 Z -2 -1 1 2 -2 -1 1 2 Rectangular U-Shaped 90 90 X 60 X 60 30 Z 30 Z -2 -1 1 2 -2 -1 1 2

67 例題 (續八) – 殘差資料 83

68 例題 (續九) – 殘差排序 -4.5, -4.0, -3.5, -3.5, -3.5, -3.5, -3.5, -3.0, -3.0, -2.5, -2.5, -1.5, +1.5, +2.5, +2.5, +3.0 +3.0, +3.5, +3.5, +3.5, +3.5, +3.5, +4.0, +4.5

69 例題 (續十) – quantile 值 求p(N(0,1)<Qi)=i/(N+1) 之Qi 值
-1.7, -1.4, , -0.95, -0.84, , -0.58, -0.47, -0.2, -0.1, 0, 0.1, 0.2, 0.47, 0.58, 0.705, 0.84, 0.95, 1.175, 1.4,1.7

70 例題 (續十一) – 相對應值 -4.5, -4.0, -3.5, -3.5, -3.5, -3.5, -3.5, -3.0,
-3.0, -2.5, -2.5, -1.5, +1.5, +2.5, +2.5, +3.0 +3.0, +3.5, +3.5, +3.5, +3.5, +3.5, +4.0, +4.5 -1.7, -1.4, , -0.95, -0.84, , -0.58, -0.47, -0.2, -0.1, 0, 0.1, 0.2, 0.47, 0.58, 0.705, 0.84, 0.95, 1.175, 1.4,1.7

71 例題 (續十二) – 繪圖

72 常態機率繪圖 利用EXCEL PHStat | Probability Distributions | Normal Probability Plot… Example in excel spreadsheet

73

74

75

76

77 例題二 J J J J J J L L L L L L 因子2 （ 訓練方式） 因子 Level 1 Level 2 Level 3 水準
19 hr. 20 hr. 22 hr. (高) J J J 因子 1 11 hr. 17 hr. 31 hr. ( 動機 ) L L L Level 2 27 hr. 25 hr. 31 hr. (低) L L L 29 hr. 30 hr. 49 hr.

78 例題二:殘差

79

80 變異數分析的假設 1. 常態假設 (normality) 2. 變異數為同質（一致性homogeneity）
各母體均為常態分配 2. 變異數為同質（一致性homogeneity） 各母體的變異數皆相等 3. 觀測值及誤差項為隨機且獨立的 隨機樣本抽選時亦為獨立

81 變異數為同質之檢定 Hartley F-max test Battlet’s test Box subsample test
Levene’s test

82 Hartley F-max test 2 2 Fmax=Smax/Smin Smax 最大的樣本變異數 Smin 最小的樣本變異數
Fmax=Smax/Smin 2 Smax 最大的樣本變異數 Smin 最小的樣本變異數 F-max分配, 第一自由度 c (處理數) , 第二自由度 n-1(樣本數)

83 F-max 分配之部份表格 n-1/c 2 3 4 5 6 7 8 9 39.0 87.5 142 202 266 333 403 475 15.4 27.8 39.2 50.7 62.0 72.9 83.5 93.9 9.60 15.5 20.6 25.2 29.5 33.6 37.5 41.1 7.15 10.8 13.7 16.3 18.7 20.8 22.9 24.7 5.82 8.38 10.4 12.1 15.0 17.5

84 機器裝填的例子 Machine1 Machine2 Machine 請檢定各個機器的變異數是否相同?

85 機器裝填的例子(續) 計算結果 機器一之樣本變異數 1.0648 機器二之樣本變異數 0.778 機器三之樣本變異數 0.9205
Fmax=1.0648/0.778=1.1568 C=3, n=5, 查表 Fmax(0.05,3,4)=15.5 ∵1.1568<15.5 ∴不拒絕 H0

86 變異數分析的假設 1. 常態假設 (normality) 2. 變異數為同質（一致性homogeneity）
各母體均為常態分配 2. 變異數為同質（一致性homogeneity） 各母體的變異數皆相等 3. 觀測值及誤差項為隨機且獨立的 隨機樣本抽選時亦為獨立

87 獨立性之檢定 必須知道資料觀察的先後順序 用時間序列的方式檢查殘差是否有自我相關性或偏自我相關性
最常用Durbin Watson’s test 無母數方法—利用 Run test 來檢驗獨立性 請參考更深入的變異數分析方法之書籍

88 違背ANOVA假設之處理 當違背ANOVA假設時 通常會將反應變數做轉換 經常使用的轉換函數為 √, ln, 1/x 或
Box-Cox 轉換 牽涉較深的統計方法 不多述

89 結論 1. 因子實驗設計(factorial design) 2. 解說因子間的交互作用項
2. 解說因子間的交互作用項 3. 兩因子變異數分析analysis of variance (ANOVA) 4. ANOVA假設之檢驗 常態分配之檢驗 變異數一致性之檢驗

90 關於本課程... 請你靜下來想一想並回答下列問題: 1. 你此堂課學到的最重要的觀念為何? 2. 是否還有相關問題與疑問?
1. 你此堂課學到的最重要的觀念為何? 2. 是否還有相關問題與疑問? 3. 如何改善今後的學習? As a result of this class, you will be able to... 70