後設分析在教育研究上的應用:以創造性思考教學 之學習成效為例

Presentation on theme: "後設分析在教育研究上的應用:以創造性思考教學 之學習成效為例"— Presentation transcript:

1 後設分析在教育研究上的應用:以創造性思考教學 之學習成效為例
國立台灣師範大學教育系 廖遠光

2 引 言 A study, even a well-designed one with a large sample size, will become more useful if its results are examined in the context of others in the field (Kulik, J. A., & Kulik, C. C. 1989).

3 大 綱 後設分析的起源 後設分析的意義 後設分析的特色 傳統文獻分析的缺失 後設分析的種類 後設分析的優點 後設分析的批評 後設分析的發展
大 綱 後設分析的起源 後設分析的意義 後設分析的特色 傳統文獻分析的缺失 後設分析的種類 後設分析的優點 後設分析的批評 後設分析的發展 後設分析的步驟

4 後設分析（Meta-analysis）的起源
後設分析的技術最早是運用於農業生產方面，其目的是為了探討兩個變項間的關係(Rosenthal,1991)。 有系統的著手社會科學文獻的整理工作始於1950年代的美國心理學家Glass及其研究伙伴 。 1976年Glass將多年的研究成果以一個較為嚴謹的研究統整方式發表，並將此一方式命名為「Meta-analysis」 後經Cooper (1984), Hedges and Olkin (1983; 1985), Hunter, Schmidt, and Jackson (1982), Jackson (1980), Light and Pillemer (1982), and Rosenthal (1976),等人大力倡導，使得各領域研究結果之整合方法更有系統、更明確也更具體化。

5 後設分析的意義 字面意義：研究的研究。 「meta-analysis」的其它幾種譯名：統合分析、綜合分析。 後設分析也是量化的文獻探討：
研究者蒐集相同議題的研究，將各研究所發表之研究數據，重新以統計公式加以量化，運用計量分析技巧，將某領域現有的研究結果的數據整合為一。。 後設分析也可提供新的研究方向 後設分析可以透過對調節變項的分析，使研究者更加留意文獻不足之處，並進而尋找新的研究方向，有助於瞭解個別研究無法發現的趨勢。

6 傳統文獻分析的缺失 文獻的選擇易流於主觀，文獻評論者常依其主觀標準選擇文獻；
對於研究結果有不同的主觀解釋，以致不同的文獻評論者所得到的結論往往是相衝突、相矛盾的； 對研究發現可能產生錯誤的詮釋(misleading interpretations)； 對於所收集的個別研究中持續出現的某些共同特性未能作深入的檢驗； 未能探討中介變項與研究發現間的關係 (Wolf 1986) 。

7 後設分析之類型 在一個研究議題下，以蒐集到的文獻作為樣本去推論該議題所有文獻中（含未收集到及尚未做的研究）特定變項間關係的可能性。 PSYCHOMETRIC META-ANALYSIS - Hunter and Schmidt 在一個研究議題下，以蒐集到的文獻作為母群體，探究特定變項間關係的結果。 CLASSIC OR GLASSIAN META-ANALYSIS - Gene Glass STUDY EFFECT META-ANALYSIS – Kulik & Bangert-Drowns 特別強調同質性的檢定 TESTS OF HOMOGENEITY – Hedges & Olkin

8 後設分析之特色 後設分析雖為量化之方法，卻也相當仰賴質性之詮釋 後設分析不因研究品質而對研究發現預做判定 後設分析試圖尋找一般性的結論
後設分析主要是從大量的數據來組織和摘取訊息，並且利用統計的方式，來詮釋大部份研究的結果與訊息，然而卻也相當仰賴質性之詮釋。 後設分析不因研究品質而對研究發現預做判定 在描述性的文獻探討中，一些被認為在方法上有問題的研究（例如不良的設計、不佳的測量工具等），通常會被主觀地排除；在後設分析中，會紀錄每一項研究在方法上的缺失，並探討其與研究發現之間的關聯性。 後設分析試圖尋找一般性的結論 不同於初探性研究中研究者對未知的變項做探測性的發現，或是如實驗設計般可以得到明確的因果關連。研究者並不希冀自後設分析的結果中得到驚人之發現或突破性結論，僅被動式的蒐集資料予以分析後找出共同結論（彭瓊慧，2002）。 Glass、McGaw, & Smith（1981）

9 後設分析的優點 Abrami, & Bernard (2006)歸納其他學者的意見列出後設分析的優點如下：
回答了關於效果值(effect size)的問題; 有系統地探索了效果值中變異的來源; 將重心放在研究的比較而不是聚焦在一個個別的研究，因此能有效控制研究的內在效度； 因為目的是統整一大群的個別研究，因此研究結果具外在效度或推論性； 當大量的個別研究被分析時，後設分析增進了統計力(statistical power)；

10 後設分析的優點 每一效果值的權重是根據研究的樣本大小，因此大樣本的研究可獲得較高的權重；
當後設分析更新時，可以加入新出版的個別研究，也可刪除原先不適用的研究而獲得更具時效的結果； 當個別研究的整合產出研究可能的新方向時，研究者可以在未來的分析中增加新的研究變項； 為了一些特殊目的，可以針對部分所收集的資料作多次的分析（例如：關於軍事方面的研究、遠距學習中同步、非同步的研究等）； 允許對什麼是我們已經知道的、什麼是我們不知道的以及什麼是我們需要知道的作評論。

11 後設分析的批評 蘋果和橘子的問題（the apples and oranges problem）
研究品質異質性問題（heterogeneity of quality） 獨立性問題（problem of independences） 抽樣偏差與文屜的問題（sample bias and file drawer problem） (Cook & Campbell, 1979; Glass et al., 1981; Hunter, & Schmidt, 2004; Jackson, 1983; Wolf, 1986; Wortman, 1983)

12 國外後設分析的發展 時間 （西元） 1977 1978 1979 1980 1981 1982 1983 1984 篇數 2 4 6 9 18 32 55 63 資料來源：Hunter, J. E., & Schmidt, F. L. (1990). Methods of meta-analysis（p.40）. Newbury Park, California: Sage.

13 國外後設分析的發展 以”meta-analysis”為關鍵字或標題，在Academic Search Complete搜尋
1980年到2010年共有7510篇文章發表； 2001年到2010年共有6549篇發表； 2006年到2010年共有4609篇發表； 2010年一月至六月也有756篇發表。

14 國內後設分析研究現況 中華民國期刊論文索引www系統自1993年至2010年9月，以「meta-analysis」為關鍵字查詢，共獲得129篇。 全國博碩士論文索引自1993年至2009年12月，以「 meta-analysis 」為關鍵字查詢，共獲得97篇。 以「元分析」為關鍵字自中國期刊全文數據庫搜尋自1982 至 2010共獲得676篇。 研究主題包括醫學、藥學、工業管理、犯罪、教育等。 個人已發表之後設分析

15 有關數位學習的後設分析 Evaluation of Evidence-Based Practices in Online Learning: A Meta-Analysis and Review of Online Learning Studies, 2009 Technology’s effect on achievement in higher education: a Stage I meta-analysis of classroom applications, 2009

16 有關數位學習的後設分析 Liao, Y. C. & Hao, Y (2008) Large scale studies and quantitative methods. In Joke Voogt & Gerald Knezek (Eds.) International handbook of information technology in primary and secondary education (pp ). Norwell, MA: Springer. 直至2006年止，CAI 有30篇，DE有14篇

17 後設分析的步驟 確定研究主題 蒐集相關文獻與研究報告 建立研究報告選用之標準 篩選符合標準之研究報告 檢驗出版偏差
設定研究變項，並發展登錄表格 資料編碼與登錄 計算每一篇研究報告的效果值(Effect Size, ES) 同質性檢定 (homogeneity test) 撰寫研究結果

18 1. 確定研究主題 我國創造性思考教學學習成效之後設分析 （國科會專題研究計劃，計劃編號 NSC H 部分成果）

19 2. 蒐集相關文獻與研究報告 資料來源 中華民國期刊論文索引 國家圖書館博碩士論文資訊網 國家科學委員會補助之研究計畫
Educational Resources Information Center, ERIC 美加地區博碩士學位論文 相關研究報告所附之參考文獻

20 3. 建立研究報告採用之標準 建立研究報告採用之標準 研究主題必須是有關國內創造性思考教學學習成效之實徵研究。
研究型態必須是真實驗研究、準實驗研究或前實驗研究設計。 研究的樣本必須是國人。 研究結果必須提供足夠之數據，如(1)實驗組及控制組之平均數、標準差及樣本大小，或(2)Ｆ值及樣本大小或(3)t值及樣本大小。

21 4. 篩選可用之研究報告 研究者以「創造思考 」為關鍵字，自國內「期刊論文索引」搜尋，共發現395篇論文，再自「博碩士論文索引」搜尋，又發現138篇論文；而國科會的歷年研究計畫亦發現有56篇論文。若單就實徵研究來看，則三個索引資料庫中也有超過126篇的研究。將所收集到之研究報告依據選用標準篩選後，共有96篇符合本後設分析的條件，其中探討學生學業成就者計39篇，探討學生學習態度者共46篇，探討學生高層次思考能力者計90篇。 。

22 5. 檢驗出版偏差 本研究應用Rosenthal(1991)所建議之計算Fail-safe Number的方法來檢驗出版偏差。
Fail-safe Number指的是到底要加上多少未達顯著性、未出版或未尋獲的研究到後設分析才會導致該後設分析的結果從顯著變成不顯著。而Tolerance level為評估結果不顯著的研究發生的可能性。 如果Fail-safe Number大於Tolerance level表示未達顯著性、未出版或未尋獲的研究的問題不會影響到後設分析的結果。

23 5. 檢驗出版偏差 計算的公式為 Fail-safe Number = 19s-n
Tolerance level = 5k+10 其中k為後設分析中所有研究的篇數。

24 5. 檢驗出版偏差 本研究經套用公式計算後Fail-safe Number=884.5, 而Tolerance level=160，Fail-safe Number大於Tolerance level，表示未達顯著性、未出版或未尋獲的研究的問題不會影響到後設分析的結果。

25 6. 設定調節變項，並發展登錄表格 後設分析的結果通常包含兩部分：一為描述性之統計，一為推論性之統計。後者即是在觀察是否有某些「因素」會影響整體研究的結果。 調節變項 登錄表格範例

26 7. 資料編碼與登錄 符合標準的研究報告，經閱讀、分析之後，將每一篇的內容依據設定之調節變項，編碼於登錄表格之中。
「編碼者的信度」在後設分析中受到相當重視，為降低個人主觀因素之影響，以提高編碼的可信度，每一篇研究報告必須經過至少兩位編碼者進行編碼，並於編碼登錄後，檢核兩者編碼結果的一致性。本後設分析編碼登錄的工作，是由兩位研究者擔任，兩人編碼之一致性達80%以上。 兩位編碼者須針對編碼相異之處進行討論以達成共識。

27 8. 計算每一篇研究報告的ES 學習成果：實驗結束後，學生表現在各種測驗工具的分數。
為了統合這些來自不同研究報告與不同測驗工具的學習成果，必須『標準化』 標準化的公式：『效果值』（effect size）。也就是將實驗組與對照組之間平均數的差，除以整體樣本或控制組之標準差。 未提供兩組平均數或標準差的研究報告，則採用F值或t值的公式。

28 8. 計算每一篇研究報告的效果值 Glass的公式 ES =（Xe－Xc）/ SDc

29 8. 計算每一篇研究報告的效果值 Hedges和Oklin (1985)的公式
其中X1為實驗組之平均數，X2為對照組之平均數s為包含實驗組與對照組之所有樣本的標準差

30 8. 計算每一篇研究報告的效果值 Hedges和Oklin (1985)發現他所提出的公式在小樣本的研究中會出現偏誤，因此又提出了一個調整偏誤的公式 N=n1+n2

31 8. 計算每一篇研究報告的效果值 若研究僅提供F或t值及實驗組與對照組的樣本大小，而未提供平均數或標準差，以致上述的公式無法用來計算ES時，其它轉換公式如下

32 9. 同質性檢定 (homogeneity test)
若同質性檢定的結果未達顯著即表示可直接將這些效果值合併以求得平均ES值，與計算效果值95%的信賴區間以進行ES的顯著性考驗。 若同質性檢定結果達顯著，即表示這些研究並非估計相同的母數，或許有其它調節變項影響了整體成效（即平均ES），需進一步分析可能影響整體成效變異的因素。

33 9. 同質性檢定 (homogeneity test)
同質性檢定的公式如下：

34 9. 同質性檢定 (homogeneity test)
若同質性檢定達顯著性差異，且調節變項為類別變項，則可採用類似單因子變異數分析(ANOVA)的方法來檢定哪些調節變項對整體成效有顯著影響。詳細之公式如下 : Qj = 其中wesj為每一研究之變異數之倒數乘以每一研究之ES；wessqj為每一研究之變異數之倒數乘以每一研究之ES後再開平方。

35 9. 同質性檢定 (homogeneity test)
Qw = Qb = Qt – Qw 其中Qw (Qwithin)為組內之變異數指標，Qt (Qtotal)為整體變異數，Qb (Qbetween)為組間之變異數指標。若某一調節變項之Qb達顯著性差異，表示該調節變項對整體效果值有顯著影響。

36 Glass 的統計分析 為討論本研究各變項與研究效果大小間的關係，每一變項將被當作是一自變項，而以研究效果大小值作為依變項以進行單變項變異數分析（ANOVA）檢驗各變項之效果大小之差異性。 如果蒐集的研究篇數足夠也可進行多重變項之變異數分析(如：2-way ANOVA or 3-way ANOVA)以探討多重變項間之交互作用。

37 10. 研究結果的詮釋 描述性統計 整體研究結果 平均數 標準差 95% CI 推論統計 調節變項與整體研究結果之關係

38 描述性統計（學業成就） 在39篇探討學業成就的研究中，有33篇（85%）之ES為正數；僅有6篇（佔15%）之ES為負數。從ES值的計算公式可以得知：當ES值為正數時，表示實驗組優於對照組；當ES值為負數時，表示對照組優於實驗組。 全部研究之ES值分布範圍為-2.161至3.75。ES總平均值為+0.332，95%信心區間為 ~ （不包含0），顯示創造性思考教學顯著的優於傳統教學。

39 描述性統計（學業成就） 整體而言，創造性思考教學在學生學業成就的整體ES為正向的中低效果（ES=0.332），表示創造性思考教學在提升學生學業成就的成效上雖僅有中低效果但顯著的優於傳統教學。 根據Cohen（1977）對於後設分析ES值之界定：當ES值為0.2左右時，其效果代表「微量」（small）；當ES值為0.5左右時，其效果代表「中度」（medium）；當效ES為0.8左右時，其效果代表「強烈」（large）。

40 推論統計 在調節變項的分析方面，Q-Statistics的分析結果顯示在13個變項中有8個變項達顯著性差異。

41 後設分析專用軟體 MetaWin Comprehensive Meta-Analysis (CMA)

42 結論 Bangert-Drowns曾說道：「後設分析並不只是一股熱潮，而是建基於科學的基本價值：可複製性（replicability）、可測量性（quantification）、以及因果關係（causal and correlational）。重要的資訊沒有必要分散在個別的研究當中。社會學家對於基本問題的推論答案是如此地重視，以致於我們無法輕乎整合研究的重要性。後設分析方法具有許多潛在的優點。」（引自Hunter & Schmidt, 1990）

43 References Bangert-Drowns, R.L. (1986). Review of developments in meta-analytic methods. Psychological Bulletin, 99, Glass, G.V, McGaw, B., & M.L. Smith (1981). Meta-analysis in social research. Beverly Hills, CA: Sage. Hunter, J.E., & F.L. Schmidt (1990). Methods of meta-analysis. Newbury Park, CA: Sage. Kulik, J.A., & C.-L.C. Kulik (1989). Meta-analysis in education. International Journal of Educational Research, 13, 補充資料

44 敬請指教