數學領域二階段電腦化診斷測驗暨補救教學系統之建構

Presentation on theme: "數學領域二階段電腦化診斷測驗暨補救教學系統之建構"— Presentation transcript:

1 數學領域二階段電腦化診斷測驗暨補救教學系統之建構
臺中教育大學教育測驗統計研究所 施淑娟

2 Outline 研究源起 系統建構的理論基礎 系統之建構 診斷工具的品質衡鑑 教學工具成效分析 以貝氏網路為基礎的認知診斷模式 二階段測驗
認知衝突策略 系統之建構 診斷工具的品質衡鑑 教學工具成效分析

3 研究源起 Case 041 因應教育改革 的潮流 協助教師突破 數學教學困境 研究緣起 研究源起 提昇現有系統 之成效

4 因應教育改革的潮流 美國No Child Left Behind Act of 2001法案－縮短孩子的學習成就差距，讓每一個孩子都不落後。
國內的九年一貫課程－落實把每個學生帶上來的理念 為了達成上述目標，彌平學生的個別差異，規劃並建立完整的補救教學系統，使個體的學習困難獲得改善，成為國內外基礎教育的重要課題。

5 因應教育改革的潮流 其中，學生最需要補救教學的科目就是數學 資料來源：陳淑麗（2008）。國小弱勢學生課業輔導現況調查之研究。

6 如何有效進行數學補救教學? 必須有精確而有效的學習困難診斷機制 必須提供適切的補救教材 圖一 完整的數學領域補教教學歷程
學生 數學診斷 實施數學補救教學流程 數學測驗診斷報告書 學習下一單元 是否通過 是 否 圖一 完整的數學領域補教教學歷程

7 這也是教學現場的教師最缺乏的 教師執行補救教學希望獲得的協助 資料來源：陳淑麗（2008）。國小弱勢學生課業輔導現況調查之研究。

8 協助教師突破數學教學困境 建置一套有效的數學領域線上診斷評量與補救教學系統，輔助數學教師，更有效率地將補救教學的理念落實於數學領域，進而提升學生的數學學習成效與學習興趣，有其必要性。

9 先前努力的成果 以知識結構為基礎的適性測驗(Knowledge Structure Based Computerized Adaptive Testing System, KSAT) MFT (Mathematics for Taiwan) 以貝氏網路為基礎的適性測驗(Bayesian Network based Computerized Adaptive Testing System, BNAT)

10 KSAT

11 BNAT

12 先前研究的問題 以貝氏網路為基礎的適性診斷測驗均採用傳統單一階段選擇題型來進行設計，在測驗實務上常會發生猜測、多種錯誤類型導致相同答案等無法區辦的現象，導致貝氏網路診斷模式因為測驗資料的誤差，降低其診斷效果，在診斷的準確性方面仍有改善空間 補救教學媒體的設計僅針對概念細目採直接教學法再教一次，對於破除學生的迷思概念可能效果有限

13 提昇現有系統之成效 新系統－二階段電腦化診斷測驗暨補救教學系統使用以下策略進行改進：
採用二階段試題的新測驗型態，使其能提供更精確的測驗資料作為貝氏網路診斷模式的推論證據，進而提升貝氏網路診斷模式的診斷效果 採用認知衝突策略，針對錯誤類型設計補救教學媒體

14 系統建構的理論基礎I 貝氏網路的概念 以貝氏網路為基礎的認知診斷模式
貝氏網路是指結合條件機率與圖形理論的網路模式 ，是一種非常強大的知識表現方法和推論工具，可 說明變數間相互影響程度的機率關係與變項表現之 機率 一種由節點與連結所組成的非循環的有向圖（ directed acyclic graphs,簡稱DAGs），其中節點 代表所欲研究的變項，連結代表變項間的影響關係 ，影響的強度則以條件機率的方式表徵。

15 系統建構的理論基礎I 貝氏網路可進行證據傳導(觀測到某些證據後，如何更新整個網路的機率分布) ，其更新機率的基礎是貝氏定理，它也因此得名。

16 貝氏網路常見的證據傳導方法 信息傳遞法(message passing) (Pearl 1988)
區塊樹法(trees of cliques) [應用最廣] (Lauritzen & Spiegelhalter 1988) (Jensen 1996) 質之傳遞(qualitative propagation) (Henrion & Druzdzel 1990) 馬可夫鍊蒙地卡羅法(Markov Chain Monte Carlo : MCMC) (Gelman, Carlin, Stern, & Rubin, 1995)

17 貝氏網路之證據傳導 鏈狀(chain) 貝氏網路之推論 樹狀(tree) 貝氏網路之推論 多重連結貝氏網路之推論

18 鏈狀貝氏網路之推論 假定觀察到x的值 根據新的x ,使用 貝氏定理 更新v的機率 更新x的機率分布
根據更新的x,以條件機率更新y的 機率分布 V X Y p(x|v) p(y|x)

19 已知”因”,更新”果” Y=y1 Y=y2 Total X=x1 p(x1,y1) p(x1,y2) p(x1) X=x2 p(x2,y1)
p(y1) p(y2)

20 已知”果”,更新”因” 1. 2.正規化

21 樹狀貝氏網路之推論 V 診 斷 預 測 U 根據更新之X, 以條件機率更新 Z之機率分配 X 預 測 預 測 Y Z

22 多重連結貝氏網路 貝氏網路中至少有一頂點間不只一親代者，稱為「多重連結貝氏網路」
多重連結貝氏網路無法直接重複使用貝氏定理與條件機率進行證據傳導(Jensen, 1996) 可以上述簡單的證據傳導方法為基礎,先將變項群組為幾個區塊(clique)子集，使得每一區塊子集組成一樹狀貝氏網路，則區塊內之變項可利用上述樹狀貝氏網路證據傳導規則進行機率更新，並透過區塊交集進行區塊間之證據傳導，最後更新整個網路變項機率。此方法稱為區塊樹法((trees of cliques)

23 多重連結貝氏網路示例 關鍵:必須先將 變項分成區塊, 再使區塊形成一 樹狀BN,再用區塊 與區塊的交集 傳遞更新後的機率 W V U X Y
Z U,V,W U,V,X U,X,Y X,Z

24 一個簡單的例子

25 三角化 錯誤類型1 錯誤類型2 試題一 試題二 錯誤類型1 錯誤類型2 試題一 試題二

26 決定區塊(clique)與區塊交集 和 錯誤類型1 錯誤類型2 試題一 試題二 錯誤類型1 錯誤類型2 錯誤類型1 錯誤類型2 試題一

27 轉換為聯合樹( Join tree )表徵 聯合樹表徵清楚展現一個單一系列連結的區塊與區塊交集結構 錯誤類型1 錯誤類型2 試題一
試題二

28 先驗機率分布 後驗機率分布 變項的初始聯合機率分布 ，如表2 利用區塊交集傳遞已觀察到的證據資訊，以更新所有未觀察節點之機率
先驗機率分布 後驗機率分布 變項的初始聯合機率分布 ，如表2 利用區塊交集傳遞已觀察到的證據資訊，以更新所有未觀察節點之機率 以後驗機率更新架構，如表3

29 二階段試題

30 二階段測驗 有些學者提倡發展二階段(two-tier)概念診斷測驗 (Odom & Barrow, 1995; Treagust, 1988, 1997)。所謂二階段測驗，是根據題目作為評量學生是否能對某方面概念理解的依據，在題目中，第一階段的事實選項包含了學生對內容的回答， 而第二階段的理由選項則是對第一階段的回答所秉持的理由，其選項設計來自對學生的晤談、教師教學的經驗、以及先前的研究（蕭志芳，2003）。此種評量工具的優點， 除了教師與研究者不必依靠繁瑣費時的晤談工作就可以診斷學生的學習情況， 還可以減低學生作答的猜對率，提高題目評量的效果。

31 二階段測驗試題發展類型(吳能州，2003) 第一類型：第一階層試題與第二階層試題皆為單選題，第二階層選項不會隨學生第一階層作答答案而改變。
第二類型：一階層試題為單選題、另一階層試題為複選題，第二階層選項不會隨學生第一階層作答答案而改變 第三類型：第一階層試題與第二階層試題皆為單選題，第二階層選項隨學生第一階層作答答案而改變。

32 第一類型舉例(唐健文，2001)

33 第二類型舉例(陳業勇，2001)

34 第三類型舉例(吳能州，2003)

35 採用第三種類型及電腦化診斷測驗設計具有以下優點：
降低學生閱讀試題的負擔 避免學生由第二階段的理由回推第一階段的答案

36 認知衝突策略 在學習過程中， 引發一情境使學習者對於自身所持的想法與正統理論或環境中的事件不一致或對同一情境抱持兩種矛盾的看法， 使得學習者產生失衡的現象， 進而透過認知調整教學， 重建其原有的認知結構。 常用策略：異例法、討論法、電腦模擬法

37 認知衝突策略 劉曼麗（2002） 二對一法 反向法 一對多法 引入參考值法 表徵法

38 系統之建構

39 二階段試題 編製流程 一、二階段電腦化 診斷測驗部分 確定主題 確定知識結構圖 專家效度 確定該數學 概念的知識 文獻探討 發展開放式試題
確定命題陳述 專家效度 確定該數學 概念的知識 文獻探討 發展開放式試題 二階段試題 編製流程 預試 可能產生的 錯誤類型 發展二階段電腦化線上測驗工具 錯誤類型 與子技能對應表 修正 專家效度 正式施測 分析錯誤概念及其成因

40 以六年級時間的計算單元為例 編製專家知識結構 每一個節點進行二階段試題命題，第二階段為開放式題型

41 以六年級時間的計算單元為例 紙筆測驗預試對象 統計學生的理由選項及其所對應的錯誤類型，編製成正式的二階段電腦化診斷測驗
苗栗縣、彰化縣及雲林縣的國小六年級十二個班級，共328位受試者 統計學生的理由選項及其所對應的錯誤類型，編製成正式的二階段電腦化診斷測驗

42 預試結果分析 信度： Cronbach α值＝ .841 效度：專家效度。
通過率：第一階段正確的通過率在29.9 ~ 97.9之間，平均值是87.5；兩階段都正確的通過率在28.0 ~ 97.9之間，平均值是82.2。 鑑別度：第一階段正確的鑑別度在 ~ 0.561之間，平均值是0.419；兩階段都正確的鑑別度在0.233 ~ 0.565之間，平均值是0.439。

43 以六年級時間的計算單元為例

44 電腦施測畫面I

45 電腦施測畫面II

46 正式施測對象 台中縣市及台南縣的國小六年級十二個班級，共370位受試者。

47 診斷工具的品質衡鑑 信度： Cronbach α值＝ .872 通過率：在43.8 ~ 89.2之間，平均值是75.3。
鑑別度：在0.125 ~ 0.575之間，平均值是0.470。

48 效度分析－評估診斷正確率 三種貝氏網路認知診斷模型 模式1：只用第一階段試題（參照組） 模式2：一二階段試題聯合判斷試題
模式3：第二階段證據也當試題

49 模式1之貝氏網路圖 Item Bug Skill Item1 S1 Item2 B1 S2 Item3 B2 S3 B3 Item4 B4

50 模式2之貝氏網路圖 Item Bug Skill 1，1-2 2，2-2 20，20-2 21，21-2 S1 S2 S20 B1 B2

51 模式2之證據計分方式

52 模式3之貝氏網路圖 Item Bug Skill 1 B1 S1 2 B2 S2 21 1-2 2-2 S20 B27 S21 B28
21-2

53 計算診斷正確率之公式如下：

54 三種不同模式的 貝氏網路診斷正確率之比較 結構模式名稱 錯誤類型 診斷正確率 子技能 整體診斷正確率 模式1 0.9265 0.8960
0.9134 模式2 0.9558 0.9365 0.9476 模式3 0.9560 0.9337 0.9464 二階段試題之貝氏網路診斷模式辨識率高於一階段試題 模式2之辨識率與模式3相近

55 The classification accuracy of bugs
Model1 0.5393 0.9877 0.5271 0.9939 0.9329 0.9969 0.9757 Model2 0.9420 0.9573 0.9908 0.9909 0.9726 Model3 0.9817 0.9482 0.9938 bug8 bug9 bug10 bug11 bug12 bug13 bug14 0.9695 0.9025 0.9484 0.9026 0.9423 0.8873 0.9514 bug15 bug16 bug17 bug18 bug19 bug20 bug21 0.9483 0.9787 0.9513 0.9238 0.9970 0.9422 0.9848 0.9665 0.9236 bug22 bug23 bug24 bug25 bug26 bug27 bug28 0.8352 0.9331 0.9786 0.8812 0.8324 0.8444 0.8781 0.8445 0.8290 0.8537

56 The classification accuracy of sub-skills
Model1 0.5424 0.5210 0.9787 0.9726 0.9817 0.9756 0.9665 Model2 0.9451 0.9573 0.9695 Model3 0.9634 s8 s9 s10 s11 s12 s13 s14 0.9939 0.7189 0.9144 0.9298 0.8840 0.9757 0.9026 0.9175 0.9604 0.9727 0.9056 0.9878 0.9113 0.9359 0.8870 0.8995 s15 s16 s17 s18 s19 s20 s21 0.9362 0.9178 0.8841 0.9210 0.9481 0.9331 0.9635 0.9361 0.9544 0.8750 0.9147 0.9271 0.9543

57 模式1之貝氏網路圖 Item Bug Skill Item1 S1 Item2 B1 S2 Item3 B2 S3 B3 Item4 B4

58 內容標題

59

60

61 小 結 二階段電腦化診斷工具有不錯的信、效度。。 比較一階段與二階段試題之貝氏網路診斷成效，二階段試題之貝氏網路的診斷正確率高於一階段。
比較二種二階段試題之貝氏網路診斷成效，兩者差異不大。 正確答案背後潛藏的錯誤概念經由二階段試題之貝氏網路可被有效區辨出來。

62 二、補救教學媒體設計 範例－ 表徵法：比與比值B7補救教學 異例法：時間的計算B2補救教學 類比法：時間的計算B4補救教學

63 二、補救教學媒體設計

64 實驗一 實驗組－錯誤類型補救組 23人 對照組－概念補救組 24人

65 教學工具成效分析 補救成效分析 可知錯誤類型補救教學組的補救成效優於概念補救教學組。

66 教學工具成效分析 學後保留成效分析 因組內迴歸迴歸係數同質性考驗結果(組別* 後測成績)，F 值為4.640；顯著性p=0.037，小於顯著水準0.05，表示二組迴歸線不同質，因此接著用Johnson-Neyman 法來分析 錯誤類型補救組與概念補救組兩種補救教學模式對於81分以上的學生來說並無差異，但對於81分以下的學生來說，錯誤類型補救組則明顯優於概念補救組(F=15.486,P<0.001)，結果顯示對於中、低分組的學生來說，使用認知衝突策略釐清錯誤類型的學後保留效果較為顯著

67 實驗二（比與比值單元）

68 實驗二（比與比值單元）

69 教學工具成效分析 補救教學成效分析

70

71 教學工具成效分析 學後保留成效

72

73 感謝聆聽 敬請指導 結語 由於線上補救教學提供一個有效解決學習差異的管道，同時也可減輕教師的教學負擔，因此目前已受到廣泛的重視。
本研究提出的改進策略能提升先前補救教學系統之成效。 感謝聆聽 敬請指導