以知識結構為基礎之適性化診斷測驗系統建置

Presentation on theme: "以知識結構為基礎之適性化診斷測驗系統建置"— Presentation transcript:

1 以知識結構為基礎之適性化診斷測驗系統建置
曾彥鈞 劉育隆 郭伯臣 楊智為 國立台中教育大學 教育測驗統計所

2 本論文延續國科會研究計畫「國小數學科電腦化適性診斷測驗(I)(II)(III)」，NSC S ,NSC S ，NSC S 之方法。 參考國立台中教育大學、亞洲大學與階梯數位科技股份有限公司建教合作計畫「以試題結構理論為基礎之國小五、六年級數學領域電腦適性診斷測驗系統與題庫建置」之部分成果。

3 電腦適性測驗 電腦適性測驗的優點為能依據學生不同學習狀態，適當給予不同試題來進行測驗，如此不僅可以有效的節省測驗題數，亦可縮短測驗時間，更能符合「因材施測」的原則。 為什麼不用IRT？ 「以知識結構為基礎的適性測驗」（Knowledge Structure Based Computerized Adaptive Testing System，KSAT）

4 文獻探討-知識結構 專家知識結構 學生知識結構 (需預試) 補救教學結構
由數學教育學者與國小教師共同參考相關研究文獻及不同版本教材後分析討論建立。 學生知識結構 (需預試) Diagnosys Ordering Theory (OT) Item Relational Structure Analysis (IRS) 補救教學結構

5 試題順序理論 專家知識結構 學生試題結構 補救教學結構 5-2三角形內角和等於180度 5利用等腰三角形的特性求出未知的角度
3認識等腰直角三角形 3-1認識直角三角形 3-2，4-1，5-1辨別等腰三角形 3-2-1，4-1-1，5-1-1知道等腰三角形 4找出等腰三角形 ， ，3-1-1辨別直角 專家知識結構 ， ，3-1-1辨別直角 5-2三角形內角和等於180度 5利用等腰三角形的特性求出未知的角度 3認識等腰直角三角形 3-1認識直角三角形 3-2，4-1，5-1辨別等腰三角形 3-2-1，4-1-1，5-1-1知道等腰三角形 4找出等腰三角形 學生試題結構 試題順序理論 ， ，3-1-1辨別直角 5-2三角形內角和等於180度 5利用等腰三角形的特性求出未知的角度 3認識等腰直角三角形 3-1認識直角三角形 3-2，4-1，5-1辨別等腰三角形 3-2-1，4-1-1，5-1-1知道等腰三角形 4找出等腰三角形 補救教學結構

6 KSAT系統流程圖 補救教學分類模組 適性測驗出題模組 學生 題庫 類型2 補救教學1 補救教學2 補救教學n 類型1 類型n 評估停止施測
否 是 資料分析 學習診斷報告 多媒體補救教學模組

7 KSAT系統架構圖 適性測驗出題模組 學習診斷模組 補救教學分類模組 多媒體補救教學模組 測驗統計模組 帳號管理模組 帳號資料 管理者
題庫管理模組 測驗管理模組 試題資料 教師 適性測驗出題模組 單元知識結構 學習診斷模組 學生 補救教學分類模組 測驗結果 多媒體補救教學模組 測驗統計模組

8 KSAT的特色 ．以精細的知識節點進行診斷測驗 ．自動化選題，符合學生學習狀況
．當測驗精準度設定為95%時，可比傳統紙筆測驗節省約50%作答試題 ．具有「同分不同錯誤類型」的鑑別能力 ．嚴謹的題庫建置過程

9 94年康軒版第九冊「三角形」單元教材地位

10 KSAT 中「三角形」單元專家知識結構 BACK 5-2三角形內角和等於180度 5利用等腰三角形的特性求出未知的角度 3認識等腰直角三角形
3-1認識直角三角形 3-2，4-1，5-1辨別等腰三角形 3-2-1，4-1-1，5-1-1知道等腰三角形 4找出等腰三角形 知道銳角 知道鈍角 1-1知道銳角三角形 2-1知道鈍角三角形 ， ，3-1-1辨別直角 1-1-1辨別銳角 2-1-1辨別鈍角 1找出銳角三角形 2找出鈍角三角形 6-1，7-1辨別正三角形 7利用正三角形的特性求出未知的角度 7-2利用平角的特性求出另一個角度 6-1-1，7-1-1知道正三角形 6找出正三角形 8三角形兩邊和大於第三邊 9三角形中小角對小邊、大角對大邊 BACK

11 「三角形」單元原有23個測驗節點，整併為17個教學重點

12 試題編號 試題參數 (PROB) 鑑別度 (a值) 難度 (b值) 猜測度 (c值) MATH01 1.0069 0.6593 MATH19 0.5161 MATH02 0.1784 0.7994 MATH20 0.5381 MATH03 0.169 0.0004 MATH21 0.2241 0.895 MATH04 0.9497 MATH22 0.8846 MATH05 0.6642 MATH23 0.2343 MATH06 0.8681 MATH24 0.7484 MATH07 0.2214 MATH25 0.2473 MATH08 0.8502 MATH26 0.3555 MATH09 -1.417 0.705 MATH27 0.6429 MATH10 0.1875 0.6977 MATH28 0.1738 0.1874 MATH11 0.6422 MATH29 0.3211 MATH12 0.9984 MATH30 0.1099 0.1162 MATH13 0.2081 MATH31 0.0559 MATH14 0.8949 MATH32 0.5992 0.271 MATH15 0.9652 MATH33 0.5259 MATH16 0.2791 MATH34 0.2977 MATH17 0.1788 MATH35 0.0995 MATH18 0.783 MATH36 0.5308

13  2  4  6  8 試題分析 試題14：下圖中共有多少個等腰三角形？ 通過率22.4且鑑別度-0.009
 2  4  6  8 通過率22.4且鑑別度-0.009 分析原因可能是圖中含有形狀接近等腰三角形的三角形，造成學生的誤答，爭議性較大，影響作答，故將圖形橫向放大，降低難度。

14 KSAT的特色 ．以精細的知識節點進行診斷測驗 ．自動化選題，符合學生學習狀況
．當測驗精準度設定為95%時，可比傳統紙筆測驗節省約50%作答試題 ．具有「同分不同錯誤類型」的鑑別能力 ．嚴謹的題庫建置過程

15 系統動態選題的概念 A B C D E F G H I ．根據學生的學習狀況 待測 待測 1 待測 待測 1 待測 待測 1 待測 1 待測
．以學生的知識結構為主 ．動態選題：診斷迷思概念，精準， 節省題數 A B C D E F G H I 待測 待測 1 待測 待測 1 待測 待測 1 待測 1 待測 1 待測 1 預測作答情形 補救教學路徑

16 KSAT的特色 ．以精細的知識節點進行診斷測驗 ．自動化選題，符合學生學習狀況
．當測驗精準度設定為95%時，可比傳統紙筆測驗節省約50%作答試題 ．具有「同分不同錯誤類型」的鑑別能力 ．嚴謹的題庫建置過程

17 KSAT的特色 ．以精細的知識節點進行診斷測驗 ．自動化選題，符合學生學習狀況
．當測驗精準度設定為95%時，可比傳統紙筆測驗節省約50%作答試題 ．具有「同分不同錯誤類型」的鑑別能力 ．嚴謹的題庫建置過程

18 「擴分、約分」單元 同分不同錯誤類型 舉例 測驗 代號 作答紀錄 總分 錯誤類型組別 錯誤類型描述 w00017
0,1,1,1,1,1,1,1,1,1,1,1,1,1,1,0,1,0,1,1,1,0,1,0,1,1,1 88 4 「最簡分數」、「兩異分母比較大小」 t00001 1,0,1,1,0,1,1,1,1,1,0,1,1,1,1,1,1,1,1,1,1,1,0,0,1,1,1 7 「最簡分數」、「約分」、「兩異分母比較大小」 t00006 0,1,0,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,0,1,0,1,1,1 9 「最簡分數」、「約分」、「公因數」、「等值分數」、「兩異分母比較」、「通分」 t00011 1,1,1,1,0,1,1,1,0,1,0,1,1,1,1,1,1,1,1,1,1,0,1,0,1,1,1 10 「最簡分數」、「約分」、「公因數」、「等值分數」、「兩異分母比較」、「兩同分母比較」、「通分」 s20011 1,1,1,1,1,1,0,1,1,1,1,1,1,1,1,1,0,1,0,1,1,1,1,0,1,1,0 12 「最簡分數」、「約分」、「兩異分母比較」、「兩同分母比較」、「公倍數」、「擴分」 w20022 1,0,1,1,1,1,1,1,0,1,1,1,1,1,1,0,1,1,1,1,1,1,1,0,1,1,0 11 「最簡分數」、「約分」、「兩異分母比較」、「通分」、「兩同分母比較」、「公倍數」、「擴分」 t20018 1,1,1,1,0,1,0,1,1,1,1,1,1,1,1,1,1,1,1,1,0,0,1,0,1,1,1 5 「最簡分數」、「兩異分母比較大小」、「通分」

19 研究結論 本系統確實可以有效節省施測題數，並有適性化的功能，且提供個別學習診斷報告書，讓學生可以立即知道自己的錯誤觀念，也有利教師進行補救教學。 利用本系統提供之各項功能，可以讓教師建立符合知識結構理論之適性測驗，並對班級之施測結果進行追蹤查詢。 透過學習診斷報告，可以將測驗單元所有的概念列出，以瞭解學生錯誤概念所在，讓教師針對學生不懂的地方做補救，學生亦可由多媒體補救教材進行自主學習，以達事半功倍之效。

20 未來研究方向 在系統實作與實際施測過程中，得到許多寶貴的經驗，可以做為後續研究方向，分述如下：
本系統因應數學領域命題，主要支援題型以選擇題為主，未來系統發展可朝向支援更多題型的呈現。 以目前之適性出題模組，可以有效節省試題，然而在節省試題下所得之結果與學生完整做完整份測驗是否會有所差異？可以做進一步的驗證。 可以針對使用過本系統之教師、學生進行系統使用評估調查，做為日後系統繼續研發的參考。

21 謝　謝　大　家！

22 94年康軒版六上數學各單元 平均 0.91 48.24% 74.87% 單元 名稱 信度 預測精準度=95% 預測精準度=90% 施測 題數
節省 百分比 K1101 數的十進結構 0.89 15 17 53.13% 7 25 78.13% K1102 因數與倍數 0.931 19 13 40.63% 10 22 68.75% K1103 平面與立體圖形 0.903 9 67.86% 8 27 96.43% K1104 分數的加減 0.923 11 33.33% 26 78.79% K1105 分數的乘法 0.921 12 41.38% 2 93.10% K1106 小數的乘法 16 48.39% 20 64.52% K1107 面積 0.875 14 50.00% K1108 比、比值與成正比 0.884 45.16% 54.84% K1109 分數的除法 0.935 54.29% 71.43% 平均 0.91 48.24% 74.87%

23 94年南一版六上數學各單元 平均 0.89 55.65% 79.03% 單元 名稱 信度 預測精準度=95% 預測精準度=90% 施測 題數
節省 百分比 N1101 十萬以上的數 0.859 19 21 52.50% 9 31 77.50% N1102 因數與倍數 0.869 13 18 58.06% 7 24 77.42% N1103 形體的性質 0.865 10 22 68.75% 25 78.13% N1104 分數的加減 0.914 16 54.29% 4 88.57% N1105 圖形的面積 0.856 5 26 83.87% N1106 小數 0.88 14 20 58.82% 73.53% N1107 容量和重量 0.91 53.33% 70.00% N1108 怎樣列式 0.887 6 80.65% N1109 分數的乘法 0.938 11 15 57.69% 84.62% N1110 土地的面積 0.928 17 51.52% 29 87.88% N1111 小數的乘法 0.915 48.39% N1112 比和比值 48.28% 65.52% 平均 0.89 55.65% 79.03% 每份試卷都經由600人左右進行施測，各份試卷信度在0.85制0.92不等，節省百分比 整份試題共41題，電腦適性測驗僅需施測19題就可預測出每一位學生41題的作答情形，而其預測作答情形與實際紙筆測驗作答有百分之九十五吻合度。

24 94年康軒版五上數學各單元 單元 名稱 信度 預測精準度=95% 預測精準度=90% 施測 題數 節省 百分比 K0901 整數四則
0.891 15 17 53.13% 6 26 81.25% K0902 重量和容量 0.911 13 21 61.76% 5 29 85.29% K0903 數列與圖形序列 0.843 16 19 54.29% 8 27 77.14% K0904 分數的乘法 0.92 20 54.05% 7 30 81.08% K0905 三角形 0.842 14 22 61.11% 83.33% K0906 因數與倍數 0.903 51.61% 24 77.42% K0907 時間的計算 0.929 58.33% K0908 統計圖表 72.41% 82.76% K0909 體積和表面積 0.881 25 78.13% 平均 0.885 57.76%

25 94年南一版五上數學各單元 Back 單元 名稱 信度 預測精準度=95% 預測精準度=90% 施測 題數 節省 百分比 N0901
概數與概算 0.891 15 17 53.13% 6 26 81.25% N0902 快慢和時間 0.923 21 14 40.00% 13 22 62.86% N0903 垂直、平行和四邊形 0.845 25 34.21% 16 57.89% N0904 小數和乘法 20 45.95% 9 28 75.68% N0905 統計圖 0.804 51.52% 24 72.73% N0906 立方公分 0.888 19 59.38% 7 78.13% N0907 因數與倍數 0.916 38.89% 61.11% N0908 長方體和正方體 0.889 46.67% 8 73.33% N0909 容量 0.905 75.76% N0910 多邊形和內角和 0.912 55.88% 27 79.41% N0911 怎樣計算 0.926 42.86% 77.14% 平均 0.893 47.27% 72.30%

26 帳號管理模組

27 題庫管理模組－１

28 題庫管理模組－２

29 題庫管理模組－３

30 測驗管理模組

31 適性測驗出題模組

32 學習診斷模組

33 補救教學分類模組

34 多媒體補救教學模組

35 測驗統計模組