楊志強博士 國立台北師範學院 cyang@tea.ntptc.edu.tw http://tea.ntptc.edu.tw/~cyang 測驗品質考驗與TestGraf 98的應用 楊志強博士 國立台北師範學院 cyang@tea.ntptc.edu.tw http://tea.ntptc.edu.tw/~cyang
良好的測驗品質
關聯性：測驗能適切地評量所期望的學習結果。 平衡性：涵蓋的教材內容要符合雙向細目表預定的比率。 有效性：測驗的編製、評分方式及作答時間要經濟有效。 客觀性：該領域的專家應可得滿分或接近滿分。 特殊性：未具備該領域知識者僅能憑猜測作答。
適當的難度：測驗的難易度要適中。 良好的鑑別度：能區別高低學習成就者。 信度：測驗的結果要一致性或可靠性。 效度：測驗內容能真正測量到所欲測量的特質。 公平性：每一位受試者都有相等的機會，來表現他真正的學習成就。
施測前 質化分析
雙向細目表 教學目標 教材內容 知識 理解 應用 分析 綜合 評鑑 題數 百分比 加法 1 3 2 8 20% 減法 乘法 4 12 30% 8 20% 減法 乘法 4 12 30% 除法 10 40 100% 25% 10%
施測後 量化分析
難度分析 試題難度指數 假設班上有30位學生。某次數學月考，計有20人答對第一題試題。則其試題難度指數為
評鑑原則： 個別試題：0.4~0.8。 整體試題：平均0.5左右。
鑑別度分析 內部一致性分析：探討個別試題和整個測驗總分之間的一致性。 外在效度分析：以外在效標為依據，檢驗每一個試題是否具有預定的某種鑑別功能。
鑑別度指數 假設某次數學月考的第五題試題，高分組的難度指數為0.8；低分組的難度指數為0.2。則其鑑別度指數為
評鑑原則： 0.40以上：非常優良。 0.30~0.39：優良；但可能需要修改。 0.20~0.29：尚可；但需做局部修改。 0.19以下：劣；需要刪除或修改。
點二系列相關係數/二系列相關係數 求出每一試題與總分之點二系列相關/二系列相關，以了解每一試題與總分之間的相關性/一致性。
相關係數的解釋 r=0 r=1 r=-1 r=-0.8 r=0.9 r=0.5
選項誘答力分析
評鑑原則： 至少有一位低分組受試者選擇任何一個不正確選項。 選擇不正確選項的低分組受試者應比高分組多。
TestGraf 98
Ramsay （1991 ）結合高低試題鑑別指數與核平滑估算法，發展出正確選項與誘答選項均可分析的核平滑化無參數試題特徵曲線估算法（Kernel Smoothing Approaches to Nonparametric Item Characteristic Curve Estimation）。 估計受試者分數排序（ranks）的函數和試題選項的選答情形之間的關係。 完全根據受試者實際作答資料進行分析，無需假設任何試題模式，是一種無參數的試題反應理論。
根據上述理論，以受試者的潛在能力為橫軸，選答率為縱軸，得一選項特徵曲線（option characteristic curve，OCC）。 軟體下載處： http://www.psych.mcgill.ca/faculty/ramsay/TestGraf.html
選項特徵曲線