Interpretation of Test Scores 林陳涌 師大生物系

試題分析 試題的品質除了發展前需注意事項外, 尚可在測試後藉由統計的方法來了解試題的品質. 提高試題的品質以增進測驗的信度與效度

試題分析可提供的資訊 題目的功能是否如預期? NRT CRT 題目的難度是否適當? 題目是否有缺點? 題目的誘答是否有效?

試題分析的功能 回饋給學生 回饋給老師 提供改進課程的依據 增進教師命題的技巧

試題分析的步驟 1. 根據總分的高低依序排列試卷 2. 從最高分部分向下取總人數的27%為高分組(higher group), 再從最低分部分向上取總人數的27%為低分組(lower group)* 以27%所數據的可靠性最大, 一般合理的百分比在25%--33%之間.

試題分析的步驟 3. 分別計算高低分組在每個試題答對人數的百分比 PH PL 4. 計算每題難度指數 5. 計算每題鑑別度指數 P = (PH + PL)/2 5. 計算每題鑑別度指數 D = PH-PL 6. 檢查每一題所列選項的回答人數, 以確定誘答力

難度…….

難度分析 難度分析的主要目的在確定每一個試題的難度. 最簡單的是計算全體受試者答對每議題的人數的百分比. 有分高低分組則 P=R/N(100) 有分高低分組則 P = (PH + PL)/2

難度指數的意義 難度指數數值越大, 表示題目越簡單 難度指數數值越小, 表示題目越難 這種難度指數是一種順序量尺(ordinal scale), 無法說明各難度之間的差異大小. 這種難度指數容易計算與使用, 若要發展較精確的工具, 可使用等距量尺(interval scale)分析. (P. 263)

試題難度與測驗分數的分配 難度高的測驗, 如題目的難度均落在 P .25時, 其分配型態是正偏 題目難, 無法區別能力較低的學生 難度低的測驗, 如題目的難度均落在 P.80時, 其分配型態是負偏 題目簡單, 無法區別能力較高的學生 現在高中聯考的觀點

試題難度與測驗分數的分佈範圍 比較 三組的 變異數 (分布範圍) 信度 難度集中在.5 難度分散在 .1-.9之間 比較 三組的 變異數 (分布範圍) 信度 難度集中在.5 難度分散在 .1-.9之間 難度分佈在兩端 .1-.3, .8左右

鑑別度

鑑別力的分析法 內部一致性分析 旨在了解各個試題的功能是否和整個測驗的功能相符合一致. 此分析的假設是:整個測驗的分數具有某種程度的效度, 如果此假設成立,則個別的反應若和總分數之間具有一致性, 就表示題目有某種程度的效度. 鑑別度指數 D = PH-PL

鑑別度指數 鑑別度指數介於 -1.00--+1.00之間 鑑別度為0的因素可能 指數愈大, 鑑別度愈高 指數愈小, 鑑別度愈低 題目太難獲太容易 題目不清楚

難度與鑑別度的關係 圖8-4

試題選擇的標準 評鑑試題的優劣, 沒有一定的標準. 通常 先選出鑑別度較高的題目 在從中選出難度指數較適中的題目

鑑別度的評鑑標準(Eble, 1979) 鑑別指數 試題評鑑 0.40以上 非常優良 0.30--0.39 優良, 可能需要修改 鑑別指數 試題評鑑 0.40以上 非常優良 0.30--0.39 優良, 可能需要修改 0.20--0.29 尚可, 通常需要修改 0. 19以下 劣, 淘汰或修改

難度的評鑑標準 以接近 0.50的試題最為適宜 很難全找到 接近0.50的試題 選題仍需視測驗的目的 興趣 雙向細目表的分配, 但需力求全測驗的平均難度接近0.50

選目的有效性分析-1 組別 選目 A B* C D N D P 高分組 2 16 1 1 0 0.4 0.6 低分組 5 8 4 3 0

選目的有效性分析-2 組別 選目 A* B C D N D P 高分組 14 0 0 6 0 0.1 0.65 低分組 12 0 8 0 0

選目的有效性分析-3 組別 選目 A B C* D N D P 高分組 9 0 10 1 0 0.2 0.4 低分組 5 4 6 5 0

選目的有效性分析-4 組別 選目 A B* C D N D P 高分組 5 6 4 5 0 0.05 0.28 低分組 4 5 5 6 0

選目的有效性分析-5 組別 選目 A B C D* N D P 高分組 3 6 3 8 0 -0.2 0.50 低分組 3 1 4 12 0

選目的有效性分析-6 組別 選目 A B* C D N D P 高分組 0 10 10 0 0 0.1 0.45 低分組 2 8 8 2 0

標準參照評量的試題分析

鑑別力分析 教學前後的差異 接受教學與未接受教學的差異 精熟組與味精熟組的差異

難度分析 可用前述的方法 但因標準參照評量所以選題不要只找難度0.5的

測驗詮釋

資料分析的階層及範圍 1.試題表現 (Item Performance): 2.主題表現 (Task Performance): 以學生在某一試題之表現代表該試題所評測之主概念或評測目標之學習表現。 2.主題表現 (Task Performance): 以學生在某些相關試題的表現代表這些試題所評測的主概念或主題之學習表現。 3.分測驗表現 (Subtest Performance): 以學生在一分測驗的表現來代表該分測驗所評測之概念次領域(Sub-domain)之學習表現。

資料分析的階層及範圍 4.測驗表現 (Test Performance): 5.整體表現 (Total Performance): 以學生在一測驗的表現來代表該測驗所評測之概念領域(Domain) 之學習表現。 5.整體表現 (Total Performance): 以學生在整體測驗組(Test battery)的表現來代表該整體測驗所評測之學科之學習表現。

詮釋類型 敘述的解釋 溯因的解釋 預測的解釋 評斷的解釋

詮釋注意原則 解釋測驗者應了解測驗的性質與功能 測驗分數應為學生保密 解釋分數應參考其他有關資料 解釋分數應避免只給數字

詮釋注意原則 對低分者得解釋應更謹慎小心 解釋分數時應設法了解學生的感受 解釋分數只做建議, 而勿作決定 應以一段可信賴範圍解釋 標準誤 信賴水準

The End!

生物學習表現之認知精熟度階層 3.應用基本科學資訊(Applies, A) 4.統整科學資訊(Integrates, I) 分析及解釋資料。 應用科學知識進行推理、推論、預測。 分析資料並應用資料進行推理、推論、預測。 4.統整科學資訊(Integrates, I) 綜合各項資訊, 指出各變項之間的關係。 統整實驗過程及數據, 指出擬驗證之假說及 提出結論。 統整科學概念, 提出結論。 綜合各階層科學知識, 以解決問題。

生物學習表現之認知精熟度階層(Cognitive Proficiency Levels) 1.知曉科學知識(Knows, K) 記憶在學校課程或日常生活經驗中所習得之科學 事實或知識。 ‧區別或界定基本科學名詞、術語或科學實驗器材。 閱讀圖表。 2.了解基本科學原理法則(Understands, U) 了解基本科學概念、原理、法則 (Principles)。 了解科學學說和定律的內容。 了解科學知識間的關係。

測驗結果之解釋模式 1. 試題中心(Item-centered): 2. 目標中心(Objective-centered): 應用許多試題來評測及解釋某一內容領域的學習進展(Many test items are used to assess a large content domain.)。 2. 目標中心(Objective-centered): 每一項評測目標均有一定數目的試題來評測 及解釋(Each objective is assessed by a number of test items.)。

測驗結果之解釋模式 3. 分測驗中心(Subtest-centered): 一個測驗可以分為數個「分測驗」，每一個「分測驗」分別代表一個學習內容之「次領域」(Sub-domain)；而每一分測驗則由相當數目的試題組成，以評測及解釋相對應之「次領域」評測目標 (Each subtest is assessed with a moderate number of items.)。