Lecture 7 試題分析 試題分析的意義 試題分析的目的 試題分析的步驟 試題難度分析 試題鑑別度分析 難度與鑑別度的關係 選項分析
試題分析的意義 由受試者在試題上作答反應的資料,根據心理計量的原理,來評估試題的品質
試題分析的目的 評估試題品質 協助發展有信度有效度的測驗 增進命題技巧 了解學生學習狀況
試題分析的步驟 施測試題 計分 依總分高低排列試卷 取得分最高的27%為高分組,最低的27%為低分組 分別計算高分組及低分組在各題上答對的人數及百分比 計算各題難度指數 計算各題鑑別度指數 計算高分組及低分組在各題各選項選答的人數及百分比
選項 A B C* D 高分組 6 28 20 低分組 2 14 38
試題分析方法 難度分析 鑑別度分析 選項分析
試題難度分析 意義 試題難易的程度 分析的方法 以答對百分比分析(難度指數--P) 以等距量尺分析(Delta--Δ)
試題難度分析 以答對百分比分析(難度指數--P) R 全體答對百分比 高分組、低分組答對百分比 P = —— x 100 N PH + PL 2
試題難度分析 以等距量尺分析(Delta--Δ) △= 13 + 4Z
以等距量尺分析 2.15% 13.59% 34.13% 34.13% 13.59% 2.15% Z z 1 5 9 13 17 21 25
試題難度的要求 一般情形:宜選難易適中者(介於.40 ~.70 或.80) 甄選優秀人才時:選用較難的試題 診斷學習困難時:選用較容易的試題
試題鑑別度分析 意義 試題能區分應試者能力高低的程度 分析的方法 極端組群的方法(鑑別度指數--D) PH:高分組答對百分比 D = PH – PL PH:高分組答對百分比 PL :低分組答對百分比 內部一致性的方法 刪題的方法
鑑別度的評鑑標準(Ebel, 1965) .40以上 極佳 .30 ~ .39 佳,稍微或無須修改 .20 ~ .29 尚可,需作修改 .19以下 差,需淘汰或大幅修改 ※通常應在.25以上
難度與鑑別度的關係 1.0 .8 .6 .4 .2 鑑 別 指 數 .2 .4 .6 .8 1.0 難 度 指 數
選項分析 目的: 判斷的原則: 根據高低兩組在各選項上的選答次數,判斷選項的有效性 有效的「誘答」(不正確的選項)應至少有一位低分組者選答 有效的「誘答」應有較多的低分組者選答
選項分析實例 題號 分組 A B C D 難度 鑑別度 51 高分組 43 97* 26 3 0.57 -0.01 低分組 38 99 31
評斷試題品質的原則 鑑別度.25以上;難度介於.40 ~.70(.80) 宜配合選項分析來判斷 鑑別度低不一定是不好的試題 可能是因為太難或太容易 可能是因為試題不同質 宜根據內容的分配來決定試題的取捨 宜根據同質的分測驗進行試題分析