教育評量與心理衡鑑專題研究 試題分析報告.

Presentation on theme: "教育評量與心理衡鑑專題研究 試題分析報告."— Presentation transcript:

1 教育評量與心理衡鑑專題研究 試題分析報告

2 試題分析的功用 一、作為改進學生學習的參考 二、作為實施補救教學的依據 三、作為修改課程建議的憑據 四、增進教師編製測驗的經驗
五、增進測驗題庫運用的效能 (余民寧，2000， 頁) 1

3 試題分析前的準備工作 一、輸入試題的標準答案 二、輸入原始反應資料矩陣 三、轉換原始反應資料矩陣為二元化計分 資料矩陣
四、依序排列學生得分的高低 五、依序排列試題答對人數的多寡 (余民寧，2000， 頁) 難度及鑑別度分析.xls 2

4 試題分析的步驟 1.根據學生原始得分之高低，依序由高往低排列學生的二元化反應組型 及其原始得分。
2.從原始得分最高的學生往下數，選取總人數25％（約四分之一）到33 ％（約三分之一）之間的學生數，當成高分組學生；並由原始得分 最低的學生往上數，選取總人數25％到33％之間的學生數，當成低 分組學生。 3.分別計算高分組和低分組學生在每一個試題上的答對人數及其百分比 值 (即ＰiH 及ＰiL)。 4.計算每個試題的難度指標： 5.計算每個試題的鑑別度指標：Di ＝ (ＰiH -ＰiL) 。 6.如果是使用選擇題的話，檢視每個試題中錯誤選項的回答人數，以分 析每個試題的誘答力。 (余民寧，2000，193頁) 難度及鑑別度分析.xls 3

5 難度指標的分析 一、答對百分比法 公式1. 計算全體學生中，答對 每個試題的人數佔總人 數的百分比値。 公式2.
Pi：難度指標 Ri：答對第i個試題的人數 N：總人數 PiH：高分組學生答對第i個試題的人數 PiL：低分組學生答對第i個試題的人數 難度指標的分析 一、答對百分比法 公式1. 計算全體學生中，答對 每個試題的人數佔總人 數的百分比値。 公式2. 每個試題高分組和低分 組學生答對人數百分比 之平均數。 (參見余民寧，2000， 頁) 4

6 難度指標的分析 二、范氏試題分析表法 △ ＝ １３ ＋ ４Ｚ
△：難度指標 Ｚ：標準化常態分配量尺上的標準分數 13：轉換公式的平均數 4：轉換公式的標準差 二、范氏試題分析表法 △ ＝ １３　＋　４Ｚ Ｐ ＝ 時 Ｚ ＝ 故 △ ＝ (-3) ＝ 1 Ｐ ＝ 時 Ｚ ＝ 故 △ ＝ (-2) ＝ 5 Ｐ ＝ 時 Ｚ ＝ 故 △ ＝ (-1) ＝ 9 Ｐ ＝ 時 Ｚ ＝ 故 △ ＝ (0) ＝ 13 Ｐ ＝ 時 Ｚ ＝ 故 △ ＝ (+1) ＝ 17 Ｐ ＝ 時 Ｚ ＝ 故 △ ＝ (+2) ＝ 21 Ｐ ＝ 時 Ｚ ＝ +3 故 △ ＝ (+3) ＝ 25 (引自余民寧，2000，199頁) 5

7 難度指標的分析 而P値接近0.50時，則表示該試題難易適中， 答對和答錯人數大約各佔一半。 0  P値  1 一般而言，
反之， P值愈小，表示該試題愈困難，愈少數的學生答對該 試題。 而P値接近0.50時，則表示該試題難易適中， 答對和答錯人數大約各佔一半。 0  P値  1 (引自余民寧，2000，197頁) 6

8 鑑別度指標的分析 一、內部一致性分析法(internal consistency) -1.00  D値  1.00
反映出命題很成功 D=-1，代表低分組的學生都答對，而高分組都答錯 反映出命題非常失敗 (參見余民寧，2000，202頁) 7

9 鑑別度指標的分析 二、外在效度分析法(external validity)
(ㄧ)點二系列相關（point-biserial correlation）法 (參見余民寧，2000，204頁) 8

10 鑑別度指標的分析 二、外在效度分析法(external validity) (二)二系列相關（biserial correlation）法
(三)φ相關（phi correlation）法 (參見余民寧，2000， 頁) 9

11 選項誘答力的分析 郭生玉教授提出兩個判斷原則： 一、至少有一位低分組學生選擇任何一個 不正確選項。 二、選擇不正確選項的低分組學生人數應
該比高分組學生人數還多。 (引自余民寧，2000，209頁) 10

12 試題分析範例 《選擇第1題》：若 a，10，b，c，31成等差數列，則a，b，31亦成等差數列，且其公差為 (1) 11 (2) 12
(1) 11 (2) 12 (3) 13 *(4) 14 選答人數 選項 * 難度(P) 鑑別度(D) 誘答力* 高分組 適當 低分組 11

13 試題分析範例 《選擇第3題》：比例尺1：200的地圖上有一個面積為χ的矩形，則實際面積為 (1) 200χ (2) 2000χ
(1) 200χ (2) 2000χ (3) 4000χ *(4) χ 選答人數 選項 * 難度(P) 鑑別度(D) 誘答力* 高分組 選項2、3 低分組 具誘答功能 12

14 試題分析範例 《選擇第4題》：已知A（4,3），B（-3,0），C（0,-2），D（3,-3）為平面上4 點，若以（1,0）為圓心，半徑長為4畫一圓，有多少點在圓內呢？ (1) 1 * (2) 2 (3) 3 (4) 4 選答人數 選項 * 難度(P) 鑑別度(D) 誘答力* 高分組 選項1 低分組 不明顯 13

15 試題分析範例 《選擇第2題》：坐標平面上，一直線過 (0,6)、(8,0)則以(0,0)為圓心，半徑為5的圓與此直線 (1) 不相交
(1) 不相交 (2) 相切 *(3) 交相異兩點 (4) 無法判定 選答人數 選項 * 難度(P) 鑑別度(D) 誘答力* 高分組 選項1 低分組 稍低 不明顯 14

16 難度與鑑別度之間的關係 D的最大值與題目難度的關係 P值 D最大值 1.00 .00 .90 .20 .70 .60 .50 .30
.10 (參見陳英豪、吳裕益，1996，355頁) 15

17 優良試題的挑選 鑑別度指標 試 題 評 鑑 .40 以上 非常優良 .30 - .39 優良，但可能需要修改
鑑別度指標 試 題 評 鑑 .40 以上 非常優良 優良，但可能需要修改 尚可，但可能需要修改 .19 以下 劣，需要刪除或修改 先挑選 D i  .25 再挑選 Ｐi  .50 (參見余民寧，2000，225頁) 16

18 第一次段考數學成績 次數分配表&折線圖 分析： 曲線呈現正偏態，成績集中在低分群中， 顯示出題目偏難。 17 組距 次數 累積 0~9 47
10~19 98 145 20~29 104 249 30~39 53 302 40~49 62 364 50~59 52 416 60~69 68 484 70~79 33 517 80~89 24 541 90~99 16 557 100 2 559 分析： 曲線呈現正偏態，成績集中在低分群中， 顯示出題目偏難。 17

19 第一次段考數學科試題 難度&鑑別度指標1 試題 1.難度(P) 答對百分比 2.難度(P) 鑑別度指標D 決策 (評鑑) 高分組 (PH)
低分組 (PL) 選1 0.68 0.96 0.30 0.63 0.66 保留 選2 0.31 0.46 0.25 0.36 0.21 選3 0.59 0.94 0.58 0.73 選4 0.40 0.65 0.23 0.44 0.42 選5 0.49 0.85 0.20 0.53 選6 0.81 0.99 0.51 0.75 選7 0.67 選8 0.60 0.95 0.28 0.62 18

20 第一次段考數學科試題 難度&鑑別度指標2 試題 1.難度(P) 答對百分比 2.難度(P) 鑑別度指標D 決策 (評鑑) 高分組 (PH)
低分組 (PL) 填1 0.60 0.97 0.11 0.54 0.86 保留 填2 0.65 0.93 0.27 0.66 填3 0.36 0.80 0.01 0.40 0.79 填4 0.04 0.13 0.00 0.07 刪去 填5 0.25 0.58 0.02 0.30 0.55 填6 0.28 0.69 0.35 填7 0.23 0.61 0.31 填8 0.64 0.10 0.37 19

21 第一次段考數學科試題 難度&鑑別度指標3 試題 1.難度(P) 答對百分比 2.難度(P) 鑑別度指標D 決策 (評鑑) 高分組 (PH)
低分組 (PL) 填9 0.34 0.75 0.06 0.40 0.69 保留 填10 0.31 0.03 0.36 0.66 填11 0.18 0.48 0.00 0.24 填12 0.21 0.61 0.01 計1(1) 0.54 0.89 0.12 0.50 0.77 計1(2) 0.38 0.74 0.04 0.39 0.71 計2 0.15 0.43 0.22 計3(1) 0.11 0.33 0.17 計3(2) 0.52 0.26 20

22 選擇題誘答效用性分析表 21 選項 1 2 3 4 第一題 高分組 162* 低分組 58 24 32 50* 第二題 63 25 79*
範例 低分組 58 24 32 50* 第二題 63 25 79* 65 53 40* 7 第三題 9 158* 73 22 44* 第四題 11 110* 37 10 35* 85 34 第五題 8 5 143* 12 55 31 31* 48 第六題 167* 90* 26 27 第七題 161* 55* 57 28 第八題 159* 44 46* 38 21

23 點二系列相關 22

24 內部一致性信度 K-R方法(Kuder-Richardson method) 《以此次分析之試題為例》 23

25 內部一致性信度 K-R方法(Kuder-Richardson method) 《以此次分析之試題為例》 24

26 結論分析 將成績由高至低順序排列後，取前30%(約168 人)為高分組，取後30%(約168人)為低分組， 並依此資料計算出PH值、PL值、D值…。 一般而言，鑑別度指標值愈高愈好，而可接 受的最低標準至少為0.25以上，低於此標準 者，即可視為鑑別度不佳或品質不良的試題 (余民寧，2000，224頁)。因此，此份試題中 的選擇第二題(D=0.21)及填充第四題(D=0.13) 即屬於鑑別度不佳的試題。 25

27 結論分析 點二系列相關係數值愈高，代表某試題的作 用與測驗總分的作用之間愈一致，其鑑別功 能愈強；反之，即代表某試題的作用與測驗 總分的作用之間愈不一致，其鑑別功能愈弱 (余民寧，2000，205頁)。此份試題中的選擇 第二題(rpb=0.2)、選擇第四題(rpb=0.4)及填充 第四題(rpb=0.4)低於0.5即屬於鑑別功能較弱 的試題。 26

28 結論分析 要從符合鑑別度指標達到0.25條件的試題中， 挑出難度值接近0.50者，實際上是有困難的。 有學者主張以0.40到0.80之間的難度值範圍作為 選擇題的挑選標準(余民寧，2000，225頁)。因 此，此份試題中的填充第五題(P=0.30)、第六題 (P=0.35)、第七題(P=0.31)、第八題(P=0.37)、 第十題(P=0.36)、第十一題(P=0.24)、第十二題 (P=0.31) 及計算第一(2)題(P=0.39)、第二(1)題 (P=0.22)、第二(2)題(P=0.17)、第三題(P=0.26) 即屬於鑑別度佳但難度較難的試題。 27

29 參考資料： 王文中、呂金燮、吳毓瑩、張郁雯、張淑慧(2004)。教育 測驗與評量─教室學習觀點。台北市：五南圖書。
王文科、王智弘(2004)。教育研究法。台北市：五南圖書。 余民寧(2000)。教育測驗與評量：成就測驗與教學評量。 台北市：心理出版社。 林清山(2003)。心理與教育統計學。台北市：東華書局。 陳英豪、吳裕益(1996)。測驗與評量。高雄市：復文圖書 出版社。 28