楊志強 博士 國立台北教育大學 cyang@tea.ntue.edu.tw http://tea.ntue.edu.tw/~cyang 成就測驗之編製： 以紙筆測驗為例 楊志強 博士 國立台北教育大學 cyang@tea.ntue.edu.tw http://tea.ntue.edu.tw/~cyang.

Presentation on theme: "楊志強 博士 國立台北教育大學 cyang@tea.ntue.edu.tw http://tea.ntue.edu.tw/~cyang 成就測驗之編製： 以紙筆測驗為例 楊志強 博士 國立台北教育大學 cyang@tea.ntue.edu.tw http://tea.ntue.edu.tw/~cyang."— Presentation transcript:

1 楊志強 博士 國立台北教育大學 cyang@tea.ntue.edu.tw http://tea.ntue.edu.tw/~cyang
成就測驗之編製： 以紙筆測驗為例 楊志強 博士 國立台北教育大學

2 成就測驗的意義

3 凡是測量由後天學習而得到某些知識或技能之程度的測驗。
如：小考、段考、月考、 期中考、 期末考、國民中學學生基本學力測驗、大學學科能力測驗…

4 編製步驟

5 步驟一：決定測驗目的

6 評估學習的起點行為：安置性目的 偵知學習進步的情形：形成性目的 診斷學習困難的原因：診斷性目的 評定學習成效：總結性目的

7 步驟二：決定測驗目標

8 Bloom認知領域教育目標 知識（knowledge） 理解（comprehension） 應用（application）
分析（analysis） 綜合（synthesis） 評鑑（evaluation）

9 量化測驗目標之例舉 知識 理解 應用 長方形面積＝長×（ ） 有一長方形的長為3公分，寬為2公分，請問面積是（ ）平方公分。
長方形面積＝長×（　） 理解 有一長方形的長為3公分，寬為2公分，請問面積是（　　）平方公分。 應用 要製作一面長20公分，寬10公分的旗幟，需要多少面積的布料？

10 量化測驗目標之例舉 分析 綜合 要製作一面100平方公分的長方形旗幟，已知長為20公分，請問寬必須為幾公分？
有一面積25平方公尺的地板，須要多少個長5公分，寬2公分的磁磚才能完全鋪滿？

11 有一房間地板要完全鋪滿磁磚。甲品牌磁磚長方形，長4公分，寬6公分，每塊4元。乙品牌磁磚正方形，邊長5公分，每塊5元。
量化測驗目標之例舉 評鑑 有一房間地板要完全鋪滿磁磚。甲品牌磁磚長方形，長4公分，寬6公分，每塊4元。乙品牌磁磚正方形，邊長5公分，每塊5元。 請問用哪種品牌磁磚最省錢划算？

12 TIMSS 2007 評量架構之認知領域 知道（knowing） 應用（applying） 推理（reasoning）

13 量化知道的內涵 知道的認知領域包括學生需要知道的事實、程式和概念。
記得：記得定義、專有名詞、數的特性、幾何的特性和表示的方式(如a × b = ab, a + a + a = 3a) 。 識別：識別數學上的物體、形狀、數字和符號；識別相等的數學本質，例如等值的分數、小數和百分率；識別簡單幾何圖形的不同的面向。 計算：結合整數、分數和小數，進行具規則系統的四則運算；運用概數來進行估算；完成一般代數式子。 擷取：從圖、表格或者其他來源擷取訊息；讀簡單的縮尺。 測量：適當地使用測量器具、測量單位，並且能進行估測。 分類/排序：依據共同的特性，將物體、形狀、數字和符號分類；做出正確的種類判斷；根據屬性排序數字和物體。

14 量化應用的內涵 應用的認知領域將焦點集中於學生應用已經理解的知識和概念，來解決問題或回答問題的能力。
選擇：在已知的演算法或解決方法中，選擇一個有效率且適當的運算、方法或策略來解決問題。 描述：運用圖示、表格和圖表來展示數學的訊息和資料，產生一個已知數學實體或關係的相同描述。 建立模式：產生一個合適的模式，例如為解決一般問題的一個方程式或圖示。 執行：依循並且執行一套數學上的指示。 解決一般問題：解決一般問題，這些問題即類似於學生在課堂上可能遇到所欲達到的目標。例如使用幾何學特性或圖表、表格和圖像的資料，來解決一般問題。

15 量化推理的內涵 推論的認知領域指超越一般問題的解決辦法，它包含不熟悉的情勢、複雜的脈絡和多面向的問題。
分析：在數學情境裡，確定、描述與使用變量之間或物體之間的關係；使用成比例推理；分解幾何圖形以簡化地解決一個問題；推斷一個特定不熟悉固體的淨重；呈現三維圖形的轉變；對照和比較相同的數據資料的不同的描述方式；並且從已知的訊息做有根據的推論。 一般化：藉由更普遍、更廣泛適用的項目來重新陳述結果，以擴大數學思考和問題解決效果的適用範圍。 綜合/結合：結合各種數學步驟來建立結果，並且結合結果以產生一個更進一步的結果。製造不同的知識要素和有關的描述之間的連接，和製造有關的數學想法之間的連合。 辯解：為有關數學結果或特性陳述的真假，提供一個正當的理由。 解決非一般問題：解決數學上或實際生活情境問題時所欲達到的目標，學生們不太可能遇到極為相似的目標，並且需要在不熟悉或複雜的內容中應用數學程式。使用幾何學特性解決非一般問題。

16 步驟三：列出教材大綱

17 以九年一貫課程數學領域主題為例 數與量 幾何 代數 統計與機率 連結

18 以六年級下學期翰林版數學教材為例 第1單元 圓周率與圓周長（數與量） 第2單元 百分率（數與量） 第3單元 統計量與圓形百分圖（統計）
第4單元 圓面積（數與量） 第5單元 立體圖形（幾何、代數） 第6單元 速率（數與量、代數） 第7單元 比例尺（幾何） 第8單元 平面座標（幾何） 第9單元 幾何公式與代數律（代數）

19 以七年級上學期南一版數學教材為例 第一章 數與數線 第二章 分數的運算 第三章 一元一次方程式 1-1 正數與負數 1-2 數線與絕對值
1-3 整數的加減 1-4 整數的乘除 1-5 指數律與科學記號 第二章 分數的運算 第三章 一元一次方程式

20 步驟四：建立雙向細目表

21 例一(題數) 教學目標 教材內容 知識 理解 應用 分析 綜合 評鑑 題數 百分比 數與量 1 3 2 8 20% 幾何 代數 10 25%
8 20% 幾何 代數 10 25% 統計與機率 連結 4 10% 40 100%

22 例二(題號) 教學目標 教材內容 知道 應用 推理 題數 百分比 數 1,2,3,4 5,6,7,8 9,10 10 30% 代數
11,12,13,14 15,16,17,18 19,20 幾何 21,22 23,24,25 26,27 7 20% 資料與機率 28,29 30,31 32,33 6 12 13 8 33 100% 35% 40% 25%

23 例三(題數) 測驗目標 教材大綱 定義與基本概念之知識 定理及相關性質之理解 數學性質綜合分析轉化應用 圖、表及計算器具之瞭解與應用 題數
% 式的運算 1 3 12% 直角座標系 4% 指數與對數 三角函數 2 4 16% 數列與級數 8% 直線方程式 二元一次不等式 圓 排列與組合 機率 10 8 5 25 100% 40% 30% 20% 10%

24 步驟五：確定試題目標

25 教學目標 教材內容 知道 應用 推理 數 8-n-01 能理解二次方根的意義。 N-4-01 8-n-02 能求二次方根的近似值。 N-4-01 … 代數 8-a-01 能熟練二次式的乘法公式 。 A-4-01 8-a-02 能理解簡單根式的化簡及有理化。 A-4-01 幾何 資料與機率

26 步驟六：選擇紙筆測驗題型

27 選擇型試題/客觀測驗 補充型試題/論文測驗 選擇題 是非題 配合題 填充題（亦屬客觀測驗） 簡答題（亦屬客觀測驗） 限制反應式問題（問答題）
擴展反應式問題（申論題）

28 步驟七：試題品質與試題編擬

29 關聯性：測驗能適切地評量所期望的學習結果。
平衡性：涵蓋的教材內容要符合雙向細目表預定的比率。 有效性：測驗的編製、評分方式及作答時間要經濟有效。 客觀性：該領域的專家應可得滿分或接近滿分。 特殊性：未具備該領域知識者僅能憑猜測作答。

30 適當的難度：測驗的難易度要適中。 良好的鑑別度：能區別高低學習成就者。 信度：測驗的結果要一致性或可靠性。 效度：測驗內容能真正測量到所欲測量的特質。 公平性：每一位受試者都有相等的機會，來表現他真正的學習成就。

31 步驟八：試題修整與審查

32 預試前之質性分析 檢 核 項 目： 專家效度 內容效度 表面效度

33 內容檢核 試題內容是否能達成該題欲評量之目標？ 試題是否能清楚的表達題意？ 試題用詞是否簡短清晰？
試題是否只問一個問題，避免同時包含太多概念？ 試題是否避免包含某一族群所特別熟悉的訊息？ 試題的英文原文或翻譯是否正確？ 試題是否與學生的生活經驗相結合？ 試題是否避免含有暗示答案的線索？ 試題是否避免歧視性別或種族的字眼？

34 題幹檢核 題幹是否保持完整，沒有中斷？ 題幹中的關鍵詞或否定句是否加上底線？ 附圖或表是否置於題幹後、選項前？
在各選項中共同文字是否置於題幹內？ 題幹是否避免使用雙重否定？ 題幹是否完整敘述欲評量的主要概念？

35 選項檢核 選擇正確選項是否基於受試者具備該題欲評量目標上之能力？ 答錯正確選項是否基於受試者不具備該題欲評量目標上之能力？
選項的用詞是否與題幹一致？ 選項是否符合題幹問法的邏輯？ 選項表達方式是否保持一致？ 選項內容是否互為獨立？ 選項內容是否按邏輯順序排列？ 錯誤選項是否具有誘答力？ 是否避免「以上皆非」、「以上皆是」的選項？ 正確答案是否是公認的且不具爭議性的？ 每一題的選項數目是否一致？

36 選項編輯檢核 選項號碼應與選項敘述相差半型空白。 選項間次序應為垂直排列。 選項間內容敘述宜為等長。 選項間內容次序應為邏輯排列。

37 請逐一檢查每個試題是否具有以下的問題。若為「否」，請重新修改試題。
試題檢核表 是 否 試題的表達方式是否能切合該題評量目標？ 答對該題是否可以算是具備該題項評量目標上所描述的能力？ 答錯該題是否就不具備該題項評量目標上所描述的能力？ 試題能否清楚的表達題意？ 試題是否只問一個問題？ 題幹與選項的文法是否一致？ 題幹與選項的邏輯是否連貫？ 題幹是否保持完整，沒有被分割開來？ 選項中是否只有一個最佳或正確答案？ 選項是否相互獨立，彼此間沒有邏輯上的連貫？ 選用的短文圖表是否符合該題的評量目標？ 各選項的字數是否相當？ 試題中是否已經避免歧視（性別、種族、居住地區等）的字眼？ 試題中的訊息並非某些群體（性別、種族、居住地區等）所特別熟悉的？ 答對本題的機會，並不會受到評量目標以外的其他因素的影響？ 試題未曾在任何考試或出版品中出現過？ 選項的表達方式（包括用詞、文法與長度）是否都相似？ 請逐一檢查每個試題是否具有以下的問題。若為「否」，請重新修改試題。

38 試題例舉

39 試題的表達方式要能切合評量目標 評量目標：能理解重要科學名詞的意義。
小文到動物園參觀，看見台灣彌猴區的標示牌上寫著Macaca cyclopis。請問其中的Macaca是 (A)俗名 (B)種名 (C)學名 (D)屬名

40 修正後 小文看見四種生物，其學名分別為： 「Arnica cordifola」「Dryas bipetala」
「Dryas octopetala」「Kandelia cotopetala」 請問哪兩種的血緣關係最接近？ (A) Arnica cordifola和Dryas bipetala (B) Dryas octopetala和Dryas bipetala (C) Dryas octopetala和Kandelia cotopetala (D) Kandelia cotopetala和Arnica cordifola

41 試題要能清楚的表達題意 自立牌肉鬆半台斤350元，廣鄉牌肉鬆500公克500元，唯統牌肉鬆1磅400元，東日牌1兩50元，請問哪一種肉鬆最省錢？ (A)自立牌 (B)廣鄉牌 (C)唯統牌 (D)東日牌

42 修正後 自立牌肉鬆半台斤500元，廣鄉牌肉鬆500公克500元，唯統牌肉鬆1磅400元，東日牌1兩50元，請問哪一種肉鬆最划算？
(A)自立牌 (B)廣鄉牌 (C)唯統牌 (D)東日牌

43 試題只問一個問題，避免同時包含太多概念 關於下列「」中字的說明，以下何者正確？ 甲：「牢」騷滿腹 ； 乙：「勞」軍活動
丙：「勞」苦功高； 丁：身陷「牢」籠 (A)甲、乙讀音相同，意義相同 (B)甲、丁讀音相同，意義不同 (C)乙、丙讀音相同，意義不同 (D)丙、丁讀音相同，意義相同

44 修正後 「 牢騷滿腹 」中的「牢」字，與下列何者「」中的字讀音不同？ (A)身陷「牢」籠 (B) 「勞」軍活動 (C) 「勞」苦功高
(D)結構「牢」固

45 試題宜與學生的生活經驗相結合 資訊組想買伺服器與光學讀卡機。伺服器每台8萬元，光學讀卡機每台15萬元，預算只有60萬元。如果最少需要2台伺服器、1台光學讀卡機，請問可以請廠商開幾種不同的估計單？

46 修正後 小強想買原子筆與作業簿。福利社中的原子筆每支8元，作業簿每本15元，他身上只有60元。如果他最少需要買兩本作業簿，一枝原子筆，請問有幾種不同的買法？

47 題幹或選項中，應避免出現可能提供正確答案的線索
The fruit that fell on Newton’s head is an (A) apple (B) banana (C) coconut (D) pineapple

48 修正後 The fruit that fell on Newton’s head is (A) an apple (B) a banana
(C) a coconut (D) a pineapple

49 題幹的敘述應保持完整，避免被選項分割成兩個部份
The teacher (A) is speaking (B) is talking to (C) speaks (D) talk to a little girl.

50 修正後 The teacher a little girl.
(A) is speaking (B) is talking to (C) speaks (D) talk to

51 選項具有誘答力 日本的首都在 (A) 台北 (B) 北京 (C) 東京 (D) 華盛頓

52 修正後 日本的首都在 (A) 大阪 (B) 京都 (C) 東京 (D) 神戶

53 應避免「以上皆是」或「以上皆非」的選項 下列何者屬於「四維八德」中的「八德」？ (A) 仁 (B) 孝 (C) 忠 (D) 以上皆是

54 修正後 下列何者屬於「四維八德」中的「八德」？ (A) 仁 (B) 勇 (C) 勤 (D) 廉

55 選項應相互獨立，彼此之間沒有邏輯上的關聯
小明的5呎2吋，他的身高應該高於? (A) 150cm (B) 160cm (C) 170cm (D) 180cm

56 修正後 小明的5呎2吋，他的身高應該最接近? (A) 150cm (B) 160cm (C) 170cm (D) 180cm

57 試題中應避免歧視性別或種族的字眼 某次智力測驗結果發現，男生班的平均為125分，女生班的平均105分。請問男生班的智商比女生高出多少?
(A) 10 (B) 20 (C) 30 (D) 40

58 修正後 某次智力測驗結果發現，甲班的平均為125分，乙班的平均105分。請問甲班的智商比乙班高出多少? (A) 10 (B) 20
(C) 30 (D) 40

59 附表一律置於題幹之後，選項之前，並在標題欄內以括號註明單位
下表是最近一個月的集中市場塑膠類股與金融類股股價的敘述統計。若要比較這兩種類股的股價波動情形，可使用下列何種檢定統計量？（單位：元） 類股 平均股價 股價標準差 塑膠 15.32 5.17 金融 12.34 4.22 (A) t檢定 (B) z檢定 (C) 卡方檢定 (D) F檢定

60 在各選項中重複出現的文字宜置於題幹內 子路、冉求問孔子：「是不是聽到有道理的話，就應該馬上去做」?孔子回答子路：「要先問你爸爸或哥哥」。孔子回答冉求：「當然要立刻付諸行動」。關於以上描述，下列何者正確？ (A) 孔子的教育方法是因材施教 (B) 孔子的教育方法是循循善誘 (C) 孔子的教育方法是當機立斷 (D) 孔子的教育方法是隨機應變

61 修正後 子路、冉求問孔子：「是不是聽到有道理的話，就應該馬上去做」?孔子回答子路：「要先問你爸爸或哥哥」。孔子回答冉求：「當然要立刻付諸行動」。關於以上描述，可推知孔子的教育方法是？ (A) 因材施教 (B) 循循善誘 (C) 當機立斷 (D) 隨機應變

62 預試後之量化分析 檢 核 項 目： 難度指數 鑑別度指數 誘答力 選項特徵曲線

63 試題難度指數 假設班上有30位學生。某次數學月考，計有20人答對第一題試題。則其試題難度指數為

64 評審原則： 個別試題：0.4~0.8。 整體試題：平均0.5左右。

65 鑑別度指數 假設某次數學月考的第五題試題，高分組的難度指數為0.8；低分組的難度指數為0.2。則其鑑別度指數為

66 評審原則： 0.40以上：非常優良。 0.30~0.39：優良。 0.20~0.29：尚可。 0.19以下：劣。

67 選項誘答力分析

68 評審原則： 至少有一位低分組受試者選擇任何一個不正確選項。 選擇不正確選項的低分組受試者應比高分組多。

69 選項特徵曲線 Ramsay （1991 ）結合高低試題鑑別指數與核平滑估算法，發展出正確選項與誘答選項均可分析的核平滑化無參數試題特徵曲線估算法（Kernel Smoothing Approaches to Nonparametric Item Characteristic Curve Estimation）。 估計受試者分數排序（ranks）的函數和試題選項的選答情形之間的關係。 完全根據受試者實際作答資料進行分析，無需假設任何試題模式，是一種無參數的試題反應理論。

70 根據上述理論，以受試者的潛在能力為橫軸，選答率為縱軸，得一選項特徵曲線（option characteristic curve，OCC）。
軟體下載處：

71

72

73

74

75 實例說明

76 你覺得教室的面積大約是多少？ (1) 62公分 (2) 62公尺 (3) 62平方公分 (4) 62平方公尺

77 三年級

78 四年級

79 五年級

80 下列的大小關係，哪一個是對的？ (1) 130公分＞2公尺 (2) 2公里＜1900公尺 (3) 3公里3公尺＝303公尺 (4) 400公分＝4公尺

81 三年級

82 四年級

83 五年級

84 下列哪一個敘述「不對」？ (1) 體積大的物品一定比體積小的物品重 (2) 500公克比300公克重 (3) 公克是物品的重量 (4) 99公斤比100公克重

85 三年級

86 四年級

87 五年級

88 步驟九：編輯正式測驗

89 試題組合與題本檢核 試題的設計是否根據雙向細目表編製？ 題型或提問方式是否已避免連續多題相同？ 同一主題的題組是否已避免有過多的子題？
試題是否出現有母子效應（彼此相依、互為牽涉）？ 作答時間與試題難度間的比例是否合理？ 標準答案之分佈是否均勻？ 試題排列是否為由淺至深安排？ 題幹與選項是否安排在同一頁次？ 是否提供足夠的公式及查表用之資訊？

90 步驟十：正式測驗

91 步驟十一：建立題庫

92 Comment or Feedback?