公平有效的測量 師資培育中心 陳承德 2016/1/21
測量與評量
本講重點 ◦ 潛在特質 - 單一、瞭解結構 ◦ 被測量者 - 標準化 ◦ 測量者 - 客觀、一致性 ◦ 測量工具 - 行為樣本、有效性 被測量 者 測量者 特質 測量工 具
◦ 瞭解「單一屬性」上的位置 測量的目的
測量的構成 ◦ 被測量物 ◦ 測量者 ◦ 測量工具
被測量物 ◦ 持久且一般 1. 待測量特質 ◦ 國文、英文、數學 … 2. 應試智慧 ◦ 先瀏覽，再作答 ◦ 從容易（熟悉）題目開始 3. 理解指導語與考題的能力 ◦ 閱讀理解、符號共識
被測量物 ◦ 持久但特定 1. 待測量之特定特質 ◦ 國文的修辭、字彙、發音、閱讀理解 2. 穩定的反應心向 ◦ 選擇題選「 C 」、是非題猜「是」 3. 題目熟悉度 ◦ 利用網球情境來測量計算能力 ◦ 托福的英聽（淘金熱、流感）
被測量物 ◦ 短暫但一般 1. 健康、疲勞、情緒、動機、溫度、燈光 ◦ 短暫且特定 1. 暫時性心靈架構 ◦ 考試前看了報紙報導國際新聞，之後考英文時出現方才國家名稱 2. 特定技巧熟練度 ◦ 心理動作（鏡像） ©
被測量物 ◦ 公平是？ ◦ 理解指導語與考題的能力 ◦ 選擇一個大家都熟悉的例子作為題目的情境 ◦ 健康、情緒、環境（燈光、噪音）、時間 ◦ 測驗前有足夠的練習，確認瞭解作答方式 標準化
不理解有多糟糕？
剛剛的笑話，好笑嗎？ ◦ 好笑 ◦ 還可以 ◦ 不好笑
這隻筆多長？
測量者 客觀 ◦ 測量者間共識 ◦ 越多人，越有信心 ◦ 評分者間信度 大家都說好笑！ 可能真的好笑
測量者 ◦ 但是當你成為一個獨當一面的助教時，找誰來達成「共識」 ◦ 老師？ ◦ 同學？ ◦ 臉書或咕狗大神？ ◦ 自己？
測量者 ◦ 沒人挺 … 怎麼辦？ ◦ 評分者內信度 ◦ 穩定的嚴或鬆 ◦ 給全班 0 分 ◦ 超一致 被同學討厭 ◦ 給全班 100 分 ◦ 超一致 被教授討厭 我 … 覺得 … 好 笑 … 吧（虛弱）
測量者 ◦ 與答案有關 ◦ 字跡 ◦ 詞不達意 ◦ 與時空間有關 ◦ 情緒 ◦ 環境 ◦ 與心理學有關 ◦ 月暈效應 (Halo) ◦ 對比效應 (Contrast)
測量者 ◦ 公平是？ ◦ 找個有力的靠山 ◦ 穩定的嚴或鬆 ◦ 改考卷前，先找個愉快空間 ◦ 一氣呵成 ◦ 一次只改一題（月暈） ◦ 歸零、洗牌 ◦ 避免知道學生姓名
眾口真能爍金嗎？ ◦ 可惜的是，測量學 生的「特質」，就 像瞎子摸象 ◦ 「潛在」特質 ◦ 無法觀察的
布下方蓋著一枝筆，你怎麼量他多長？
測量工具 ◦ 至少要 … ？ 題目數 三個臭皮匠 … 分散？ 集中？ 布魚雷 鑽油井 測量目的 常模 效標
測量工具 ◦ 1 個選擇題，把學生分成 2 類（對與錯） ◦ 2 個選擇題，把學生分成？類 … ◦ 題目越多 分類越多 測的越好（區辨力）
測量工具 ◦ 目的在區分整體學生 每個人一類 （常模） ◦ 特質（智力）是常態 ◦ 題目怎麼安排？
測量工具 ◦ 目的在區分整體學生 每個人一類 ◦ 特質（智力）是偏態 ◦ 題目怎麼安排？
測量工具 ◦ 目的在區分會不會某件事 共兩類 （效標） ◦ 區分天才 ◦ 區分及格者 ◦ 區分低成就者 天才題 低成就 題
測量工具 ◦ 分散 ◦ 難易度 ◦ 單元 ◦ 內容（理解、應用、分析、評鑑） ◦ 通常 … 不太需要助教來出題，老師已經出完了
測量工具 ◦題◦題型 ◦選◦選擇題 ◦填◦填充題 ◦應◦應用題 ◦簡◦簡答題 ◦申◦申論題 ◦作◦作文題 ◦實◦實作題 ◦…◦… 有標準 答案 沒標準答案 部份給分 沒標準答案 評定量尺
測量工具 ◦ 部份給分 1. 預先決定正確答案綱要 2. 切割元素 3. 配分
測量工具 ◦ 評定量尺 / 評分標準 1. 面向：被測量的知識、技能、理解 2. 量尺：區分不同級別的表現 3. 指標：判斷面向掌握度
面向 量尺 指標
測量工具 ◦ 檢核表 / 實驗 1. 列出可被觀察的行為 2. 清楚、明確、適合學生程度 3. 合理個數（ ）
測量工具 ◦ 演講
測量工具 ◦ 作品量表 1. 找到臨界的作品 2. 陳列排序 3. 比對
評量工具 ◦ 公平是？ 1. 題數夠不夠？ 2. 分散還是集中？ 3. 無關答案給分嗎？ 4. 書寫工整性算分嗎？ 5. 可以選題目作答嗎？ 6. 題目描述夠清楚嗎？ 7. 評分標準可以先給嗎？ 8. 先有標準還是先看學生答案？
總結 ◦ 潛在特質 - 單一、瞭解結構 ◦ 被測量者 - 標準化 ◦ 測量者 - 客觀、一致性 ◦ 測量工具 - 行為樣本、有效性
Q&A