主題: 測驗在評鑑中的角色 指導教授:丁文生老師 報告者:黃馨慧 資料來源: 王振世譯(2005)。評鑑模式:教育及 人力服務的評鑑觀點。 教育領導與評鑑研究所 評鑑模式 主題: 測驗在評鑑中的角色 指導教授:丁文生老師 報告者:黃馨慧 資料來源: 王振世譯(2005)。評鑑模式:教育及 人力服務的評鑑觀點。
第 六 章 測 驗在評鑑中的角色
測驗在評鑑中的角色 一、測驗是什麼? 二、評鑑使用選擇題測驗 三、評鑑中使用另類評估 四、方案評鑑中使用測驗所遭遇的問題
一、測驗是什麼? 四個中心概念 (一)一個測驗只聚焦在某特定感興趣的領域 (二)從測驗領域中抽取之行為、成果的樣本 (三)從測驗結果進行推論並用在確定結果上 (四)這些推論、決定或結果被稱為測驗效度
一、測驗是什麼? (續) (一)測驗領域 1.使用者所關心的範圍稱為測驗領域。 2.編製測驗的第一步就是界定測驗領域。 3.舉例:成就測驗及抽象特質測驗。 4.與評鑑的關係: (1)標準化測驗的適當性。 (2)名稱的隱含影響力。 。
一、測驗是什麼?(續) (二)從測驗領域中取樣 1.選取試題樣本來代表領域中的重要部分。 2.重視議題: 試題樣本是否能充分代表測驗領域? 3.測驗藍圖(test specifications )
一、測驗是什麼?(續) (三)從測驗結果進行推論 1.推論的概念 2.推論到不同領域(舉例:SAT測驗) 大學學業平均成績 語文 測 驗 大學運動員之合格性 獎學金
※SAT測驗(補充) SAT (Scholastic Assessment Tests) 測驗是由美國大學委員會(The College Board,大約4,300所美國大學共同組成的文教組織)委託教育測驗服務(Educational Testing Service,簡稱ETS)定期舉辦的世界性測驗,做為美國各大學申請入學的重要參考條件之一。SAT測驗分為SAT Reasoning Test 和SAT Subject Test兩種。 SAT Reasoning Test主要在測驗考生的英文程度、數學推論能力及英文寫作能力,作為預測考生進入大學後成績的參考資料,同時也可作為比較不同學校畢業生程度的參考;每種能力的最高得分為800分,總分為2400分。SAT Subject Test主要在測量考生在某一學科的知識和運用這些知識的能力,共有文學、數學、生物、化學、語言及聽力測驗等二十二種學科。
一、測驗是什麼?(續) (四)測驗的效度 常見誤解: 1.沒有所謂的一般有效的測驗。 2.效度化是一個在進行的、真實的且永不 停止的累積效度證據的過程。 3.測驗的效度是一種程度問題,不二分法。
二、評鑑使用選擇題測驗 (一)評鑑使用選擇題測驗的優點 1.測驗是客觀計分的。 2.測驗是非常有效率的。 3.在很短的時間內涵蓋大部分的測驗域。 4.具有良好的信度。 5.可信賴的訊息來源。 6.使用公制方式來提供分數。
二、評鑑使用選擇題測驗(續) (二)評鑑使用選擇題測驗的缺點 1.題目常是模稜兩可的。 2.不能提供具有診斷性的資料。 3.不能提供教師有用的訊息以改善教學。 4.無法觸及學生高層次的思考技巧。 5.若關係到獎勵或資格認可,可能對課程 會有負面影響。
三、評鑑中使用另類評估 另類評估(alternative assessment): 實作評估、學習檔案評量、以及高層次思考的 選擇題等。 共通特徵: 1. 關注的是一個完整的任務,而不是獨立無 關的片面訊息。 2. 要求受測者生產作品或表演展示,而不是 做選擇。
四、方案評鑑中使用測驗所遭遇的問題 我們做測驗的目的?希望從結果得到什麼推論? 測驗所測量的領域是我們原先有興趣的領域? 測驗所提供的常模團體對我們的測驗決策適當? 我們是否用了適當的計分方式?使用者瞭解? 有任何指標可以支持所得到的結論嗎? 每個年級的每位學生都需施測,才能做決策? 我們的選擇如何貼近教師教學豐富的脈絡知識? 哪些脈絡和邏輯上的限制會影響測驗形式的選擇?
※人格小測驗 (時間限制:3分鐘40秒) 一人拿一張百元鈔票到商店買了25元的東西,店主由於手頭沒有零錢,便拿這張百元鈔票到隔壁的小攤販那裡換了100元零錢,並找了那人75元零錢。 那人拿著25元的東西和75元零錢走了。 過了一會兒,隔壁小攤販找到店主,說剛才店主拿來換零錢的百元鈔票是假鈔。店主仔細一看,果然是假鈔。 店主只好又拿了一張真的百元鈔票給小攤販。 問:在整個過程中,店主一共虧了多少錢財?
這是一題可以輕易解決的數學邏輯考題, 看似無聊,其實題目裡出現了很多檢測人格特質的地方。 A.『不知道,這題目真無聊我放棄』 B. 『店主賠了75元』 C. 『店主賠了125元』 D. 『店主賠了200元』 E. 『店主賠了100元』
A. 約有5%的人會回答 『不知道,這題目真無聊我放棄』 屬於孔雀型人物,適合公關、業務。 您在公開場所一定都是大家矚目的重點人物, 善於表達,口才是您的重點優勢,記得善用喔。
B. 約23%的人會回答 『店主賠了75元』 屬於老虎,有領導統御特質,可擔任開創性的職務。 您的果斷力、與領導力相當充沛,屬於直覺敏銳的人物。 善用你的直覺加上鑽研專業領域的知識,您可以開創更高的天空。
C. 約38%的人會回答 『店主賠了125元』 屬於貓頭鷹,思慮縝密持續力超強,是秘書、行政、品管的最佳人選。 您的作業品質一定是部門最高分,敬業精神也一定很高分,主管交辦事項給您,一定最放心不過了。
D. 約19%的人會回答 『店主賠了200元』 屬於無尾熊,行動緩慢,思考多樣,適合美工、研發、變革等工作。 您很有創意與作怪的本事!腦袋沒有停下來的時候,主管若有什麼難題需要解決、找你一定可以激盪出更多的解決方法。
E. 只有15%可以答對 『店主賠了100元』 屬於變色龍,屬全方位人物。 您的心思很細膩,觀察透徹,勇敢果決,可說是企業接班人或是培訓人員的絕對種子。 假以時日,一定非同小可喔。
Thanks for your attention The End 報告完畢,謝謝您的聆聽