徐秋月(立真) cyshyu@mail.nutn.edu.tw 國立臺南大學教育學系 經歷: U of Iowa, ACT Inc. 多元評量之理論、趨勢與概念 徐秋月(立真) cyshyu@mail.nutn.edu.tw 國立臺南大學教育學系 經歷: U of Iowa, ACT Inc.
內容綱要 緒論 教學評量的重要性與趨勢 多元教學評量的內涵與行政配套 測驗的編製步驟 紙筆測驗的命題原則 測驗結果呈現示例 大型測驗計畫試題示例
緒論
基本名詞 測驗(test) 測量(measurement) (教學)評量(assessment in teaching)
測驗 vs.測量 測驗(test) 測量(measurement) 一種特定的工具或系統化程序,通常包括一組試題,在固定時間與合理可比較的情境下對所有學生施測 。 重點在個人表現或與他人表現之比較 。 基本學力測驗、段考。 測量(measurement) 乃獲得量化的過程,用以描述個人擁有特殊特徵的程度,因此是使用數量來描述特質。 重點在量化描述。 如:智力商數 。
教學評量的意涵 教師將課堂上蒐集來的量化或質性的資訊加以選擇組織並加以解釋,用以對學生做決定或進行價值判斷的過程。 須確認學生須學習什麼(內容標準)、何時應達成何種程度的標準(表現標準) 。 獲得學生學習訊息的程序:觀察、紙筆測驗、延展式測驗(如論文)、實作的表現等。 兼顧量的描述(測量)和質的描述(非測量),並對結果作價值判斷。 如:「這個人的表現有多好?」
教學評量的意涵 決定、價值判斷:打分數、分組;評估教學進度、內容;班級經營方式。 教學評量不是教學的終點,其主要目的於分析教學得失及診斷學習困難,作為實施補救教學和個別輔導,及修正課程、教材、教法的依據(Kaltsounis, 1979;歐用生,1999)。
教學評量的重要性 與趨勢
評量的重要性 評量不僅是教學歷程的一環,教育改革的一個重點項目,更直接影響到課程內容的設計與規劃。4 一個設計良好的評量,可帶動教學的改變,亦即評量或測驗方式將會決定教學的內容 (Frederiksen, 1984; Resnick & Resnick, 1992),所謂良好的評量正是能將課程、教學與評量三者結合的設計。5
評量的重要性(續) 測驗與評量為許多重要的學習結果提供測量,也為其他與學習有關的事件提供間接證據。 測驗與評量的主要目標在獲得學生成就方面有效、可信和有用的訊息。 能力指標應是支持學生學習的依據,而非用以檢核學生能否升級或畢業。
教學評量的基本類型 依評分方式 依分數的解釋方式 客觀(objective)評量 主觀(subjective)評量:如口試、論文測驗 常模參照(norm-referenced)評量 標準參照(criterion-referenced)評量
教學評量的基本類型(續) 功能 教學前 教學中 教學後 準備度 安置 形成性 診斷性 總結性 測量的焦點 先備的起點技能 課程或單元目標 事先界定的教學段落 大多數共同的學習錯誤 樣本本質 選出技能的有限樣本 所有目標的廣泛樣本 學習作業的有限樣本 明確錯誤的有限樣本 試題難度 難度通常較低 難度範圍通常較廣 隨著教學段落而變化 施測時間 課程或單元開始時 定期於教學中進行 視需要於教學中進行 課程或單元結束時 結果的使用 補救起點的不足或分派至學習小組 教學規劃與高階安置 透過持續性的回饋改善並指導學習 補救與重要學習困難相關的錯誤 分派等第、確認成就或是評鑑教學
課程、教學、評量的關係 評量 課程 教學
評量與教學過程 Linn和Miller的教學模式,可描述教學、學習與評量三者間的關係。 確認教學目標 提供相關教學: 1.監督學習進度 2.診斷學習困難 事先評估學習者需求 評量意圖的結果 改善學習與教學 評分與向家長報告 用於學校其他目的
教學目標 教學目標在教學過程與評量過程中扮演一個關鍵角色,他們同時是教與學的指引,用以向他人溝通教學的意圖,並提供評估學生學習的基礎。換言之,教學目標就是評量目標。 讓學生和家長能清楚明白預期的學習結果,並清楚表示教師重視的表現類型。 圖2說明這些主要目的。
良好(教學)評量的特色 與教學相結合,將評量納入課程計畫的一環 學習者所欲證明的技能應是課堂上習得者 以評量設計激發學習者的學習動機和在測驗上的良好表現 以真實性讓學生專注投入學習 具挑戰性的作業 測量的不只是學習的結果也是過程
評量的趨勢 傳統評量觀點 現代評量觀點 二.真實性評量 一.行為主義的學習和評量觀點 1.強調學習成果 一.認知學派的學習和評量觀點 2.被動的反應者 3.評量分散,獨立的知能 4.忽略認知與情意對評量的影響 5.分散的事實與技能的堆積 一.認知學派的學習和評量觀點 1.強調評量的歷程 2.主動意義建構者 3.評量統整與跨領域的知能 4.關注後設認知與情意態度 5.強調知識的應用與使用 二.紙筆評量為主 評量無關聯與意義與基本記議能力, 單一正確答案,隱瞞評量的規準,重視名次 二.真實性評量 評量有關聯與意義與複雜思考能力, 多元正確答案,公開評量的規準,重視學習節奏與成長
評量的趨勢 傳統評量觀點 現代評量觀點 三.單一事件的紙筆評量 三.多次作品的檔案評量 四.評量單一向度的特質 四.評量多元向度的特質 靜態評量, 教師評分,無自評,不重視學生對評量的省思 三.多次作品的檔案評量 動態評量, 多元教師評分,學生自評,重視學生對評量的省思 四.評量單一向度的特質 評量單一能力, 能力固定性, 無學生發展與展現多元能力的機會 四.評量多元向度的特質 評量多元能力, 重能力的發展, 供學生發展與展現多元能力的機會 五.幾乎只強調個人評量 不強調團體互動技能, 評量個人作品 五.強調個人與團體評量 強調團體互動技能, 評量團體合作作品
多元教學評量的內涵
一、採用多元化的教學評量 教學須兼顧認知、情意與技能的學習成果,故評量不僅應分析知(知識)與行(實作)之間的差異,也應兼顧「過程或程序的表現」以及「作業與作品的表現」,透過這些不同的面向,在檢討教學成效與實施補救教學時,方能更為周延。
多元化教學評量之論點 Gardner(1993)提出未來評量將具有以下特色: 1.評量重於測驗:更重視全面性的了解與解釋。 2.評量應自然、簡單的融入教學歷程中。 3.評量宜在類似真實工作情境的狀態下進行,方 能得到最正確的結果,並做出較佳的預測。 4.評量工具應兼顧各種智慧。 5.利用多元的測量工具。 6.顧及個別差異、發展階段與各種不同的專業知 識所帶來的評量結果的差異。 7.評量素材趣味化。 8.將評量結果用以協助學生了解其學習的優缺點。
多元化教學評量的定義 多元評量乃是以教師教學與評量的專業為基礎,依據教學目標研擬適切的評量方式、決定評量內涵、評量人員、評量時機與過程(結合評量與教學),並呈現多元的學習結果,以提供更適性化的教學來增進學生成長(評量回饋化)。
國小老師說1 竹暄老師說:「其實多元評量並非是將以 往的紙筆測驗廢除,而是運用多元的方式 來進行評量者較為主觀性的評量,如實作 評量、口語評量、檔案評量、動態評量、 遊戲評量等,實施多元評量並非是學習的 終點,而是另一種更適性化學習的起點。」
國小老師說2 淑芬老師說:「所謂的多元評量,並非是單 一的評量方式,且多元評量乃是為了了解學 生學習成效的工具,只是種手段而非最終目 的,因此教師在考量多元評量時,應注重評 量目標及複雜設計為原則來實施,但要切記 多元評量並非萬靈丹,它仍有許多先天上的 限制,如增加工作負擔、經費負擔等。」
二、多元評量的迷思 多元評量並非廢除 多元評量並非學習 紙筆測驗。 終點。 多元評量並非一種 多元評量並非主觀 評量。 評量。 多元評量莫為多元 而多元。 多元評量並非目的。 多元評量並非學習 終點。 多元評量並非主觀 評量。 多元評量並非萬靈 丹。
三、多元化教學評量的特質 一、專業多元 二、內涵多元 三、過程多元 四、時機多元 五、情境多元 六、方式多元 七、人員多元 八、計分多元 九、結果呈現多元(兼顧認知、情意與技能三方面的闡述,多鼓勵、增強學生的優點,同時也應強調自我參照,引導學生自我比較、自我進步與自我實現。)
專業多元 掌握教學目標。 設計細目表。 專業判斷知能。 規劃評量方式或慎選題目類型。 兼顧技能與情意評量。 剖析教材內容。 善用命題技術。 適切解釋評量結果。
評量類型 工具舉例 評量功能
多元教學評量的行政配套
改善多元教學評量之行政配套 一、實施多元教學評量應掌握原則 二、實施多元教學評量應具備條件 三、實施多元教學評量的行政準備工作 四、推動多元教學評量之策略
一、實施多元教學評量應掌握原則 掌握活化教學與教學評量的趨勢 兼顧認知、情意、技能 納入小組長評量、同儕評量或自評。 兼顧平時評量與定期評量 適切結合學習檔案與學習成果紀錄。 兼容能力與努力,兼顧質化紀錄與量 化紀錄。EX:甲65或丁95。
二、實施多元教學評量應具備條件 家長 家長觀念與心態 家長支持與配合 舉例:注音闖關遊戲 教師 行政 教師專業素養 教師負擔與意願 精神支持 經費支援 場地或時間配合 家長 家長觀念與心態 家長支持與配合 舉例:注音闖關遊戲
三、實施多元教學評量的行政準備工作 宣導、溝通建立共識:改革的基礎 辦理實作專業研習 原則:循序漸進、相互觀摩、互助成長 原則:循序漸進、相互觀摩、互助成長 體認由生疏到熟練的歷程 原則:專業化、自主化、積極化、 活潑化、合作化 調整與研發評量辦法、表格簿冊
四、推動多元教學評量之策略 採用階段省思的「漸進推動」策略 提升專業素養的「學習機制」策略 善用共同參與的「民主參與」策略 激勵專業對話的「相互成長」策略 改善行為習慣的「提高效率」策略 營造創造無懲罰的「願者成長」策略
教學評量計劃的步驟 班級測驗與教學評量的主要目標在獲得與學生成就有關之有效的、可信的、和有用的訊息。 教學評量範圍可包以學期為單位,內容可包括下列各項: 1.教材版本:說明學科、教材版本、年級、冊別、單元名稱。 2.評量目標:可分認知、情意、技能三分面敘寫,亦可採行上述學習結果的分類敘寫。 3.評量方式、計分及所占比例(單元或主題):又可細分為領域、評量內涵、評量方式、及評量工具等項目。 4.評分規範舉隅:至少需列出二項作業的評分規範。 5.其它:評量運用方法、補救教學、補充說明、教學評量通知單等。
測驗的編製步驟
紙筆測驗的編製 參酌Linn和Miller(2005)觀點,並綜合多位學者觀點,(教師自編)紙筆測驗宜包括下列步驟: (1)決定測驗目的 (2)設計雙向細目表(含決定試題類型與題數) (3)準備或編擬測驗試題 (4)審查與修改測驗試題(善用試題量化指標) (5)編輯測驗試題 (6)施測、計分與評鑑測驗 (7)使用結果:改善學習與教學
紙筆測驗的編製(續) 紙筆測驗是一般教師常用的評量方式,但卻常出現缺失: (1)命題未編製細目表; (2)題目形式不當; (3)忽略命題原則; (4)忽略教科書重要內容。
紙筆測驗的編製-決定測驗目的 教師決定班級測驗與評量的目的時 應顧及教學時程: 教學前(準備度、安置性評量) 教學中(形成性、診斷性評量) 教學後(總結性評量) 決定測驗目的的前提為依據教學目標,教師若能詳細、具體、列舉教學目標,將更能提高測驗的有效性。
紙筆測驗的編製 -設計雙向細目表(評量架構) 確定測驗的教學目標與教材內容,以教學目標層次為縱軸,教材內容為橫軸的交叉表。 細格內容可分 傳統三類:題數(比重)、配分(比重)、題數(配分) 。 較精確的做法:可另有一表填入具體行為目標。 選取試題類型 選擇反應試題:是非題、選擇題、配合題 建構反應試題:填充題、簡答題、論文題 配置可評估教材內容、教學目標,及各試題類型的相對重要性
先在細格填入具體行為目標 認知領域教育目標之能力層次 記憶 理解 應用 內容 略 健康教育測驗 健康的身體 ‧ 能說出促進健康的基 本要則 ‧ 能指出人一生當中生 長發育最快的時期 ‧能區分貧血、血 友病與白血病的不 同 ‧能解釋影響生長 發育的原因 略 意外傷害與疾病的預防 ‧ 能指出常見創傷的種 類 ‧ 能說出A型肝炎的傳染 途徑‧ ‧能以自己的話來 描述不同的急救方 法 ‧能了解大量出血 時對人體的危害
雙向細目表- 示例 能力 內容 記憶 了解 應用 分析 評鑑 創作 合計 權利 救濟 1 3 2 10 生活 法律 5 4 20
閱讀能力評量 閱讀目的 閱讀理解 的過程 蒐尋運用資料 文學經驗 覺察及掌握明確陳述的資料 直接推斷 解釋及關聯文章內容 精緻閱讀並評鑑內容、語言和文章的要素
大型測驗評量架構示例 美國「全國教育進展評量」(NAEP)社會科架構National Assessment of Education Progress 國中基本學力測驗能力層次說明 GISA-SS: 台南大學測驗統計研究所洪碧霞老師與南部與南部幾個縣市教育局合作與的一個題庫建置案。 PISA :命題新趨勢
NAEP社會科架構說明 架 構 科 目 內容領域 能力層次 地理科 歷史科 公民與政府科 經濟科
基本學力測驗社會科架構 社會科課程,是藉由社會科學知識為素材,以培育學生成為優秀公民為宗旨。國民中學階段的學生在社會學科上應習得的能力包含下列三大項: 1.具備社會學科的基本知識 2.具備明瞭社會學科知識內涵的能力 3.具備批判性思考的能力
2013年GISA-SS 題庫架構 社會題庫之認知層次主要分為: 記憶、理解、高層次思考 內容則依據國小二年級到六年級與國中一年級的社會學習領域課程綱領
2013年GISA-SS社會領域認知層次概述表 記憶 能辨認社會學科中重要的名詞與觀念 理解 說明 記憶 能辨認社會學科中重要的名詞與觀念 理解 能掌握材料,釐清正確的訊息、能運用適合的圖表呈現資料、能檢視類似物中的一致性、能從資料中去推理可能的關係與趨勢 高層次 思考 能運用習得的知識於實際或新的情境、能將材料分解成構成要素,能辨認局部要素之間與對整體結構或目的的關聯、能根據規準與標準檢視材料的價值、能根據規準建立可能的假設、能將構成要素組成一個新整體。
2013年GISA-SS 題庫架構 二至七年級不同認知層次題數規劃 三 四 五 六 七 總題數 記憶 36 39 45 47 46 258 (31%) 理解 38 42 53 52 62 293 (36%) 高層次思考 31 44 50 58 276 (33%) 105 120 135 150 165 825 (100%)
2007年GISA-SS社會領域二至七年級 成就測驗題庫內容與認知雙向細目表 認知層次 內容領域 知識記憶 理解 高層次思考 總題數(%) 歷史 24 34 18 76(12.1%) 地理 107 95 68 270(42.8%) 公民 112 105 67 284(45.1%) 243(38.6%) 234(37.1%) 153(24.3%) 630(100%)
命題新趨勢: PISA素養評量的特色 目的:評量十五歲學生參與社會所需的關鍵知能。以國際比較方式,提供國家整體教育成效評鑑資訊,作為各國制定教育政策的参考。 內容涉及相關領域的各種情境脈絡與目的。 採取素養而非成就取向,以貼近真實的情境,評量學生重要知能的應用與溝通。 評量的焦點在於學生應用知能面對真實挑戰的表現,而不僅只是對學校課程的精熟程度。
PISA閱讀素養的評量架構 PISA 閱讀素養評量架構指導評量的發展,評量採題組 式,建基於三個特徵「文本text」、「情境situation」、 「歷程aspect」。 情境 (個人,公共, 教育, 職業) 歷程 擷取與檢索:文本訊息 統整與解釋:閱讀內容 省思及評鑑 文本 (媒介, 環境, 形式, 類型)
PISA閱讀歷程 (Aspect) 閱讀歷程 來自文本的訊息 擷取與檢索 統整與解釋 連結外在的知識 省思與評鑑 擷取訊息 廣泛理解 發展解釋 連結外在的知識 省思與評鑑 文本內容 文本形式
擷取與檢索 - 擷取訊息 此過程最多涉及句子層次,有些案例其訊息可能存於二個或多個句子,或在不同段落。 依據問題要求或指明的特點找出文中清楚寫出的訊息。 學生需能偵測或辨識出問題的一個或多個重要元素:角色、地點、時間、場景等。
統整與解釋 - 廣泛理解、發展解釋 從整體或以廣泛的觀點來考量文本。 要求讀者選擇或建立文本的標題或命題,或解釋簡易說明的順序,或確認一個圖形或表格的主要向度。 其他還包括描述一個故事的主要角色、場景或環境,或確認一篇文學文本的主題或信息,或解釋一個地圖或圖形的目的與用途。
省思與評鑑 - 文本內容與形式 將所閱讀的內容與自己原有的知識、想法和經驗相連結,經過判斷與省思過後,就文本內容提出自己的見解。 需要讀者離開文本,客觀地考慮並評鑑其品質與適當性,諸如文本結構的知識,風格和語體在此類作業扮演重要角色。
PISA試題類型 選擇式反應試題 封閉式建構反應題 要求學生回答較明確的語詞或句子,通常學生只需運用回憶的能力,或至多推測的能力 。 開放式建構反應題 要求學生提出自己的觀點以及支持理由和證據。讀者需依據文本內容或既有知識與經驗提出批判或說明。
紙筆測驗編製 – 編寫試題 注意事項: 教師依據雙向細目表中細格的題數與配分進行命題,試題型試依據具體化教學目標。 試題難度:不可偏離測驗目的與教學目標。(教師個人好惡) 命題原則:試題撰寫不應違反命題原則。
紙筆測驗編製 – 編寫試題 客觀式試題 論文式試題 測量能力 適用於測量記憶、了解、應用、分析等能力;若不經特殊設計,不適於測量綜合與評鑑能力 不適於測量知識的記憶;適於測量理解、應用、分析等能力,尤其是綜合與評鑑能力 內容取樣 以客觀式試題為主所組成的測驗,試題較多,涵蓋範圍較大,內容較具代表性 以客觀式試題為主所組成的測驗,試題較少,涵蓋範圍較小,內容取樣較不具代表性 試題準備 準備優良試題很難,且相當費時 雖準備優良試題亦難,但較客觀測驗容易 計分 客觀、簡單,且信度較高 主觀、困難、且信度較低 影響分數因素 閱讀能力和猜測 寫作能力與虛張聲勢 對學習影響 促進記憶、解釋,和分析他人的觀念 促進學生認識、統整,和表達自己觀念
紙筆測驗命題原則 選擇題
一般注意事項: 1.試題須能切合該題的評量目標。 2.試題內含的訊息不宜是對某些群體所特別熟悉或是比較陌生的。 3.題材儘量採取與考生的生活經驗有關的,避免一般學生不熟悉的題材。 4.避免未定或有所爭議的題材。
一般注意事項: 5.測驗所使用的語言與敘述必須為一般學生所能理解。 6.試題中所提供的資料與圖形應儘量與事實相符。 7.請選擇清晰可辨的圖形,無關的線條儘可能減少。 8.使用圖表命題時,圖表必須是答題時重要資訊的來源。
一般注意事項: 9.不要將四個是非題拼湊成一個選擇題,以致缺少一個明確的中心問題。 10.試題具有原創性,避免抄襲參考書、補習班講義或其他測驗。 11.試題用字或敘述應避免出現對特定族群 的歧視或褒獎。 12.每個試題只問一個獨立而明確的問題,避免同時包含太多概念。11
題幹部份 1.題幹要清楚表達題意,避免過短或過長,且只問一個問題。 2.在各選項重覆出現的文字,應放在題幹內。 3.題幹應盡量用正面的敘述,避免使用否定句,如須以否定句陳述問題,則需特別強調否定用字。 14 4.避免提供正確答案的暗示性線索。 5.題幹的敘述應保持完整,避免被選項分割成兩個部份或段落 。 13
題幹部份 6. 若以「未完成敘述句」為題幹,應能傳達完整問題。 7. 題幹須明確,使受試者不必閱讀選項即可明瞭題意。 8. 題幹須簡潔,長短適宜,避免無關、累贅的陳述。(100字以內為合理範圍) 9.在各選項中重覆出現的文字,應置於題幹內。 10.避免提供正確答案的暗示性線索。15
選項部分: 1.選項的內容: 1-1.誘答選項必須有同質性與似真性,混有常見 的錯誤以及錯誤訊息,以發揮應有的誘答功 能。 18 1-2.不要任意使用「以上皆是」或「以上皆非」 1-3.選項之間應相互獨立,避免意義重疊、連鎖。
選項部分:(續) 1-4.變化正確答案的長度以排除提供線索的可能。 1-5.標準答案必須是正確的答案或是最佳答案。 1-6.選項的敘述應力求簡短,相同的字詞宜放在題幹。 1-7.選項避免出現「總是、一定、絕對、從來、 所有」等副詞。 1-8. 應儘量避免採用複合式選項(即:(A)甲乙 (B)乙丙 (C)丙丁 (D)甲丙)。19
選項部分:(續) 2.選項的排列: 2-1.儘可能將選項按邏輯次序(數字)或 時序(日期)排列。 2-2.以隨機方式排列正確選項的位置。
選項部分:劣質選項的特徵: 3.劣質選項的特徵: 3-1.句長:各選項之句長過於懸殊。 3-2.條件:正確選項充分說明條件,誘答 選項則無。 3-3.通則性:正確選項較不正確選項更具 有普遍性。 3-4.相斥性:選項中有兩個相斥的陳述句。
編製原則與示例(續) 3-5.措詞:選項有出現武斷或含糊的語詞。 3-6.語言:選項出現冷僻的名詞。 3-7.情感詞:選項中出現「莽撞的」、「輕率的」之類激烈性詞語。 3-8.愚蠢概念:選項中出現無禮的話語或 超出常理的表達。
編製原則與示例(續) 四、特別注意事項: 1.所使用的表格需行列對齊,標示清楚, 若有單位請一併列出。 2.儘量提供考生足以答題的資料,避免瑣 碎的記憶性試題。 3.列出圖形的適當指示,如刻度、軸向 名稱、指示線等。
紙筆測驗命題原則 建構式反應試題之論文題
編製原則與示例(續) – 建構反應試題 1. 測量高層次學習結果,才用論文題 請說明台灣高山族分成哪幾族? 編製原則與示例(續) – 建構反應試題 1. 測量高層次學習結果,才用論文題 不佳試題: 請說明台灣高山族分成哪幾族? 說明: 此題似乎為僅考記憶,可改為選擇題、是非題或填充題。 較佳試題: 請從遷移地點、族群、社會組織等三方面來比較「高山族」、「平埔族」的差異 (配分為12分,評分標準是正確比較一個方面得4分,錯一個字扣半分)
編製原則與示例(續) – 論文題 2.問題應為擬測量的重要學習結果 不佳試題: 病毒型肝炎分為哪兩型? 較佳試題: 說明: 病毒型肝炎的重點,並非在分類,而是在比較其傳染途徑、症狀與如何預防。 較佳試題: 請比較兩型病毒型肝炎的傳染途徑、症狀,與如何預防?
編製原則與示例(續) – 論文題 3.明確界定欲測量的行為 不佳試題: 為什麼有些生物會瀕臨絕種? 較佳試題: 說明: 此題似乎只有測量記憶,與更看不出欲測量的目的。若本題係將生物瀕臨絕種與日常生活週遭人、事、物、大自然的變化相結合,應將題目扣住日常生活的實例。 較佳試題: 「生物會瀕臨絕種」有四種主要原因,請分別舉出一個日常生活的實例來說明。
編製原則與示例(續)–論文題 4.用更清晰、明確、具體的辭彙來敘述 (1)限制反應式 不佳試題:鳥類為什麼會移居? 較佳試題:舉出三個具體的假設,來說明為什麼每一年的秋天鳥類會移居南方? (2)擴展反應式 不佳試題:比較美國的民主黨和共和黨。 較佳試題:比較美國民主黨與共和黨對於解決石油危機問題的看法。舉出實例來支持你的看法。(答案以兩頁為準。評分的依據有二:1、舉例是否恰當,2、組織的能力。)
編製原則與示例(續) – 論文題 5.不應允許學生選擇試題作答 6.提示每一題的作答時間與配分,並給予充分時間作答 7.以多題短答的限制反應問題取代少題長答的申論題 可從三方面提高評量品質:(1)試題取樣較廣,內容信度較高。(2)提高評分的可觀性。(3)試題內容與欲評量行為配合較佳。
題組設計原則 選用的資料必須符合課程內容和目標。 選用的資料需有意義,適當採用課文以外的選文。 試題的數目應與所選用資料之長度成恰當的比例。 選用的資料必須符合學生的學習經驗與閱讀水準。
試題公平性原則 試題中應避免出現任何歧視或褒揚特定性別、種族、省籍、宗教、地區、政治傾向的用字與敘述。 試題中的訊息不宜是某些群體(種族、性別、居住地區、省籍)所特別熟悉或是比較陌生的,以免造成測驗上的不公平。 考生答對試題的機會,不應受到該題學力指標以外的因素所影響。
測驗結果的呈現示例
PISA 閱讀素養量尺 PISA根據學生在測驗試題上的表現,經跨年度、跨國的校準,產生一個PISA 2000的所有國家整體平均數為500分,標準差為100分的量尺分數。 並將量尺分數對應到定義好的閱讀素養水準,區分為低於水準1 、 水準1a /1b、水準2、水準3、水準4、水準5 、水準6 ,並詳細描述各水準學生表現特徵。
PISA閱讀素養精熟水準 (1/3) 水準(%) 最低分數 試題特徵 6 698 通常需要讀者能詳實且精確進行多項推論、比較和對比。能全面詳細理解、整合文本訊息。 針對複雜訊息,處理不熟悉的觀點並產生抽象的類別。 就不熟悉的主題提出假設、批判性評鑑複雜文本、考量多個標準或觀點,並應用來自文本以外的精細理解。 擷取與檢索作業最重要的一個條件是分析的精確性,及小心留意文本中不顯眼的關鍵細節。 5 626 尋找、組織潛藏文本訊息,推論文本中訊息的關聯性。 依據特定知識形成批判、評鑑或假設。 需要對不熟悉的文本內容或形式全面詳細的瞭解。 就所有的閱讀歷程來說,此水準的作業通常涉及處理與預期相反的概念。
PISA閱讀素養精熟水準 (2/3) 水準(%) 最低分數 作業特徵 4 553 需要針對全文,解釋一節文本中語文意義的精微差異。 理解與應用陌生情境下的分類。 使用正式或一般知識對文本提出假設或批判評鑑。 針對陌生內容、冗長或複雜文本,呈現準確的理解。 3 480 尋找與辨認符合多個條件訊息間的關係。 整合文本以確認大意、瞭解關係,或詮釋字詞的意義。 比較、對照或分類時考量多項特徵,所需的訊息不明顯、複雜或有其他文本阻礙,例如與預期相反的想法或負面用語。 需要連結、比較和解釋,或需要讀者評鑑文本的單項特徵。就熟悉的日常知識呈現對文本的精緻理解。 運用不常見的知識,進行一般性理解。
PISA閱讀素養精熟水準 (3/3) 水準(%) 最低分數 作業特徵 2 407 此水準的有些作業需要讀者尋找一個或多個可能需要推論及符合多個條件的訊息。其他則需辨認文章的大意、理解關係、或在訊息不明顯且讀者必須做出低階推論時,就有限的部分文本詮釋意義。此水準的作業可能包括依據文本的單一特徵進行比較或對照。此水準典型的省思作業需要讀者依據個人的經驗與態度,做一個比較或若干個文本與外部知識間的連結。 1a 335 此水準的作業需要讀者尋找一個或多個明確陳述的獨立資訊;辨認某個熟悉主題的主旨或作者目的,或簡單連結文本訊息與常見的日常知識。通常所需的文本訊息是明顯的,且很少有複雜的訊息。明確地引導讀者考量與作業和文本有關的因素。 1b 262 此水準的作業需要讀者從簡短、句法簡單的文本中,尋找一個位於明顯位置的明確訊息,該文本具有熟悉的情境和文本類型,例如一個故事或一個簡單列表。該文本通常能對讀者提供支持,諸如重覆的訊息、圖表或熟悉的符號。具有最少量的複雜訊息,對於需要解釋的作業,讀者可能需就相鄰的訊息做簡單連結。
預期學生能完成試題難度水準1至3,但完成難度水準4的機率較低 閱讀素養量尺與水準 預期學生能成功完成試題難度水準5和6 預期學生能完成試題難度水準1至3,但完成難度水準4的機率較低 預期學生無法完成試題難度水準2至6, 且完成難度水準1的機率亦低
大型測驗或題庫
National Assessment of Educational Progress,NAEP(國家教育進展評量)Grade:4,8,12, Trends in International Mathematics and Science Study, TIMSS(國際數學與科學教育成就 趨勢調查)(1995~, every 4 years; Grade: 4, 8 ) Progress in International Reading Literacy Study, PIRLS(促進國際閱讀素養研究)Grade:4 The Programme for International Student Assessment , PISA(PISA國際評量計畫)Age:15 Taiwan Assessment of Student Achievement, TASA(臺灣學生學習成就評量資料庫) GISA Grade:2-7
相關網址 NAEP: http://nces.ed.gov/nationsreportcard/itmrlsx/ GISA :http://teac.nutn.edu.tw/ PISA: http://pisa.nutn.edu.tw/ PIRLS:http://www.sec.ntnu.edu.tw/PIRLS/ TASA:http://tasa.naer.edu.tw/ TIMSS:http://timss.sec.ntnu.edu.tw/timss2007/ 基本學力測驗:http://www.bctest.ntnu.edu.tw/ PISA 素養評量:http://pisa.nutn.edu.tw/sample_tw.htm
美國NAEP社會科試題介紹 架構 科目 表現水準與樣本試題 內容領域與認知能力 歷史科 地理科 公民科
命題新趨勢: PISA試題介紹 塗鴉 文章 (一) 為了去掉牆上的塗鴉,這次已經是第四次清洗學校牆壁,這真的使我氣極了。創作本來是值得欣賞的,但創作的方式不應該為社會帶來額外的開支。 為甚麼要在禁止塗鴉的地方亂畫東西,損壞年青人的聲譽?專業的藝術家不會把自己的作品掛在大街上,對嗎?相反,他們會透過合法的展覽來賺取收入和名聲。
我認為樓房、籬笆和公園的長椅本身就是藝術品了,在它們上面塗鴉,只會破壞其風格,而且,這樣做更會破壞臭氧層。我真不明白這些可恥的的藝術家為甚麼在其「藝術品」被一次又一次的清理後,還要不斷地亂塗亂畫。 嘉嘉
文章 (二) 品味是無法言喻的。社會上充滿了各種各樣的溝通方式和廣告宣傳,如公司的標誌、店名,還有矗立在大街兩旁的各種擾人的大型廣告牌。它們是否獲得大眾接受?沒錯,大多數是。而塗鴉是否獲得大眾接受?有些人會接受,但有些人則不接受。 誰負責塗鴉所引起的費用?誰最終負擔廣告的費用?對,就是消費者。
那些樹立起廣告牌的人事先有沒有向你請示?當然沒有。那麼,塗鴉者應該要事先請示嗎?你的名字、組織的名字,和街上的大型藝術品,這些不都只是溝通的方式嗎? 試想想數年前在商店裏出現的條紋和格子花服裝,還有滑雪服飾。這些服飾的圖案和顏色就是直接從多姿多采的牆上偷來的。可笑的是,這些圖案和顏色竟然被欣然接受,但是那些有同樣特色的塗鴉卻被認為是討人厭的。 現在要做藝術真的不容易。 小雅
* 現在請參考信件,然後回答下列問題。 1. 這兩封信的寫作目的都是: A. 解釋甚麼是塗鴉 B. 發表對塗鴉的意見 C. 證實塗鴉的流行程度 D. 告訴讀者清除塗鴉的成本 * 這題目要求學生比較兩篇短文的重點,從而找出兩篇文章的共同寫作目的。
2. 為甚麼小雅會提及廣告宣傳一事? 這題目要求學生推斷出文章中兩種現象之間的比喻關係。 2. 為甚麼小雅會提及廣告宣傳一事? 這題目要求學生推斷出文章中兩種現象之間的比喻關係。 代號 1: 意識到塗鴉與廣告的比較。答案需指出「廣告是一種合法性的塗鴉」。 • 向我們顯示廣告可以像塗鴉一樣具破壞性。 • 因為有人認為廣告就像噴畫一樣醜陋。 • 她說廣告是一種合法性的塗鴉。 代號 0:答案不充分或意思含糊 • 這是她立論的方法。 • 因為她想塗鴉,因而用廣告作為例子。
3. 你同意哪一封信的論點?請參照兩封信件內容,並用自己的文字解釋作答。 這題目要求學生比較兩篇短文的論斷,並提出自己的看法和態度。學生亦需要表現出對最少其中一封信有粗略理解。 代號 1: 藉著提及一封或兩封信件的內容,解釋觀點。可能提及作者的大致立場(即同意或不同意),或她的詳細論點。對作者論點的詮釋必須合理。可以用部分文本加以改寫,但不能全部或大量抄錄文本,而沒有任何修改或增加。 • 我同意嘉嘉的意見。塗鴉是違法的,是破壞公物。 • 嘉嘉。因為我反對塗鴉。[最基本的答案] 代號 0: 支持個人意見的觀點只侷限於直接引述文本(有或沒有引號)。 • 嘉嘉。因為我同意創作本來是值得欣賞的,但創作的方式不應該為社會帶來額外的開支。
4. 我們可以討論一封信件敘述的事情(它的內容)。 我們可以討論一封信件寫作的手法(它的風格)。 不論你同意哪個作者的論點,你認為哪一封信寫得比較好?請根據其中一封信或者兩封信的寫作手法來解釋作答。 這題要求學生比較兩封以塗鴉為主題的短信,從而評價作者的寫作水準。學生需要根據他們對「何謂好的寫作風格」的理解作答。 代號 1: 就其中一封信或兩封信的風格或形式來解釋意見。可以提及下列特點:寫作風格、論證的結構、論證是否中肯、語氣、語域(正式或非正式)、及說服讀者的策略。用詞如「較好的論點」等必須要有證據支持。 • 嘉嘉的較好。她提出不同的觀點讓你思考,她也提及塗鴉藝術家對環境的破壞,我認為這點很重要。 • 嘉嘉的文章較有效,因為她直接提及塗鴉藝術者。 代號 0:就同意或不同意作者的立場作出判斷,或只簡單地意譯文本或評論文章內容。判斷欠缺充分解釋。 • 嘉嘉。我同意她所有的說法。• 小雅的信件是最好的。
命題新趨勢:PISA 樣本試題 R040:乍得湖(1) 圖一顯示位於北非撒哈拉乍得湖的水深改變狀況。約在公元前20,000年,最後一次冰河時期,乍得湖完全消失了。直至公元前11,000年,它又再次出現。今天湖水的深度仍然跟公元1,000年大致相同。
命題新趨勢:PISA 樣本試題 R040:乍得湖(2) 圖二顯示撒哈拉岩石藝術圖(在山洞石壁上發現的古代圖案或圖畫)和野生動物的變化樣式。
命題新趨勢:PISA 樣本試題 R040:乍得湖(3) 問題 1:乍得湖目前的湖水深度是多少? (A) 約2米 (B) 約15米 (C) 約50米 (D) 它完全消失不見了 (E) 並沒有提供資料 題旨:發展解釋:統整文本和圖表訊息 標準答案:(A)
命題新趨勢:PISA 樣本試題 R040:乍得湖(4) 問題 2:圖二是根據以下哪一項假設來製作的? (A) 岩石藝術圖上的動物在繪製的時候就已經存在。 (B) 繪製動物的藝術家技巧十分高超。 (C) 繪製動物的藝術家曾到很多地方旅行。 (D) 沒有人想要飼養在岩石藝術圖上所描繪的動物。 題旨:形成廣泛的理解:辨認圖表的基本立論 標準答案:(A)
命題新趨勢:PISA 樣本試題 R040:乍得湖(5) 問題 3:你要搜集圖一和圖二的訊息來回答這個問題。 犀牛、河馬和野牛從撒哈拉岩石藝術圖中消失是起 於 (A) 最近一次冰河時期開始時。 (B) 乍得湖湖水最深的中段時期。 (C) 乍得湖湖水深度持續下降已一千多年後。 (D) 不間斷乾旱時期開始時。 題旨:發展解釋:統整兩個非連續文本的訊息 標準答案:(C)
命題新趨勢:PISA 樣本試題 R088:勞動人口(1) 下列樹狀圖顯示某個國家勞動人口或「工作年齡人口」的結構。1995年,該國的總人口數大約有340萬。
命題新趨勢:PISA 樣本試題 R088:勞動人口(2) 問題 1:根據上表,工作年齡人口有哪兩個主要的類別? (A) 就業和待業。 (B) 就業年齡和非就業年齡。 (C) 全職工作和兼職工作。 (D) 勞動人口和非勞動人口。 題旨:形成廣泛的理解:辨認訊息的主要組織原則 標準答案:(D)
命題新趨勢:PISA 樣本試題 R088:勞動人口(3) 問題 2:勞動人口結構的資料是以樹狀圖呈現,但它也能用 其他方法呈現出來,如文字描述、圓型圖、曲線圖或表格。 選擇樹型圖大概是因為它適合用來呈現什麼資料? (A) 隨時間而變化的事項。 (B) 全國總人口數的大小。 (C) 各組別內的種類。 (D) 各組別的大小。 題旨:省思文本形式:辨認彰顯某種目的/和內容相關之特定文本的優勢 標準答案:(C)
Thank You