評量尺規的概念與設計 劉兆明.

Presentation on theme: "評量尺規的概念與設計 劉兆明."— Presentation transcript:

1 評量尺規的概念與設計 劉兆明

2 合成效標 vs. 多元效標 優劣評比 vs. 優勢加分 單項表現 vs. 歷程反思 合成加總尺規 多元擇優尺規
評量尺規的基本概念 合成效標 vs. 多元效標 優劣評比 vs. 優勢加分 單項表現 vs. 歷程反思 合成加總尺規 多元擇優尺規

3 合成效標與多元效標 (composit vs. multiple criteria)
合成效標：總分/加權，各面向間具互補性 依總分排序決定錄取 被錄取成員同質性高 多元效標：多元並陳，同時顯現各面向強弱 各面向獨立考慮，擇優錄取 被錄取成員多元性高 Cascio, W, F. (2011): Applied psychology in human resource management (7th ed) . Upper Saddle River , NJ：Prentice-Hall.

4 經驗學習發展之ATI model Aptitude-Treatment Interactions（Gully & Chen, 2010）
個體差異 特性 多元經驗 經驗處理 學習 -課堂經驗 -課外活動經驗 -校外經驗 個體學習 與發展 發展 -家庭經驗 -成長經驗 -社區經驗 反應 詮釋 轉化 生涯 -打工經驗 -勞動經驗 -生涯經驗 王思峰教授提供

5 「看何處資料」已經部分決定「測量尺規＆測量什麼」
優勢選才評量 - 由經驗處理文本中，採優勢選才評量原則，測量個體差異/特性 -以任何一項經驗處理為資料（而非經驗，也非所有項目，一項即可） - 以任何一項criteria為標準（而非所有criteria) 點數評量 採算次數之rubrics，測到level 2特性，而不只level1 個體差異 特性 多元經驗 經驗處理 學習 -課堂經驗 -課外活動經驗 -校外經驗 家長 社經 地位 學校 特性 城鄉 差異 個體學習 與發展 發展 -家庭經驗 -成長經驗 -社區經驗 反應 詮釋 轉化 生涯 -打工經驗 -勞動經驗 -生涯經驗 -Reflection page of portfolio -bio-questions -自傳/成長故事 王思峰教授提供

6 優勢選才評量之Portfolio Reflection page
MY RESUME OR ACTIVITY LOG 我的履歷或活動記錄 Contact Information聯絡資訊: (Make sure your list a number at which you can be reaches and your is professional.) Objective目標: (If you are applying for a job, describe why you want the job, and what you hope to learn. If you are not applying for a job right now, write that you want to put your skills to work in the community. If you are using your activity log for writing a personal statement for a college or scholarship application, more details about your leadership roles, goals, or special circumstances are needed ): Skills and Strengths技能與長處: (Remember, short points using action words. You should also list any Career and Technical courses, certifications, college credit, and pre-apprenticeship certifications.) Experience經歷: (Show your positions/titles, main responsibilities or things you did in the position, work or volunteer experience, and list your accomplishments in any school or community based groups you’ve joined) Activities/Athletics活動/運動, Leadership Roles領導角色, Talents才情/專長, Awards得獎, Community Service志願服務: (Describe your positions and list your accomplishments in the groups you’ve joined.) Reflection page 對左列紀錄之其中一項或多項活動，敘說出情節或細節，並說明您的思緒/感受/想法/心得/反思（符號”/”表示”或”）。 來源：華盛頓州 High School & Beyond Plan, 王思峰教授提供

7 合成加總尺規 示例

8 學校1

9 學校2

10 學校3-1

11 學校3-2

12 合成加總尺規評分表示例

13

14 合成加總尺規 可能產生或設計上應避免的問題
雖有配分比重，但缺乏論述或實證依據，而配分實質影響錄取序及公平性。 如評分標準過於抽象或空泛，則難於計分與比較，但如過於具體，又易引導學生為符合尺規要求而刻意參加各種活動、競賽或檢定，甚至造成積點比序等形式操作。 學生提供之資料易流於瑣碎龐雜，缺乏統整，重量不重質，且易分散評分者的注意力而造成誤判。

15 另一種選擇:多元擇優尺規

16 多元擇優尺規 設計理念 以高中生在校所修習之課程或參與之活動為評量基礎，避免引導學生為符合尺規要求而刻意參加某些活動、競賽或檢定。
考量評分者的認知負荷度，評分者只需在資料中明顯可見的面向做優劣程度或優勢加分之判斷，避免因瑣碎繁雜之細項分散其注意力。 評分採多元效標綜合評量。學生只需在某一面向或多個面向上有傑出或優異之表現，即可獲相對高分，而非所有面向得分之加總。

17 多元擇優尺規示例 面向 傑出(90-) 優(80-89) 佳(70-79) 可(60-69) 不佳(-59) 對科學、人文、與人的興趣
在自傳或學習成果中對科學、人文、跨領域或與人相關之主題有深入之探究或反思。 在高中所修課程或參與之活動兼顧科學與人文或跨領域，或明顯表現出對人的興趣與好奇。 一般表現 較一般表現更差，但尚在可接受範圍 表現有明顯缺失，已非本系所能接受 主動探索、瞭解或創造的動機 在自傳或學習成果或多元表現中 展現出完整深入的探究或創造歷程，或已有傑出之表現。 曾主動探索或試圖瞭解一個自己關心的主題，或試圖以創造、發明或創新之途徑處理或解決自己關心的問題。 同上 由經驗中學習或自我省察的能力 在自傳或學習成果中對個人經驗學習或自我省察有深入之敘述或反思。 在自傳或學習成果中描述到個人由經驗中學習之體驗，或反映出自我省察的能力。 自信、自主或自我調適之風格 能展現出自主或自我調適之完整歷程或優異表現。 在自傳或學習成果的表述中反映出自信、自主或自我調適之風格。 人際敏感度、影響力或領導能力 有具體之事例能展現高度之人際敏感度、影響力或領導能力。 曾修習人際敏感度、影響力或領導能力相關之課程或參與相關之活動。 關懷他人、服務熱忱及合作與團隊意識 對於關懷、服務、合作與團隊意識有深刻之體驗與反思，並有優異之表現。 有具體之事例能展現關懷他人、服務熱忱及合作與團隊意識。 實踐理想與目標的動機與能力 具有改善個人或社會的理想與目標，且已有具體的實踐行動及成果。 具有改善個人或社會的理想與目標，且有具體的實踐構想或行動。 綜合評語 (Optional)

18 多元擇優尺規評分表示例

19 多元擇優尺規評分表示例

20 多元擇優尺規配套

21 審查資料項目代碼對照表 項次 審查資料項目 （109規劃） 審查資料項目代碼對照 （現行） 1 基本資料 A.個人資料表 2 修課紀錄
B.高中(職)在校成績證明 3 課程學習成果 C.成果作品 D.小論文(短文) 4 多元表現 E.競賽成果(或特殊表現)證明 F.社團參與證明、G.學生幹部證明 H.大學入學考試中心高中英語聽力測驗證明 I.英語能力檢定證、 J.證照證明 K.社會服務證明、L.數理能力檢定證明 M.學習心得 5 自傳(得包括學習計畫) N.自傳(學生自述) O.讀書計畫(含申請動機) 6 其他與學生學習歷程有關之資料 P.學習檔案 Q.其他(限10字)

22 多元擇優尺規 可能產生之疑慮及應對之道 學習歷程反思是否會成為作文比賽？ 各面向或事例的量或質之間如何相互比較？ 評分者之間的一致性？
以具體事例為評分基礎 各面向或事例的量或質之間如何相互比較？ 做好做滿 vs. 蜻蜓點水？ 反思的具體程度與深度 歷程發展邏輯：前後脈絡之統整與一致性 校系資源適配度 評分者之間的一致性？ 評分者訓練

23 尺規綜合運用

24 尺規綜合運用 資料類別 能力特質 合成加總 多元擇優 運用之妙 存乎一心

25

26

27

28 無論是哪一種尺規 如欲提升評分者之間的一致性 都需要評分者訓練
評分者間信度的必殺之技 評分者訓練 無論是哪一種尺規 如欲提升評分者之間的一致性 都需要評分者訓練

29 評分者訓練 選才理念與評分標準溝通 模擬評分 共識討論

30 Past behavior is the best predictor of future behavior.
過去行為是未來行為的 最佳預測指標 Past behavior is the best predictor of future behavior. − Owns & Schoenfeldt, 1979

31 招生選才是一門專業 需要溝通與學習

32 大學選才四適 大學入學考試中心 採用適當的方法 選擇適合的學生 進入適配的學系 成就適性的發展