數位學習的評量方法與 方案評估 宋曜廷 台灣師大教育心理與輔導學系.

Presentation on theme: "數位學習的評量方法與 方案評估 宋曜廷 台灣師大教育心理與輔導學系."— Presentation transcript:

1 數位學習的評量方法與 方案評估 宋曜廷 台灣師大教育心理與輔導學系

2 數位學習評估的面向與層次 Kirkpatrick (1996): 調查(survey)：學習者喜歡嗎？
評量(assessment):學習者有學到東西嗎？ 遷移(transfer):學習者有在用嗎？ 衝擊(impact)：對公司有影響嗎？

3 數位學習評估的面向與層次

4 數位學習評估的面向與層次 數位學習評估的四成份論 學習方案的內容 傳遞內容的方法與媒介（教學方法與 媒材） 學習者 （教學評量）
學習者所屬機構（影響力）

5 數位學習的教學評量 台灣師大教育心理與輔導學系 副教授 宋曜廷

6 評量的基本概念 評量的意義： 對學生在學習前，學習中，和學習後的認知（如先備知識，迷思概念，和學習成就等）和情意（如動機，態度和社會互動等）特性，進行量化或質化的測量與解釋，以作為分類，診斷，安置，以及改進教學的依據。

7 教學評量的功能 分類 診斷 安置 改善教學內容與方式

8 教學評量的基礎：教學目標 教學評量 終點行為 （目標狀態） 教學活動 起點行為 （起始狀態）

9 教學評量的基礎：教學目標 Bloom (1965): 教育目標分類 （taxonomy of educational objectives)
1. 認知 (cognitive) 2. 情意 (affective) 3. 技能(psychomotor)

10 認知分類 知識(knowledge):如記憶名詞，事實，規則等。 例如：寫出教學評量的定義 理解：可以掌握所學過的概念或知識的意義
例如：說明雙向細目表的意義並舉例。 應用：將所學到的知識應用出來 例如：將所編制的評量試卷求出鑑別力

11 認知的分類（二） 分析:對所學的知識或概念，分析所構成的部分，或找出其關係。
例如：寫出卷宗評量的哪些作法，分別有促進學生的認知，情意，和後設認知的功能？ 綜合：將所學到的知識概念加以比較統整，形成新的觀念 例如：在小學中，以大型會考（類似聯招）和班級評量兩種方式來決定學生的學習成就，其優劣為何？有無融合的辦法？ 評鑑：根據某項標準作價值判斷 例如：說明目前線上測驗（評量）作法的 缺點為何？

12 教學評量的種類 依評量目的而分： 形成性評量 總結性評量 依評量的形式而分： 答題式評量 活動式評量

13 答題式評量的類別 試題的類型繁多，大約可分成兩大類 (郭生玉，2004)： 選擇反應試題(selected-response item)
建構反應試題(constructed-response item) 1.選擇反應試題：是非題、選擇題、配合題 、解釋式題目 2.建構反應試題：簡答題、填充題、論文題

14 例題二 下列二圖為某山區松鼠族群從1950年至1970年的變化，圖一為每千隻中的出生數及死亡數變化，圖二為族群總個體數的變化，下列敘述何者正確？ 1950年至1955年間，松鼠族群的生物潛能逐年增加 1955年至1960年間，松鼠族群的總個體數變化與生物潛能無關 1960至1965年間，生物族群的生物潛能逐年下降 1965年至1970年間，松鼠族群已達平衡且穩定的狀況

15 線上答題式評量示例 分類（分級）：經典傳訊 監控與提示：CISCO1 CISCO2 總結：數位學習題目
診斷：

16 實作評量 台灣師大教育心理系 宋曜廷

17 實作評量的意義 所謂實作評量(performance assessment)
，就是給學生特定的作業(tasks)要求，並要求學生以口頭、寫作或完成作品方式表現的一種評量方法（郭生玉，2004)。

18 實作評量的興起 新學習理論的影響 情境認知：學習發生在真實(authentic) 情境最易遷移，以學徒制的方 式學習最佳。
社會建構論：人與人的互動是學習發生 的要項。

19 實作評量的要素 實作的表現 真實的情境 強調過程 彈性的解題時間 社會化互動下的結果 多向度的評分系統

20 實作評量的分類 紙筆式 辨認式 模擬式 工作樣本式 實做

21 紙筆的實做評量 紙筆評量的工作不僅關心答案而已，更重視答案的解釋、清楚的推理及說明解決問題的方法。一般而言，評量可以先從選擇題或簡答題開始，然後，再呈現開放性問題(open-response task)使回答

22 Box8-2 規劃超級市場的問題 （摘自呂金燮，民88）
現在想規劃超級市場內部的陳設，將整個超級市場分為生鮮區、食品區、家庭用品等三區，生鮮區佔全部面積的1/4，食品區佔全部面積的2/5，其他是家庭用品區。 步驟1 下圖是超級市場的平面圖，請依照三區佔地比例標示出三區可能的位置。 步驟2 家庭用品區佔全部面積的幾分之幾？_________ 說明你是怎樣算的。_______________________________________________ _________________________________________________________________ 步驟3 三區中哪一區佔地最多？_________ 說明你是怎麼算的。_______________________________________________ 步驟4 生鮮區的面積是多少平方公尺？__________

23 辨認式實做-例子 指出北極星的位置，並指出南方的方向 在工藝工廠指出每一種木工工具的用途 在歐洲地圖中的適當空白處，寫出國家的名稱

24 模擬式實做-例子 急救課時操作安妮假人進行CPR 模擬飛行 駕訓場上考駕照

25 工作樣本實做-例子 在實際道路上考駕照 依據實驗手冊執行實驗，以驗證某種現象是否發生 進行專題式研究（交作業或參加科展）

26 實際情境操作-例子 寫碩士論文 教師實習 開畫展或音樂演奏會

27 數位學習的實做評量示例（一） 名稱：統整課程下的多元評量設計 形式：合作式專題（工作樣本）
目的：讓學生以合作的方式，實做出在統合課程下的多元評量模式和內容，並應用出所學習的教學評量知識和技能

28 作業要求 以合科課程方式設計課程大綱和評量內容。 需說明課程的單元主題名稱，包含哪些科目，以六到十小時為設計原則。
需敘明每一單元的教學目標。 教材只需列出大綱和大約的活動。 每一單元的相關評量活動要十分清楚。包含評量的對象、作法和表格（如學習單或檢核表等）。 必須充分討論，並說明分工原則

29 評分標準 所設計的教學活動主題，有豐富而多元的單元內容 (10) 教學單元間有組織，連貫性強(10) 對於教學目標的陳述很清楚(10)
所設計的評量方式很豐富而多元(15) 所設計的評量方式涵蓋學生的認知、情意、技能（行為）等重要層面(15) 對於所設計的評量方式說明十分清楚(15) 所設計的評量方式具體可行，易於應用在課堂(15) 所設計的評量方式有創意、獨特性 (10)

30 作品示例 統整課程下的多元評量設計

31 數位學習的實做評量示例（二） 另類教科書

32 數位學習的實做評量示例（三） 物理模擬環境下的問題解決 (帳號:10202 密碼:10202)

33 〈Self/Peer Assessment〉
自我/同儕評量 〈Self/Peer Assessment〉

34 自我/同儕評量的意義 由學習者對他本人，或具相類似學習背景的同儕，對自己或他人之工作歷程或成果作評價的活動。
這兩種評量方式都強調學生主動參與評量的過程，亦即學生不僅是一個被評量者，也是評量標準的制定者，和對成果品質的評判者。

35 自我/同儕評量興起的原因 新的學習評量觀點： 強調學生主動參與評量過程 強調人際互動，和後設認知
強調對測驗結果真誠(authentic)的反思而非被動的接受 相較於實做評量和卷宗評量，自我/同儕評量教師的主導性更低，學生的參與度更高。

36 自我/同儕評量的類型 在評分標準：由教師制訂標準或學生自訂標準。 在評分者/被評分者人數的對應：一人評一人、一人評多人、或小組評小組。
從自我/兩類作法的實施：單純自我評量，單純同儕評量，整合同儕與自我評量。 在評分標準：由教師制訂標準或學生自訂標準。 在評分者/被評分者人數的對應：一人評一人、一人評多人、或小組評小組。 在評分的形式上：評分數、評定量尺、或文字評論 評量活動的多寡：單次就結束或重複多次。 在評論對象和結果的呈現上：署名的或匿名的。

37 實施自我/同儕評量的程序 提出或思考評判作品的標準 審閱或觀摩作品 提出評論（評分）與建議 交流評論結果與心得

38 紙筆式自我/同儕評量的限制 呈現╱觀摩作品不夠方便 對評分／評語結果的紀錄和整理缺乏效率 同儕互動易受時間和空間的影響而不易深入
不易滿足自我/同儕評量的多樣性需求

39 電腦化自我/同儕評量的優勢 提供更方便的呈現和觀摩作品的環境 更有效率的記錄和整理機制 擴展進行自我/同儕評量活動的時間和空間
可以彈性組合的自我評/同儕評量活動

40 實施 自我/同儕評量 應考量事項 自我評量的效度低。 同儕評量的效度中上。 多少評分者才有足夠的信效度？
自我/同儕評量的結果應否納入總結性評量的一部份？

41 電腦化自我/同儕評量 示例（一） Self Peer Assessment Resource Kit
SPARK (點入後按右上角 try it)

42 電腦化自我/同儕評量 示例（二） Web-Based Self/Peer Assessment (Web-SPA) Web-SPA的特色：
提供多種不同的決定標準的方式 多種評分/評語方式 多種分組形式 彈性和隨選的活動流程機制

43 電腦化自我/同儕評量 示例（三） 統合課程的評量方法設計
自評互評教師介面 自評互評學生介面 (帳號: 密碼: )

44 卷宗評量〈檔案評量〉 Portfolio Assessment

45 卷宗評量的意義 對自己在某個（些）領域的努力和表現的成果，有目的地收集（collect)，選擇(select)，和組織(organize)成一個有意義的系統，並以此系統作為反省(reflect)，呈現(present)，和交流(communicate)的基礎。

46 卷宗評量的意義 透過有目的地選擇和組織，卷宗不是一個資料庫而已。 透過分享和交流，卷宗不是一個私人的藏寶箱而已。
透過對卷宗內容和自身的努力的反省，卷宗不是沒有生命的物件，而是真實生命歷程的紀錄。

47 一些卷宗的例子 http://www.yoshii.com/ http://www.scottswork.co.uk/ 教師教學卷宗
學生學習卷宗

48 卷宗評量興起的原因 新的學習評量觀點： 強調整體而非片面的學習成效呈現 強調長期而非片段的觀察與評鑑 強調過程和結果並重
強調對測驗結果真誠(authentic)的反思而非被動的接受 終生學習的理念

49 卷宗評量的類型 展示型(showcase)或學習歷程卷宗：著重學生呈現自己的真實學生歷程，大部分內容和架構可由學生決定。例如將個人對某個學習領域的學習新的架設個人網站。 評鑑型(evaluation)卷宗：內容主要用來決定學生在某個領域的學習成果之優劣或通過與否，大部分內容和架構可由老師指定。例如課程的卷宗評量。 聘用型(employment)卷宗：主要用以作為申請工作或入學之用，大部分內容和架構由聘任機構決定。例如教師甄試，申請入學等。

50 如何實施卷宗評量 師生共同確定卷宗的目的與內容 師生共同確定卷宗的評分準則 監督和討論學生收集與組織卷宗的過程 鼓勵學生分享和討論卷宗內容
提醒學生在建立，分享和討論的過程中，反思自己的努力。

51 網路實施卷宗評量的例子 (按portfilio listing) 按tour the tools 專業定向