Concepts Methods Practice Design Implementation 數位學習 Concepts Methods Practice Design Implementation 第14章 數位學習評鑑的層級與方法

品質評鑑的正反兩面看法 數位學習是否有效 ? 對於個人或是組織有多大的貢獻 ? 付出的投資是否值得 ? 是否有改善的空間 ? 這些都是從事數位學習的人們所關心的問題，可以透過數位學習的評鑑來得到解答。 到目前為止不乏成功的數位學習經驗或是實例，但是這並不代表任何人從事數位學習都會成功，除了需要的背景以外，個別化的差異也是重要的影響因素。 數位學習評鑑(e-learning evaluation)最主要的目的就是要讓我們知道自己進行數位進行的成效，以及需要改進之處，這就是數位學習評鑑的價值所在。

進行評鑑的理由 評估數位學習的成效。 幫助組織從事教育訓練的規劃。 鑑定參與者的績效。 評估投資的價值。 改善訓練的品質。 透過更方便的學習環境來鼓勵學習。

反對評鑑的理由 評鑑需要花錢。 可能無法得到有意義的結果。 評鑑無法落實，困難很多。 有政治性的考量，影響評鑑的進行與客觀性。

有效的評鑑程序具備的特徵 有彈性，可以針對各種不同類型的數位學習進行評鑑。 簡單而且容易執行，參與者可以很快地進入狀況，最後能得到可信度高的結果。 對於不同的評鑑標的可以得到有一致性的結果，具有可靠的預測與估計的功能。 有經濟效益，花費的成本低，在人力、預算與時程上可以接受。

常見的評鑑範圍

進行評鑑的時機 開發前的評鑑可以預估數位學習可能帶來的效益。 在開發與實施之間的評鑑可以產生一些回饋，做即時的改善。 實施完成以後的評鑑等於是成果的驗收，可以跟開發前的評鑑結果比較，看是否有達到原來預期的目標。 在不同時機進行的評鑑可以採用類似的方法，只是運用的方式可能有一點差異。

為什麼評鑑的時機很重要

內在與外在的評鑑 內在的評鑑(internal evaluation)針對開發與管理的程序進行評鑑，得到的結果可據以改善開發的過程。 外在的評鑑(external evaluation)則是對於實施的成果進行評鑑，得到的結果可據以改善開發出來的產品。 雖然可以把評鑑做這樣的區分，事實上兩者之間的關係密切，因為內部程序與效率的改善自然能夠改良產品，而對於產品的了解則有助於建立更合適的開發程序與策略。

評鑑的層級(level of evaluation)

第1個等級的評鑑：反應(response)  提供的學習是否符合學習者的期望。 學習者是否在感受上與心理的成長上對於接受的學習感到滿意。 學習者自己是否覺得所經歷的學習的確有幫助。 教學的方式是否讓學習者覺得能夠接受。 在學習的難度下，學習者有多大的動機參與。 學習者是否有完成讓學習產生效果的課程比例。  

進行第1個等級評鑑的原因 評估學習者對於自己參與課程學習的能力是否有足夠的信心。 改善課程的教學方式。 與類似的數位課程比較。 了解缺乏動機的學習者，同時找出需要強烈學習動機的課程單元。 找出並且解決學習者產生挫折感的原因。 運用最簡單的方式來發展評鑑的工具或是方法進行評鑑。

平台自動追蹤與搜集的資訊 學習者目前的學習進度。 各課程單元與教學活動的完成比例。 完成繳交的作業。 每天與每週瀏覽的課程網頁數量。 課程單元內容被瀏覽的時間。 線上教室的參與情況。

第2個等級的評鑑：知識(learning) 幫助我們了解學習者學到的事實、概念、技能、態度與認知。 幫助我們了解課程的內容、呈現與結果對於學習有什麼樣的支持。

進行第2個等級評鑑的原因 知識背景會影響工作的績效，透過評鑑可以預期學習者未來在工作績效上可以產生的改善情況。 課程所教的知識與技能具有通用性，可以運用在各種領域，透過知識評鑑才能直接了解學習的狀況。 第2個等級的評鑑幾乎都能透過平台的功能自動完成。

第3個等級的評鑑：績效(performance) 經過學習之後在實際的工作績效(job performance)上會有多大的改善。 學習者是否能夠適時而且適當地將所學精確地運用在適用的場合中。(對於組織的影響。) 哪一些技能、知識與態度真正被用在工作的場合中。

進行第3個等級評鑑的原因 學習者是否產生了改善工作績效的動機。 學習者是否相信所學到的能夠真正應用到工作上。 學習者是否能夠自行找出運用所學之處。 在實際的工作場合中學習者是否能夠回想可以運用的特定事實、程序與原則。

第4個等級的評鑑：影響(results) 課程對於機構的商業目標是否有直接的幫助。 課程是否有達成原先機構所設定的目標。 課程對於商業程序的改善產生多大的影響，例如品質、效率與生產力。 課程的投資報酬是否優於機構的其他投資項目。

進行第4個等級評鑑的理由 讓課程的訓練與機構的商業目標緊密地相互搭配。 跟其他的課程或是解決方法比較，選擇最佳的解決方式。 記錄課程訓練的效益。

成本上的考量與分析 投資報酬率(ROI，Return-On-Investment)是評估成功與否的重要數據。基本上，投資的報酬可以看成是收益扣除成本以後的所得，再除以成本就能得到報酬占成本的比例 :   ROI = ((收益-成本)/成本) 100 舉例來說，假設某個數位學習的計畫花了20萬，獲得的收益為30萬，則ROI為50%，相當於投資兩塊錢可以拿回一塊錢。

數位學習的成本 課程的成本 班級的成本 學習者的成本

數位學習的收益 硬性的收益(hard benefit) 軟性的收益(soft benefit) 模糊的收益(fuzzy benefit)

典型的投資報酬分析

數位學習成效測量的層次

數位學習的階層架構

進行評鑑以前思考的問題 學習與訓練的目標。 學習者的背景，學習者的資訊素養。 學習者參與數位學習時所擁有的資訊環境。 學習者自學的動機。 學習者在語言上的表達能力。 有多少學習者會參與。 訓練的時程。 預算、投資報酬率與訓練在財務上的目標。

評鑑的規劃 評鑑的目的。 評鑑的時程。 評鑑的成本需求。 評鑑時需要蒐集的資料，確定由誰提供。 評鑑資料蒐集的方法。 評鑑資料蒐集的時機，由誰負責蒐集。 由誰負責分析資料以及所採用的分析方法。 考慮結果呈現的方式。

如何通過評鑑：經驗的分享 評鑑的標的可能是機構、課程或是一整個學程(program)，通常負責的學科專家的相關經歷是很重要的因素之一，有時候一個課程可能有一些特別的組合，例如由多個老師合開、有的老師只是兼任性質，或是只有提供教材。 講授的老師可以多提供非同步教學經歷的佐證。

自評以及評鑑的指標與規準

數位認證的自評表格

數位教材認證的經驗分享 製作一門通過教育部數位認證的教材對於教師來說是很不容易的工作，因為除了要熟悉課程領域的專業內容之外，還要把內容經過設計與製作後變成適合自學的線上教材，同時滿足認證品質的要求。 通常一旦決定參與教材認證以後，最好為自己的計畫訂一個時間表，按照表訂的流程來完成各項工作。 教材的版權問題很重要，因為很多老師可能希望以平時使用的教科書為基礎來發展數位教材，這種方式是可行的，不過要注意智慧財產的授權問題。假如教材中引用的資料在合理使用範圍內，則依照指標1-8的要求，應該要註明出處，假如教材中引用的資料已經超出合理使用範圍，則應事先取得授權，明訂授權的範圍。 以教材認證來說，認證指標要求提供「補救學習」，從教學的觀點來看，學習者可能沒有到課、到課但是沒有學會，或是學會了卻考不好，在課程的設計上可以透過各種方式來提供補救教學的機會，例如教學的錄影檔有助於沒有到課的同學補課、針對較難的主題提供補充教材可以幫助沒學會的學生透過另外的管道學習、測驗的回饋告訴答錯的同學複習特定的單元可以幫助考不好的同學。

網站資料 ASTD (American Society for Training & Development). www.astd.org Brandon Hall Research. www.brandon-hall.com Horton, W. (2001). Evaluating E-learning. ASTD. Kirkpatrick, D. L. (2006). Evaluating Training Programs : The Four Levels. Berrett-Koehler Publishers. 數位學習國家型科技計畫品質認證中心，www.elq.org.tw 教育部遠距教學交流暨認證網，ace.moe.edu.tw

End