Outcome 成果 P D R O 訓練成果評估 內部員工反應 組織擴散效果 特殊訓練績效 Level1 反應評估 Level2 學習評估

Presentation on theme: "Outcome 成果 P D R O 訓練成果評估 內部員工反應 組織擴散效果 特殊訓練績效 Level1 反應評估 Level2 學習評估"— Presentation transcript:

1 Outcome 成果 P D R O 訓練成果評估 內部員工反應 組織擴散效果 特殊訓練績效 Level1 反應評估 Level2 學習評估
缺乏認同感 沒有特殊的 　感覺 有ㄧ定的改 　善功效 已達能力與 　績效改善 超越設定的 　目標與價值 與薪酬、考 　核升遷結合 有效改善 　營運表現 建立分享 　機制 提出具體 　建言 財務面 技能面 社會面

2 培訓評估的重點及內容 訓前評估 訓後評估 培訓機構評估 培訓活動評估 對組織需求評估，發現組織存在問題，確認那些問題必須通過培訓才能解決
對受訓者狀況進行考察，如員工對訓練的看法，員工的知識、技能及態度、績效狀況與組織要求的差距 對培訓計畫進行評估，考察培訓計畫是否適用、可行。 培訓結束後，對培訓活動各系統考察和評價 評估內容一般包括： 培訓的直接產出-培訓班次、培訓人數、培訓合格人數、受訓者知識技能的掌握、培訓的經濟效益 培訓的間接產出-個人的績效變化、組織的績效變化 培訓環境-教材選擇、教師教學質量、教學環境、教學方法、培訓組織情況 培訓機構評估 培訓活動評估

3 Kirkpatrick 評估模式蒐集方法 搜集有關訓練方案改變組織之過程與判斷的資料，使評估的結果可以獲得組織在方案實施前、中、後的所有相關行為資料 行動績效 成效數據 行動計畫 追蹤記錄 學習測驗 實務演練 蒐集訓練評鑑資料的方法有很多，諸如問卷調查、面談、觀察、測驗、實習、訓練中成果評估、三人教學、成果競賽與發表會、自我報告、成本－利益分析、成本－效益分析等 課後問卷 心得報告

4 學習成果的追蹤調查 (一)學習成果追蹤調查 (二)學習成果調查方向 ● 學員: ˙評鑑中心前後成績比對
˙360評鑑前後成績比對˙課後三個月問卷調查 ˙工作績效前後比對 ˙訪談平行同事觀察 ˙其他工作表現記錄 ● 學員的直屬主管 ˙主管要求與指導時反應/記錄 ˙工作專業與方法是否進步 ˙工作行為/態度是否更臻成熟 ˙學員缺點有明顯的改善進步 ˙課前後工作效率/績效比較 ˙課後三個月對主管問卷調查 ˙評鑑中心前後成績比對/確認 (二)學習成果調查方向 技術/管理能力、態度/行為、個人工作績效、組織績效

5 成果移轉課程單元-1 反應評估的做法 １．問卷調查 ２．面談 ３．觀察法 ４．綜合座談

6 L1-反應層次（Reaction） １．問卷調查：
先擬定問卷調查的內容與項目，以不記名方式收集受訓學員之意見與反應；本方法容易實施而且容易獲得所需資料，為最常使用的方式 ２．面談： 課堂進行中，講師與學員互動，以及訓練承辦人，在課堂休息時間與講師學員即時回饋 ３．觀察法： 訓練承辦人在訓練過程中，密切觀察整體學習和教導 狀況，適時記載相關學習訊息，做為後續改善之參考 ４．綜合座談： 課後與講師和學員討論學後分享，訓練承辦人要詳實記錄，以利內部檢討

7 成果移轉課程單元-2 學習評估的做法 １．後測法 ２．學前測驗、學後測驗比較法 ３．問卷調查 ４．模擬練習 ５．座談會 ６．實驗比較法
７．自我評等法 ８．觀察法

8 L2-學習層次（Learning） １．後測法：
分為 「技能測驗」（在教室或工作場所實地演練）與 「筆試法」（對受訓學員舉行測驗，以瞭解其對上課所講授的知識理論、原理原則瞭解的程度） ２．學前測驗、學後測驗比較法 ３．問卷調查 ４．模擬練習 ５．座談會 ６．實驗比較法 ７．自我評等法 ８．觀察法

9 成果移轉課程單元-3 行為評估的做法 １．問卷調查 ２．個人與組織之績效、成本、目標達成率的比較 ３．實驗比較法 ４．觀察法

10 L3-行為層次（Behavior） １．問卷調查： 其對象為學員本身、學員之主管、同事及部屬 ２．個人與組織之績效、成本、目標達成率的比較
３．實驗比較法： 運用「控制組」與「實驗組」，對學員與未訓人員加以對照與衡量，以瞭解訓練後學員在工作態度上的改變、潛力發揮的情形 ４．觀察法

11 成果移轉課程單元-4 成果評估的做法 １．前後比較法 ２．實驗比較法 ３．預測與實際比較法 ４．平均比較法 ５．觀察法 ６．問卷調查

12 L4-結果層次（Result） １．前後比較法 ２．實驗比較法 ３．預測與實際比較法 ４．平均比較法 ５．觀察法 ６．問卷調查

13 成果移轉課程單元-5 訓練系統的評價 １．評估環境的改變 ２．評估方法的差異 ３．評估對象的心理狀況 ４．在職期間的長短 ５．抽樣對象的選擇

14 影響訓練評估有效性的潛在問題 １．評估環境的改變： 評估期間環境受到干擾，因此影響訓練評估有效性的認定 ２．評估方法的差異：
評估者若以不同的方法進行訓練評估，其結果將會有所差異 ３．評估對象的心理狀況： 當學員知道自己是在被評估的狀況時，往往會有不正常的行為與表現，因而無法顯示其有效性 ４．在職期間的長短： 在職期間較長的學員在接受訓練時，比較容易進入評估的狀況 ５．抽樣對象的選擇： 評估的對象若都是學員，需要考慮學員係自願參加或非自願參加者；強迫參加者其心態上常有抗拒性，因此評估結果與真實情況間可能會有所差距；評估的對象若是抽樣選出的學員則須避免不當的抽樣

15 訓練評估的限制與潛在問題 （一）缺乏誠意與承諾：
決策階層、訓練專業人員或企業員工必須對訓練與評鑑凝聚共識，瞭解訓練與評鑑的功能、貢獻，以實際行動支持評鑑活動 （二）不良的訓練設計： 許多訓練在需求分析、規劃與設計之初，即有重大缺失，且未將訓練評鑑納入整體訓練體系之中，造成訓練無法發揮應有效用。在訓練之初，訓練目標設定不當，亦易於造成評鑑困擾 （三）缺乏訓練評鑑的知識與技術： 訓練評鑑的研究起步較晚，數量亦較少，訓練專業人員亦較少投注於訓練評鑑方面 （四）不易控制影響訓練評鑑的因素： 令訓練評鑑專業人才頭痛的是，影響訓練成效的因素很多，有時難以釐清，遑論加以控制

16 TTQS訓練品質計分卡—企業機構 企業名稱： 有限公司 申請案號： 評核委員： 評核日期： 年 月 日 培訓要素 檢核指標項目 書文化文件
企業名稱： 有限公司 申請案號： 評核委員： 評核日期： 年 月 日 培訓要素 檢核指標項目 書文化文件 列舉適當項目說明 計分 計畫 (Plan) 1明確性 1a組織願景/使命/策略的揭露 申請單位是否於培訓前進行外部環境的評估，包括調查培訓需求、定期評估與檢測，且對組織使命及策略是否有具體或書面紀錄之明確性陳述，並公布讓全體員工知悉。 ˙企業發展策略或策略地圖 ˙企業中長程之事業發展規劃藍圖或計畫書 ˙企業年度事業發展計畫 ˙企業之願景與核心發展使命的說明 ˙其他 1b目標與需求的訂定 申請單位是否訂有明確的經營目標，並定期對相關的工作績效需求進行修正與確認。 例如：公司市佔比；各類別訓練成長計畫；對工作績效需求分析的報告。 1b-1 明確的經營 目標與計畫 ˙企業年度之事業計畫中包括人力資源的發展與訓 練規劃內容、主題或方向 ˙訓練規劃的依據証明─企業的年度或中長程發展 計畫 ˙組織績效分析之結果說明書 1b-2 工作績效的 需求分析 1c明確的訓練政策 申請單位對人才訓練是否具備相關文件或書文化培訓政策之明確性要求，對訓練品質是否具備記錄或文件之明確性要求，且對員工人力發展之支持有明確的承諾，並公開發布給員工知悉。 ˙訓練政策與訓練承諾 ˙員工年度訓練之規定 ˙補助員工訓練或進修辦法 ˙對員工訓練成果之評核標準的訂定與說明 1d明確的核心訓練類別或領域 申請單位是否具備核心訓練類別或職能開發領域之明確性陳述。 ˙員工訓練與企業事業發展相關之証明 ˙員工訓練類型與促進關鍵績效指標（KPI）有關 ˙員工訓練與員工職務相稱之証明

17 培訓要素 檢核指標項目 列舉適當項目說明 計分
書文化文件 列舉適當項目說明 計分 設計 (Design) 5訓練產品或服務的甄選標準 申請單位在遴選內、外部訓練供應者時，是否有明確的評核標準與原則，並對供應者進行評估與簽約。 ˙訓練人員的選擇方式之說明 ˙內訓或外訓均有選擇師資、教材 或訓練廠商等的標準，並訂有契 約 ˙其他 6利益關係人的參與過程 申請單位在執行訓練計畫的各項流程中，是否參考與訓練流程相關之利益群體的意見與需求，進而納入訓練方案與評估設計的決策中。 例如：申請單位透過諮詢產業或專家的程序；申請單位之管理者會議、經營者意見。 ˙訓練參與對象包括：受訓員工、部門主 管、訓練部門人員、最高階主管、講 師、顧問等等 7訓練與目標需求的結合 申請單位執行訓練前是否根據現在及未來的單位需求與員工職能分析，進行完整的訓練需求調查與規劃。 ˙訓練需求調查問卷與訪談結果的統計分析 ˙訓練需求說明文件，含：職能要求與職能落差 清單、過去訓練結果矯正與回饋之紀錄說明等 8訓練方案的系統設計 申請單位進行訓練設計與規劃時，是否具備完整訓練計畫的行動方案，涵蓋組織績效和員工職能等落差之確認、學習流程的設計能力、評估訓練產出與監測的指標。 ˙訓練(方案)設計流程的說明書 ˙界定訓練目標之說明書 9培訓產品與服務購買程序的規格化 申請單位在選擇訓練產品或服務時，是否依據規格化的流程或符合採購程序及相關條例的要求進行採購作業。 ˙實施員工訓練之前，有固定的選擇指標與評估 方法 ˙課程採購及講師聘用認可流程

18 培訓要素 檢核指標項目 列舉適當項目說明 計分
書文化文件 列舉適當項目說明 計分 執行 (Do) 10訓練內涵按計畫執行的程度 10a學員的遴選符合規劃 申請單位及參訓單位對學員資格、訓練必要條件與基本能力，是否有明確的陳述、紀錄、要求與確認。 ˙訓練課程講師手冊 ˙課程學員使用之課程手冊 ˙訓練課程之計畫書 ˙其他 10b教材的選擇符合規劃 申請單位在訓練素材的挑選上，是否依據個別化訓練特性之需求或原則進行篩選。 10c師資的遴選符合規劃 師資與培訓目標的切合性。 10d教學方法的選擇符合規劃 教學方法與目標的切合性。 10e學習成果移轉的工作環境 訓練前參訓單位HR人員與申請單位對談機制，擬定學習合約與行動合約；訓練後是否提供受訓員工工作機會或環境，並將所學技能運用於工作上。 ˙具有訓練移轉行動計畫與行動查核表 ˙部門經理有創造、參與學習成果轉移環境 ˙促進應用的安排 ˙學習心得交流的平台 11記錄與資訊系統 11a訓練資料的分類與建檔 申請單位對訓練流程相關文件或記錄，是否有文件檔案資料庫或有系統性的建檔。 ˙訓練資料與過程及成果之紀錄與分類，均有系統化歸納方法 11b管理資訊系統化的程度 申請單位對於訓練管理相關程序與作業，是否有完整的資訊系統。 ˙訓練資訊系統 ˙知識管理與分享平台

19 培訓要素 檢核指標項目 列舉適當項目說明 計分
書文化文件 列舉適當項目說明 計分 查核 (Review) 12評估報告與定期性綜合分析 申請單位就訓練計畫是否有期中自我查核（檢查點）作法，評估報告內容需包含訓練需求、評估指標與方法的描述與確認、所蒐集資料的整理與分析、訓練成本的審計、未來持續改善的建議等。 ˙訓後定期檢討或管理審查制度會議 ˙訓練的結案報告，包括資源的運用 、財務的支配、訓練成果的展現、 檢討與改進的方法 ˙其他 13監控與處理 13a執行過程之監控 申請單位在執行訓練PDCA各流程時，是否持續定期監測整體訓練流程的每個階段且符合程序要求，並做相關資料蒐集與進行年度管理報告。 ˙各訓練流程之監控方法與紀錄 13b異常矯正處理 當申請單位在訓練各流程有異常情況下，是否建立相關因應處理措施與程序之明確化文件或紀錄的陳述，同時修正後續訓練及修正後續訓練程序之紀錄。 ˙訓練異常處理方法、紀錄與工具 ˙訓練內稽流程與紀錄

20 培訓要素 檢核指標項目 書文化文件 列舉適當項目說明 成果 14訓練成果評估的多元性和完整性 1分□ 未執行本項
計分 成果 (Outcomes) 14訓練成果評估的多元性和完整性 訓練單位就訓練成果評估執行之程度與完整性，評估等級分為反應、學習、行為、成果評估。 1分□ 未執行本項 14a Level1 反應評估 2分□ Level1：滿意度調查 14b Level2 學習評估 3分□ Level2：考試、心得報告 14c Level3 行為評估 4分□ Level3：課後行動計畫查核 14d Level4 成果評估 5分□ Level4：相應的績效評估 15受訓員工的工作成效 15a內部員工反應 總和評分：內部員工對於組織訓練系統具備人員能力改善與工作績效之認同感。 1分□訓練無價值、缺乏認同感 2分□對訓練系統沒有特殊的感覺 3分□認同訓練有ㄧ定的改善功效 4分□訓練已達能力與績效改善 5分□超越訓練設定的目標與價值

21 評核委員綜合意見與說明： 評核委員簽名： 日期： 年 月 日 培訓要素 檢核指標項目 書文化文件 列舉適當項目說明 計分 成果
(Outcomes) 16訓練的組織擴散效果 ˙受訓員工之參訓情形能與薪酬、考核或升遷有所結合。 ˙訓練能有效改善市場競爭優勢、營業額、工作流程、成本控制或不良率／客訴率等營運表現。 ˙能建立訓練期間(及後續)，學員心得與知識分享聯繫機制等（如公司內部網路、集會、讀書會、 等）。 ˙受訓員工會對課程內容、師資等提出具體建言 17特殊訓練績效 財務面 ˙公司與訓練投資報酬率 ˙高員工滿意度 ˙高證照通過率 ˙高階主管對訓練之滿意度 ˙訓後敘薪增加 技能面 社會面 18其他 評核委員依經驗、判斷所得綜合評價，為本項計分卡之加減1-5分調整項 評核委員綜合意見與說明： 評核委員簽名： 日期： 年 月 日

22 計分標準 P O D 以「是否有無紀錄或書面文字」評定 R 「1」表示：未執行本項目
「2」表示：對本項目僅具認知且部分執行，但無明確紀錄或文件證明 「3」表示：有執行本項目與作業流程，但無完整文書紀錄與手冊 「4」表示：有執行本項目，且有一致性的作業流程、完整過程紀錄與文書手冊；即具有「說、做、寫」及「流程上下連結」的一致性 「5」表示：有執行本項目、完整文書手冊與紀錄，分析相關資料並持續改善