TTQS管理師班 WELCOME TO JOIN US 高屏班 2007.05.11-05.19

訓練評估與監控

過去的訓練vs現代的訓練 以量取勝vs目標導向的訓練 失焦訓練計畫vs 策略導向的計畫 數量指標vs成果績效導向的指標

Workplace improvement Human resource development 人力資本價值觀:五世代之演進 第五代觀念 整體學習 CL Corporate learning 第四代觀念 職場學習 WPL Workplace learning 投資本論 第三代觀念 職場改進 WPI Workplace improvement 費用本論 第二代觀念 人力資源管理 HRD Human resource development 第一代觀念 訓練新生 Training

增進訓練成效學習原則 設定學習階段 增加訓練階段的學習 維持訓練後的表現 訓練成效的追蹤

增進訓練成效學習原則 設定學習階段 1.提供清楚的工作指令 2.示範適當的行為

增進訓練成效學習原則 增加訓練階段的學習 ˙提供給積極的參予者 ˙增加自我效能 ˙使訓練方法與學員的自我效能相符 ˙提供促進精熟度的機會 ˙及時給予肯定.診斷性與實際的回饋 ˙讓學員有機會演練新行為

增進訓練成效學習原則 維持訓練後的表現 ˙發展學習點以協助知識的記憶 ˙設定特定目標 ˙確認適當的強化因子 ˙訓練重要第三人強化學員行為 ˙教導學員自我管理技能

增進訓練成效學習原則 訓練成效的追蹤 ˙評估訓練成效 ˙依需要修正訓練計畫

蒐集訓練評估資料方法 實習法 問卷調查法 人員面談法 成果發表與競賽法 心得報告法 觀察法 成本-效益分析法 測驗法

Kirkpatrick四向層次蒐集法 反應 學習 行為 結果

反應層次 自我評鑑:二人為一組,以辯論方式提出學習討論 團體分享:多人為一小組分別提出心得討論 互動觀察:分成觀察對與討論對,互換,再交叉報告 個別課程評論:寫出個人心得,張貼找出異同 小組課程討論:分為若干組,分別討論提出不同內容心得

學習層次 測驗:確認受訓者受訓前後的能力 以學習策略作為評鑑機制:能力導向的評鑑,角色扮演.個案練習.賽局. 調查:就能力與訓練內容資訊的取得,分析與詮釋 行動計畫:新學習技能在職務上應用

行為層次 訓練前後之能力評鑑:職務能力再訓練前後的變化,其評鑑方法前後需ㄧ致(six month after) 2. 行動計畫之評鑑:依據受訓者提出的行動計畫找出量度並設定其基準與目標值 3. 訓練影響評鑑:訓練效應評估(Coffman)

Coffman訓練效益評估(training impact assessment)步驟 邀請主要顧客參與評鑑會議 首次評鑑會議主要顧客負責收集訓練效益的資料 第二次評鑑會議,各小組討論訓練的正面效益 各小組列舉未達成之效益或負面效果 所有與會者共同討論所有結果 整理清單,完成行動計畫,決定下次會議

TTQS Scorecard之五環體制圖 P20% 規劃 planning 1.明確目的 2.系統性 D20% 3.連結性 4.能力 D20% 設計 design 5.產品服務之甄選標準 6.利益關係人之參與 7.與目標需求結合度 8.方案之系統設計 9.程序之規格化 O 20% 成果 outcome 14.多元性/完整性 15.通用功能 16.其他 D25% 執行 delivery 10.計畫之落實度 11.紀錄與資訊體制 R 15% 查核 review 12.評估與定期報告 13.監控與處理

結果層次 使用綜合分析(meta analysis),訓練造成職務績效提升的 規模 變動量 使用效益分析(utility analysis),職務績效提升的經濟價值

One-shot posttest-only design 訓練結果評估(一) One-shot posttest-only design 單次訓練後的評估 訓練 評量 例如ㄧ位銷售部門經理,讓所屬人員參與“有效的顧客關係”課程,課程結束後,該經理馬上進行所屬員工是否在訓練後的準據有所改變

問題 ㄧ次訓練後的評估能否證明員工的改變與訓練有關? 你的看法呢?

訓練結果評估(二) One-group pretest-posttest design 以一組人參與訓練前後的評量 訓練 評量 評量 例如ㄧ位銷售部門經理,對所屬客戶關係認為有待改進,因此讓所屬人員參與“有效的顧客關係”課程,課程結束後,該經理馬上進行所屬員工是否在訓練後的準據有所改變

問題 以ㄧ組人員先做訓練前評量,再做訓練後的評估能否證明員工的改變與訓練有關? 你的看法呢?

員工學習或許有改變 員工的行為或許有改變 不幸的 不能確認員工的學習與行為的改變是由於此次訓練的關係

訓練結果評估(三) Posttest-only control group design Group1--R 訓練 評量 沒有訓練 評量 同ㄧ群體人員有訓練與未訓練之課後差異評量 Group1--R 訓練 評量 沒有訓練 評量 Group2--R R:兩組人員皆採隨機取樣 銷售部經理將所屬員工分兩次訓練同ㄧ課程,分兩組訓練是採隨機指派,為確認訓練成效,銷售部經理將已訓練完成的行為與未訓練的另ㄧ組人員作評量後,比較其中是否有明顯差異存在

問題 假設已訓練完成的這組其行為皆較未訓練的一組為佳,你認為此方法是否能確認員工行為的改變是因參與此次課程訓練的結果 為什麼?

訓練結果評估(四) Pretest-posttest control-group design 訓練 評量 Group1--R 評量 沒有訓練 評量 評量 Group2--R 銷售部經理將所屬人員隨機分為兩組,經理同時對兩組作客戶關係的評量,之後讓第一組有參與訓練課程,第二組沒有參與.假如第一組參與訓練後,其行為明顯較之前評量改善,而第二組與之前評量沒有差異,則可以確認此次課程對所屬的客戶關係確有幫助,應讓第二組也參與訓練

訓練結果評估(五) Multiple time-series design Group1--R 評量 評量 評量 訓練 評量 評量 評量 沒有訓練 評量 評量 評量 採用多次且長期的觀察評量兩組是否有差異

受訓前 受訓後 工作績效1 工作績效2 工作績效3 工作績效4 實驗組 對照組

訓練評估的限制 評估所需資訊是否足夠 評估所需人力物力是否足夠 評估的使用方法是否適當 評估後被採用的可能性 評估需要的時間經費是否允許

訓練評估潛在問題 缺乏誠意與承諾 不良的訓練設計 缺乏信練評鑑的知識與技術 不易掌握影響訓練評鑑的因素

演練 情境:有ㄧ企業櫃台接待人員離職,經招聘增補一位新進人員,完成職前訓練後,投入接待的工作,最近從內外部陸續反應接待人員行為不符預期,經人資單位了解後,決定給予該接待人員完整的接待禮儀訓練,請你以Kirkpatrick四層次的評估方法,提出你的評估方式建議

如何維持訓練後的表現 學習點(learning point) 摘要出主要行為,尤其是那些不明顯,與被認為是工作的認知起點.新技能和資訊較容易被保留 (請找出接待人員的學習點為何 ?) 特定目標 設定ㄧ個具有挑戰性的目標,這目標需可達成 (請協助接待人員找出其挑戰目標為何?)

如何維持訓練後的表現 強化因子 新行為是困難且讓人感受到威脅,對新行為必須是適度強化(正面強化與負面強化) (若接待人員的新行為表現符合預期,如何做正面強化,若非預期,如何做負面強化) 自我強化 教導受訓者自己設定目標,激勵自己向目標挑戰,從工作中獲得自我肯定與滿足

如何維持訓練後的表現 長期追蹤 訓練後回到工作崗位,一段時間可由受訓者自行評估行為技能是否改變並持續,主管也應定期做追蹤,給予適當的回饋輔導,人資部門也應每隔一段時間追蹤學習後成效維持

培訓過程的監控 監控的目的 為了解執行培訓過程是否符合流程要求 取得培訓流程中相關的客觀證據,確保培訓的有效性

為何要在過程中進行監控 評鑑專家Stuffebeam認為等到訓練後，再看結果已經來不及 評鑑應該從開始到結束，任何一個過程應該隨時評鑑，而評鑑也不只是評鑑訓練的成果，更重要的是機構的背景、從機構的背景，整體的輸入，到訓練過程當中及最後訓練的成果都應列入。

評鑑四大內涵 背景做評鑑 輸入做評鑑 評鑑 過程做評鑑 成果做評鑑

ＣＩＰＰ評估模式 「Ｃ」：背景評估（context valuation） 即有關訓練的先前作業，如訓練的需求分析等，主要是界定相關的環境，說 Galvin（1983）提出 「Ｃ」：背景評估（context valuation） 即有關訓練的先前作業，如訓練的需求分析等，主要是界定相關的環境，說 明環境的需要與目前實際的狀況，指出何種需要尚未達成，並診斷問題的所 在，據以擬定目標。 「Ｉ」：投入評估（input evaluation） 即檢視可供訓練利用的資源，如訓練預算的多寡、訓練所需的軟體、硬體設 備等，目的在確定如何運用資源以達成目標。此項評估需瞭解有關部門能 力、達成目標的方法以及實施方法的設計。 「Ｐ」：過程評估（process evaluation） 即從訓練的實施至完成，訓練過程完整的評估，其目的在於提供定期的回饋 資訊給訓練計畫的負責人；過程評估有三項目標：偵測或預測在實施階段中 程序設計或實施方法上的缺失、提供資料協助方案作成決策、保留過程的記 錄。 「Ｐ」：成果評估（product evaluation） 即評估自訓練的實施所帶來的效益、訓練目標達成的程度；成果評估可提供 相關資訊，供決策者決定訓練方案是否繼續、終止、或修改。

監控培訓過程的四階段 1.界定培訓需求 4.評估培訓結果 監控 2.設計和規格 3.提供培訓

執行監控人員資格 對企業培訓有相當經驗者 對培訓過程有瞭解者 取得培訓相關認證者 對企業內部制度系統熟悉者 現職非承辦職訓作業者 能秉持公正客觀的稽核態度者 取的ISO稽核人員訓練合格者

執行培訓監控的方法 諮詢 訪談.對話 監控方法 觀察 調查 資料收集.紀錄 審核.核可

執行培訓監控的方法之比較 人力花費 時間花費 經費花費 難易度 有效性 諮詢 低 低 低 高 調查 高 高 觀察 高 高 低 低

培訓之監控 界定培訓需求之監控 監視 量測 職能落差 職能需求 培訓需求

培訓之監控 設計和規格之監控 核准 審查 課程制約條件 培訓計畫 講師遴選

培訓之監控 提供培訓之監控 調查 觀察 培訓前準備 培訓中的掌握 培訓結果

培訓之監控 評估培訓結果 核准 審查 培訓評估報告 培訓紀錄 培訓結果分析

培訓過程監控之改善程序 依據ISO品質系統 每年至少依次列入稽核 提供培訓過程是否有效的證據

演練 以35-22檢核表為範本 就你企業的實際狀況提出檢核表內容修正 本檢核表的適用時機與對象為何?

定期訓練結果報告 每個課程結束之成果報告 每個月課程實施結果報告 每三個月課程實施結果報告 每半年課程實施結果報告 每年年終課程實施結果報告 (課程實施結果報告書寫範例)

培訓稽核之要點 審閱文件之有效性 訓練品質手冊是否符合ISO10015標準要求 文件改版是否持續更新 不符要求文件是否被提出更改 稽核計畫之適宜性 稽核內容是否涵蓋ISO10015範圍 稽核安排時間是否恰當 稽核人員的條件是否符合 稽核進行的分工是否得宜

培訓稽核之要點 稽核內容之適宜性 稽核的要點與ISO10015的符合性 稽核紀錄能否反映ISO10015的要求 現場稽核過程的有效性 ISO10015與PDDRO的適宜性 訓練政策.訓練目標.訓練計畫的連貫性 高階的承諾與參與 持續改善與效果

TTQS查核人員之三大重點稽核資訊 訓練之內部流程 Data related to the internal processes of training 訓練規劃設計與組織目標績效缺口之聯結關係 Data related to the decision making processes liking training to the organizational performance gaps and business objectives 四階層之評量與投資報酬關係之評量 Data related to 4-level evaluations and ROI

ISO自我評核查檢表 條文 查核點 符合性 查核證據 4培訓指引 4.1培訓:四階段過程

Q & A