TTQS評核一致性探討與校準-新舊版 指標差異性 臺北城市科技大學 黃　惇　勝　教授 主講 101 年 4 月 10 日 迪野思®能力開發 迪野思 能力開發

回歸評核一致性原點 迪野思®能力開發

□ TTQS評核的挑戰 現場診斷的限界 ☞ 短促的時間 ☞ 不確定的情境 ☞ 有限的 Information ↓ ☞ 當機立斷 → ☞ 一致性 → ☞ 有效性 ☞ 道徳困境 ○ 迪野思®能力開發 迪野思 能力開發

□ TTQS評核一致性的五個層次 ☞ 計分卡 ☞ 個人 ☞ 組內 ☞ 組間 ☞ 計分卡 ☞ 個人 ☞ 組內 ☞ 組間 ☞ 區間（Local → International →Global） 迪野思®能力開發

□ 評核計分卡功能的進化 ☞ 系統結構要越來越簡明 ☞ 系統可靠度要越來越高 ☞ 評核尺度要越來越明確 迪野思®能力開發

□ 月暈效應的四種態樣 知 2 續 5 行 3 錄 4 ☞ 單線式 ☞ 集中式 ☞ 分散式 ☞ 跳躍式 迪野思®能力開發

□ 配對評核的可行模式 ☞ 模式一：基準共識法 ☞ 模式二：差距調節法 迪野思®能力開發

□ 實際結果(北區 2009) ☞ 約15%計分沒有一致性(企版15%、訓版13%、外版14%) ☞ 評核的分數幾乎相同者約14% (企版15%、訓版13%、外版11%) 資料來源：黃惇勝，2009.12.8 迪野思®能力開發

□ 年資 評核委員加入評核起之年資是否影響評核委員評量的分數，透過ANOVA的檢定，結果接受H0的虛無假設，即評核委員的評核年資與評核委員的分數，兩者無顯著的差異。 迪野思®能力開發

□ 集中度 透過單評核委員的認知裡，「3分是及格分數」或「2.5分是及格分數」，透過單一樣本 t 檢定(One-sample t test)，求得各委員的認知及格分數是在2.5分，而給分大部分是在2.5分至3分間。 迪野思®能力開發

□ 100年度TTQS評核等級統計 -企業機構版 20 分區 未過門檻 過門檻 銅牌 銀牌 金牌 總 計 北區 143(27%) 總 計 北區 143(27%) 272(51%) 91(17%) 32(6%) 538(100%) 桃竹苗 80(25%) 143(44%) 67(21%) 26(8%) 6(2%) 322(100%) 中彰投 136(24%) 244(44%) 119(21%) 48(9%) 10(2%) 557(100%) 雲嘉南 153(46%) 103(31%) 53(16%) 19(6%) 3(1%) 331(100%) 高屏區 119(39%) 104(34%) 61(20%) 18(6%) 305(100%) 合 計 631(31%) 866(42%) 391(19%) 143(7%) 22(1%) 2,053(100%) 資料來源：黃惇勝彙計自中小企協，2012.3.20 迪野思®能力開發 20

□ 100年度TTQS評核等級統計 -訓練機構版 分區 未過門檻 過門檻 銅牌 銀牌 金牌 總計 北區 4(2%) 136(63%) 65(30%) 9(4%) 1(1%) 215(100%) 桃竹苗 14(10%) 73(51%) 47(33%) 9(6%) 1(6%) 144(100%) 中彰投 5(3%) 80(44%) 79(43%) 18(10%) 183(100%) 雲嘉南 84(55%) 49(32%) 12(8%) 3(2%) 153(100%) 高屏區 10(6%) 80(45%) 74(42%) 9(5%) 178(100%) 合計 38(4%) 453(52%) 314(36%) 57(7%) 11(1%) 873(100%) 資料來源：黃惇勝彙自中小企協，2012.3.20 迪野思®能力開發

□ 系統可靠度 串聯式系統 VS 並聯式系統 迪野思®能力開發

P→D → D → R → O 知 → 行 → 錄 → 續 r=r1×r2×…rn □ 串聯式系統 P→D → D → R → O 知 → 行 → 錄 → 續 r=r1×r2×…rn 迪野思®能力開發

P + D + D + R + O 知 + 行 + 錄 + 續 r=1-(1-r1)(1-r2)…(1-rn) □ 並聯式系統 P + D + D + R + O 知 + 行 + 錄 + 續 r=1-(1-r1)(1-r2)…(1-rn) 迪野思®能力開發

□ 由資訊情境到評分的思考流程 ﹏資 訊 及 情 境﹏ □ 由資訊情境到評分的思考流程 ﹏資 訊 及 情 境﹏ 望‧聞‧問 ▪正面水準 ▪負面水準 評分 知 2 續 5 行 3 錄 4 切 迪野思®能力開發

□ 評核尺度的明確化 -滾動式評分方式 知 2 ☞ 一知半解 1.5 ☞ 大致瞭解 2.0 續 5 ☞ 大致完整 5.0 ☞ 零星局部 4.5 行 3 ☞ 有在做沒制度2.5 ☞ 有機制 3.0 錄 4 ☞ 大致完整 4.0 ☞ 零星局部 3.5 迪野思®能力開發

新舊指標的關鍵性差異分析 迪野思®能力開發

□ 構面及指標權重變化 ☞ 企業機構版 Plan Design Do Review Outcome 總計 舊版 35分 (33.3%) 25分 (23.8%) 15分 (14.3%) 10分 (9.5%) 20分 (19.1%) 105分 (100%) 新版 30分 (30.0%) 25分(25.0%) (15.0%) (10.0%) (20.0%) 100分 迪野思®能力開發

☞ 訓練機構版 Plan Design Do Review Outcome 總計 舊版 30分 (33.3%) 20分 (22.2) 15分 (16.66%) 10分 (11.11%) 90分 (100%) 新版 (30.0%) 25分(25.0%) (15.0%) (10.0%) (20.0%) 100分 迪野思®能力開發

□ 過程與結果導向評分標準 本質、形式俱脫鉤 ☞ PDDR→知行錄續5級分 ☞ Outcome → 多元化標準3-5級分 → 企業機構及訓練機構版評核指標與標準脫鉤 迪野思®能力開發

☞ 最高總分由5分拉到10-12分 ☞ 未執行者由1分改為0分 ☞ 企業機構版及訓練機構版計分標準脫鉤 □ 成果評估多元完整性 -由垂直到水平 ☞ 最高總分由5分拉到10-12分 ☞ 未執行者由1分改為0分 ☞ 除企業機構版的反應及學習評估採3級分 外，餘採4 級分。 ☞ 企業機構版及訓練機構版計分標準脫鉤 迪野思®能力開發

□成果有效性-企業及訓練機構版 評分指標及標準脫鉤 ☞ 有效性評分舉證責任 版本 評核指標 評核標準 企業機構版 ★高階主管訓練發 展認感(18) ★訓練成果(19) 5級分 (由少到多、點到面) 訓練機構版 ★目標客戶及學員 的功能評價(18) ★目標市場及顧客 的價值創新(19) 4級分 (由少到多、弱到強) 迪野思®能力開發

☞ 附表列舉項目除「市場及顧客價值創新面」外企業及訓練機構版同步化 □ 高功能訓練成果佐證附表 ☞ 附表列舉項目除「市場及顧客價值創新面」外企業及訓練機構版同步化 ☞ 列舉項目基本上為平衡計分卡(BSC)4構面人客流財的伸縮 迪野思®能力開發

□ 其他 ■ Plan構面 ☞ 「明確性」項下增列： 1.高階主管對訓練的承諾與參與(2) 2.明確的PDDRO訓練體系(3) ☞ 「能力」項下由「行政管理」改為： 訓練單位與部門主管訓練發展能力責任(6) 迪野思®能力開發

■ Design構面 ☞ 職能分析與應用(7) ： 1.構面屬性由Plan 改為Design 2.目的由「訓練流程」改為「訓練需求」 ☞ 學習成果移轉部分(13)： 重點由「工作環境」轉為「移轉與運用」 迪野思®能力開發

■ Do構面 ☞ 訓練內涵按計畫執行的程度增列： 依據課程目標選擇教學環境與設備(12e) ■ 其餘 ☞ 大致為文字整理或項目整併 迪野思®能力開發

新版指標評核的挑戰 迪野思®能力開發

☞各項評分標準究以知行錄續(串聯)為主？或以列舉佐資(並聯)為主？ □ 過程導向(PDDR)評核部分 ☞各項評分標準究以知行錄續(串聯)為主？或以列舉佐資(並聯)為主？ ☞ 兼顧知行錄續及列舉佐資的方法為何？(矩陣圖VS控制幅度) 迪野思®能力開發

☞ 例舉與列舉佐證資料在屬性或精神上有無不同？ ☞ 12a、12b、12c、12d、及12e的關係為並聯或串聯？如何同步觀照知行錄續及列舉佐資？ 迪野思®能力開發

□ 成果導向(Outcome)評核部分 ◆ 企業機構版 費時(17a-d) ☞ 高階主管認感評分與佐證資料 ☞ 反應-學習-行為-成果「4 評估」瑣碎 費時(17a-d) ☞ 高階主管認感評分與佐證資料 精準拿捏不易(18) (串聯VS並聯) ☞ 訓練成果評分與佐證資料精準拿捏 不易(19)(串聯VS並聯) 先評分？先舉證？ 迪野思®能力開發

□ 成果導向(Outcome)評核部分 ◆ 訓練機構版 ☞ 反應-學習-行為-成果「4 評估」瑣碎費時(17a-d) ☞ 系統一般性功能評分-目標客戶及學員的評 價與佐證資料拿捏不易(18) (串聯VS並聯) ☞系統市場功能評分-目標市場及顧客的價值 創造與佐證資料拿捏不易(19)(串聯VS並聯) 先評分？先舉證？ 迪野思®能力開發

新版指標評核 操作策略 迪野思®能力開發

☞ 原則上以知行錄續(串聯)定位、列舉佐資(並聯)微調。 □ 過程導向(PDDR)評核部分 ☞ 原則上以知行錄續(串聯)定位、列舉佐資(並聯)微調。 ☞ 但12a、12b、12c、12d、及12e以列舉佐資(並聯)定位(滿分各1分)、知行錄續(串聯)微調。 迪野思®能力開發

□ 成果導向(Outcome)評核部分 ◆ 企業機構版 ☞ 「4 評估」 評核口訣 查析、試析，行錄效、評錄效 (應) (學) ( 行) (孝) 茶嘻 食嘻 行日笑 頻日笑 迪野思®能力開發

□ 成果導向(Outcome)評核部分 ☞ 以訓練成果(口訣：初無初有各不阻)定位(串聯) 、將人客流財社他相關佐證資料(並聯)適當填寫。 ☞ 以高階主管認感(口訣：少依能改創)定位(串聯) 、將人客流財社他相關佐證資料(並聯)適當填寫。 ☞ 以訓練成果(口訣：初無初有各不阻)定位(串聯) 、將人客流財社他相關佐證資料(並聯)適當填寫。 迪野思®能力開發

□ 成果導向(Outcome)評核部分 ☞ 「4 評估」評核口訣 查析效、試析效，行錄效、評錄效 (應) (學 ) (行) (孝) ◆ 訓練機構版 ☞ 「4 評估」評核口訣 查析效、試析效，行錄效、評錄效 (應) (學 ) (行) (孝) 茶嘻笑 食嘻笑 行日笑 頻日笑 迪野思®能力開發

□ 成果導向(Outcome)評核部分 ☞ 以目標客戶及學員的評價(18) (口訣：不能有險)定位(串聯) 、將人流財社他相關佐證資料(並聯)適當填寫。 ☞ 以目標市場及顧客的價值創造(19)(口訣：無不有險)定位(串聯) 、將人流財社他相關佐證資料(並聯)適當填寫。 迪野思®能力開發 38

新版指標策略性評核操作演練 迪野思®能力開發

□ 訓版「4評估」演練 ☞ 情資：有滿意度調查、實作評量，有課後行動計畫實施紀錄，並能協助客戶評估訓練績效，但未有成果評估機制及紀錄。 應 學 行 孝 茶 嘻 笑 1 2 3 食 日 頻 迪野思®能力開發 40

□ 企版「高階主管任感」評核演練 ☞ 情資：訓後熟練度提升了！產品不良率降低了！證照通過率提高了！客訴率降低了！組織績效改善了- 雖然具體數字很難算出！ 人 客 流 財 社 他 少 1 依 2 能 3 改 4 創 5 迪野思®能力開發 41

簡報完畢 敬請指教 迪野思®能力開發