成效導向邏輯模式 之方案設計與管理 王嘉蕙 1 2012/8/31

參考資料 中華社會福利聯合勸募協會、鄭怡世（2010），成效導向的方案規劃與評估，巨流圖書公司。 趙佳音、中華社會福利聯合勸募協會合譯（2010），邏輯模式發展指南，巨流圖書公司。 高迪理譯（2009），服務方案之設計與管理，揚智文化。 趙善如譯（1999），社會服務方案績效的評量方法與技術，亞太圖書。 羅國英、張紉譯（2007），方案評估-方法及案例討論，雙葉書廊。 中華社會福利聯合勸募協會成效評量講師群講義。 11/30/2011 2012/8/31

成效評量的重要性 2012/8/31

責信時代來臨了！ 經費補助緊縮 績效責任，如何服務方案成效不彰，為什麼要持續給予資助？ 服務對象的滿意度 對服務提供者專業的責信 對經費贊助者負責 服務對象的滿意度 對服務的對象負責 對服務提供者專業的責信 2012/8/31 4

為何要做成效評量? 成效評量是為了: •發現服務對象是否達到預期效益 •改進方案 •對外說明方案的效益 •獲取有助於決策與計畫的相關知識 •探討非預期的正面成效 Measuring Program Outcomes. United Way of America. 1996. 2012/8/31 2 5

成效評量發現的結果 在組織內部運用 改善方案品質 改善方案管理 支持計畫 爭取合理經費預算 探討訓練需要 Measuring Program Outcomes. United Way of America. 1996. 2012/8/31 3 6

成效評量發現的結果 在組織外部運用 推廣方案給潛在案主 召募職員，董理監事會和志工 尋找合作夥伴 提昇共公共形象 維持及增加經費來源 Measuring Program Outcomes. United Way of America. 1996. 2012/8/31 3 7

何謂成效導向邏輯模式 2012/8/31

邏輯模式的定義 是一種系統化與視覺化的方法 表達經營方案所持有的資源、計畫的活動與希望達成的改變或成效之間關係的認知 問題或議題 社區需求 策 略 假設/前提 影響因素 希望得到的結果 (output,outcome, and impact) 1 2 3 4 5 6 2012/8/31

為何使用邏輯模式 邏輯模式有助於方案成功﹙設計、實施、、評估﹚ 邏輯模式強化方案實施 發展方案邏輯模式需要簡單的圖像及直接的方法 邏輯模式可反映團體的程序及共識 和方案一樣，邏輯模式也可能隨時間而改變 2012/8/31

邏輯模式的問題 • 邏輯模式可以回答三個關鍵問題嗎？(方案服務對象是誰？ 要處理什麼問題與情況？方案能解決與改變什麼問題？) • 成效是否連結方案活動? • 成效是否對服務對象有助益? • 這個方案能夠產生初期成效嗎? • 長期成效對服務對象來說，是否在長期成效中獲得有效的幫助 • 這個方案能夠有長期的成效改善服務對象的地位、狀況、生 活品質嗎? • 這一系列的成效有合理嗎? • 這一系列的成效是否充分描述方案的信念? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 2012/8/31 2 11

讓邏輯貫通方案 釐清方案理論 呈現方案的進展 方案評量問題與指標 善用資料蒐集工具 評估與分析能力 溝通與公共關係的策略 問題與議題說明 社區需求 預期效益 影響因素 策略 假設 以案主為核心，認識外部環境與 問題需求等探討與分析能力 理論基礎的運用 與 問題干預策略的發展 呈現方案的進展 Outputs 成果 Outcomes 成效 Impact 影響 Activities 活動/服務 Resources 資源 邏輯性地 規劃與執行方案計畫 方案評量問題與指標 Focus Area 服務焦點 Audience 方案相關人士 Questions 問題 Information Use 資訊使用 Indicators 指標 Technical Assistance 技術支援 善用資料蒐集工具 評估與分析能力 溝通與公共關係的策略 2012/8/31 12

所以 預計要做的事情是根據理論基礎規劃的… 開始 因為 你想做的事 的假設基礎和 影響因素成立的話 經費申請書 預期成效 根據這個理論基礎 應該產生的結果 我們想要做的 規劃與設計 我們目前為止做的 理論型式 Theory type Program Logic model 評估 溝通與行銷 成果報告 或 其他媒介媒體 執行 管理機制 activities type 服務型式 成效形式 Outcome type 如何呈現 機構說要做的事情 預計要做的事 Planned work – 所以 預計要做的事情是根據理論基礎規劃的… 2012/8/31 13

邏輯模式發展—方案計畫 說明為何這些策略在社區中會發揮 功效及如何發揮功效 假設/前提 列出認為可以協助達成 方案目標的各項策略 策 略 策 略 6 5 列出認為可能 影響方案 的個項因素 影響因素 描述方案欲解決的問題 或欲提出的議題 問題或議題 希望得到的結果 (output,outcome, and impact) 描述出如果方案 開始執行，所希 望得到的結果、 或對未來的願景 (短、中、長程) 4 1 3 具體說明社區需求— 為何要發展此方案 社區需求 2 2012/8/31 14

方案理論基礎與假設 先釐清誰在經歷甚麼問題 我們是以甚麼觀點與角度來看待這個群體所面臨的問題 理論基礎與假設是構思方案後續一系列行動的基礎 2012/8/31 15

邏輯模式單元介紹 2012/8/31 16

邏輯模式各單元 問題界定 與 需求評估 目標及目的 的 設定 服務設計 服務方案 成效評量 資源 投入 運作 過程 服務 產出 17 2012/8/31 17

問題界定 現有的社會問題中，機構所關注的議題為何? 是誰來判定這個情境為問題? 能否用資料或具體的現象來界定問題？ 問題界定 與 需求評估 目標及目的 的 設定 服務設計 資源 投入 運作 過程 服務 產出 服務方案 成效評量 問題界定 現有的社會問題中，機構所關注的議題為何? 是誰來判定這個情境為問題? 能否用資料或具體的現象來界定問題？ 2012/8/31

問題界定 是誰面臨什麼樣的問題情境？（目標人口群） 有多少人處於這樣的問題情境中？ 針對這個問題情境我們可以處理那個範圍？ 針對這個問題情境我們可以處理那個範圍？　 這個範圍的問題現況為何？（釐清方案的理論基礎與假設） 問題的本質及成因是什麼？ 曾有過那些解決方案？其成效各為如何？　　 ■ 找尋有關此問題情境的數據資料作為依據 　  全國性的數據資料  地方性的數據資料  不見得可以找到精確的數據，有時需要用推估 的方式來獲得　 2012/8/31

看待問題的觀點 所關懷的對象 問題 看待問題的觀點 期待 請說明你或你的組織所觀察到需要協助的群體 請以一段話描述這個群體正在經歷甚麼問題 請以一段話說明你或你的組織以甚麼觀點看待這個群體所面臨的問題 請以一段話說明你或你的組織認為如何處理這樣的問題 社區中新移民家庭的學齡前兒童 語言/識字能力較同年齡的兒童來的低落 主要照顧者無法提供適當的中文化學習資源 增加新移民家庭主要照顧者中文化的學習資源 2012/8/31

需求評估 方案預期服務的範圍(地理區域、人口群)為何? 該服務範圍的社區或族群有何特性？ 方案服務的執行所希望解決的是哪些具體問題？ 問題界定 與 需求評估 問題界定 與 需求評估 目標及目的 的 設定 服務設計 資源 投入 運作 過程 服務 產出 服務方案 成效評量 需求評估 方案預期服務的範圍(地理區域、人口群)為何? 該服務範圍的社區或族群有何特性？ 方案服務的執行所希望解決的是哪些具體問題？ 其中受到上述問題影響所及的是哪些人？ 在哪些方面受到影響？ 該項問題與需求迫切性的具體實證為何？ 2012/8/31

需求評估的方法 運用次級資料推估 運用現有機構服務的統計資料 透過相關文獻資料的分析與整理 社區需求調查 現有資源盤點 舉辦公聽會蒐集資料 問題界定 與 需求評估 問題界定 與 需求評估 目標及目的 的 設定 服務設計 資源 投入 運作 過程 服務 產出 服務方案 成效評量 需求評估的方法 運用次級資料推估 運用現有機構服務的統計資料 透過相關文獻資料的分析與整理 社區需求調查 現有資源盤點 舉辦公聽會蒐集資料 2012/8/31

需求評估的重點 了解受問題困擾的目標群體及其特性 將這些目標群體的問題轉化為需求 將這些資訊轉化為服務內容 目標人口群需要什麼 ?需求量為何 ? 現有的供需比例為何 ? 現有資源的運用情形為何 ? 考量組織的使命、專長與優勢 2012/8/31

尋找資料的相關資源 政府網站 相關文獻 內政部社會司、兒童局 內政部統計處 勞委會職業訓練局 行政院主計處統計專區 國家圖書館政府資訊網 圖書：國家圖書館館藏目錄查詢系統、全國文獻傳遞服務系統 博碩士論文：台灣博碩士論文知識加值系統 政府委託研究報告：內政部研考資訊系統 期刊論文：台灣期刊論文索引系統 2012/8/31

工作表單一：問題界定與需求評估 問題界定 需求評估 資料蒐集 試將方案中「問題的界定與需求評估」 轉化成文字敘述填寫於下面各欄位中 2012/8/31

目標樹 問題界定 與 需求評估 目標及目的 的 設定 目標及目的 的 設定 服務設計 服務方案 成效評量 使命(Mission) 方案A 資源 投入 運作 過程 服務 產出 服務方案 成效評量 目標樹 使命(Mission) 方案A 方案B(Program) 方案C 目標(Goal) 目標2 目的2 目的1(Objective) 2012/8/31

目標(Goal) 定義:機構主要關心的社會議題，希望對 某一特定族群所造成的最終影響。 進行目標設定時，要注意: 機構所關心的社會議題 問題界定 與 需求評估 目標及目的 的 設定 目標及目的 的 設定 服務設計 資源 投入 運作 過程 服務 產出 服務方案 成效評量 目標(Goal) 定義:機構主要關心的社會議題，希望對 某一特定族群所造成的最終影響。 進行目標設定時，要注意: 機構所關心的社會議題 主要被服務的目標人口群 方案最終希望達到的影響或理想 達成目標所使用的策略 短、中、長期目標間須有邏輯的關係 2012/8/31

範 例 <長期目標> 青少年順利從學校畢業 <中期目標> 青少年學業成績獲得改善 <中期目標> 範 例 <中期目標> 青少年學業成績獲得改善 <中期目標> 青少年能按時完成家庭作業 <中期目標> 青少年能夠運用學到的好習慣讀書 <短期目標> 青少年學到良好的讀書習慣 2012/8/31

目的(Objective) 定義:在特定的時間內，預期達到的明確 成果，進行目的設定時，要注意: 完成時間、期限 欲達成可測量的具體成果 問題界定 與 需求評估 目標及目的 的 設定 目標及目的 的 設定 服務設計 資源 投入 運作 過程 服務 產出 服務方案 成效評量 目的(Objective) 定義:在特定的時間內，預期達到的明確 成果，進行目的設定時，要注意: 完成時間、期限 欲達成可測量的具體成果 達成目標的測量方式 2012/8/31

目的設定時的思考面向 時間架構 方案的服務對象 欲達成明確、可測量的具體成果 測量目的是否達成的方法 方案時間表 應明確指出方案希望服務對象所產生的改變 欲達成明確、可測量的具體成果 測量目的是否達成的方法 測量的方法 2012/8/31

檢視目標與目的的設計 目標是否明確陳述預期改變的是哪些人口群？ 目標是否明確陳述預期改變這些人口群的哪些具體問題？ 目的陳述中是否有表明欲達成目的的特定日期或是什麼期限內完成？ 目的是否明確表達測量方式？以及測量的標準為何？ 我們所設定的目的是否有回應到方案所呈現的問題以及需求評估？ 我們所設定的目標是否有回應到機構所關心的社會議題？ 2012/8/31

試將方案中「目標及目的的設定」轉化成文字敘述 工作表單二：目標與目的的設定 試將方案中「目標及目的的設定」轉化成文字敘述 目標 目的 2012/8/31

資源投入(Input) 定義:方案計劃當中藉以產生或持服務 的資源，用於支持方案內容所進 行的相關活動。 問題界定 與 需求評估 目標及目的 設定 服務設計 資源 投入 運作 過程 服務 產出 服務方案 成效評量 資源 投入 資源投入(Input) 定義:方案計劃當中藉以產生或持服務 的資源，用於支持方案內容所進 行的相關活動。 2012/8/31

資源投入面向 服務對象 人力資源 知識與技術 服務對象的資格 服務對象人數 專業工作人員的資格與人數 兼職工作人員的資格與人數 志工的資格與人數 工作loading 知識與技術 2012/8/31

資源投入面向 物質資源 硬體設施 法定設施標準 可近性 設備 合作夥伴 經費 2012/8/31

預算編列 編列預算的目的：控制、管理與規劃 預算編列的注意事項 呼應服務內容 詳讀補助/招標單位的經費補助標準表 經費標列要合理，切勿浮編與誇大 收支平衡 預算科目需以一般會計原則為準 區分經常門與資本門 2012/8/31

試將方案中「資源投入」轉化成文字敘述填寫於下面各欄位中 工作表單三：資源投入 試將方案中「資源投入」轉化成文字敘述填寫於下面各欄位中 服務對象 (優勢或特性) 人力資源 物質資源 1.經費 2.設施 3.設備 2012/8/31

運作過程（Process） 定義: 服務提供的過程。包括: 1.服務的定義 2.服務策略 3.服務工作項目 4.服務流程 5.服務時間規劃 問題界定 與 需求評估 目標及目的 的 設定 服務設計 資源 投入 運作 過程 服務 產出 服務方案 成效評量 運作 過程 運作過程（Process） 定義: 服務提供的過程。包括: 1.服務的定義 2.服務策略 3.服務工作項目 4.服務流程 5.服務時間規劃 2012/8/31

服務定義 以簡單扼要的一兩句話，對所欲提供的服務加以描述界定 將解決服務對象問題與需求所需的一系列服務活動，從一個較大的範圍簡化成一個較小且特定的重點 使各界對提供的服務有共同的了解 2012/8/31

服務項目 服務的各項活動 活動內容須扣緊與解決服務對象的問題與需求 各項活動的執行者、時間、怎麼作與如何進行 與社區網絡的關係 2012/8/31

服務流程圖與表單 流程圖可讓我們了解服務運作內容與過程 服務表單可協助我們紀錄服務內容、過程 服務表單可依服務流程的步驟來設計 服務表單可依方案規畫者預蒐集的資料來設計 切勿將服務表單作為服務流水帳，為了評鑑而寫、為了寫而寫 2012/8/31

檢視運作過程的設計 「服務的定義」陳述清楚明確 明確描述運作過程「服務工作項目」如何進行 具體陳述服務所提供之「處遇方法」 運作過程之規劃與問題陳述及目的一致 設計的理由充分且合理 活動時間適當合宜且資源的運用在可行的範圍 綜觀運作過程，是否有銜接以及邏輯關係 2012/8/31

工作表單四：設計運作過程 試將方案中「運作過程」 轉化成文字敘述 2012/8/31

產出(Output) 定義:方案活動的產物、服務使用者 所接受的服務。 問題界定 與 需求評估 目標及目的 的 設定 服務設計 服務方案 資源 投入 運作 過程 服務 產出 服務方案 成效評量 服務 產出 產出(Output) 定義:方案活動的產物、服務使用者 所接受的服務。 2012/8/31

檢視產出的設計 基於方案設定之目的，透過何種服務活動的組合提供，才能代表完成整個服務過程？ 服務活動的組合最低數量及品質應各為何？才能達到預期目標產生可測量的結果？ 測量服務數量前，明確界定測量指標之服務單位？ 規劃資料蒐集的系統，包括表單與電腦資訊系統 2012/8/31

工作表單五﹕產出 試將方案中「產出」轉化成文字敘述 2012/8/31

何謂成效(Outcome)? 一個方案預期目標的具體達成程度，以 及展現在具體事實上的各種可觀察與可 測量的改變或參與者的受益情形。 問題界定 與 需求評估 目標及目的 的 設定 服務設計 資源 投入 運作 過程 服務 產出 服務方案 成效評量 服務方案 成效評量 何謂成效(Outcome)? 一個方案預期目標的具體達成程度，以 及展現在具體事實上的各種可觀察與可 測量的改變或參與者的受益情形。 2012/8/31

成效評量 outcome measurement 焦點放在處遇的結果上，特別是處遇是否會產生預期的成效，並且去確認方案的成果目標被達成的程度。 成果評量須依賴清楚和明確的目標，這些目標是基於期望的效果，焦點擺在服務使用者狀況的改變上，例如：知識、技巧、態度、行為或能力。 2012/8/31

成效評量： 三個階段 1 3 2 蒐集資料，改善方案 第一階段: 規劃成效評量; 發展邏輯模式 第三階段: 第一階段: 規劃成效評量; 發展邏輯模式 第三階段: 蒐集資料，改善方案 1 3 2 第二階段: 選擇成效： 確認指標與影響因素 2012/8/31 5 49

成效評量的步驟 規 劃 成 效 評 量 發 展 邏 輯 模 式 選 擇 確 認 指 標 與 影 響 因 素 蒐 集 資 料 ， 改 善 方 案 2012/8/31 50

規劃成效評量 決策者的支持：方案評量因為會動用到組織的資源，是以必須獲得決策者的支持。 確認方案：成效評量所要評量的方案到底為何 形成工作團隊：成效評量是由一個團隊執行評量工作。 確定工作時限：成效評估不可能無限期評量下去，必須有所規劃，限定出明確的時間執行並完成效評量。 釐清參與者的職責：針對團隊成員的職責一一釐清，以提昇工作效率。 2012/8/31

成效類別 服務成效 短期 中期 長期 知識 態度 技巧 學習 行為 能力 狀況 地位 2012/8/31

發展成效邏輯模式 為本方案投入的資源 例如： 經費 專職人力與時間 志工人數與時數 設備設施 器材及工具 方案規範與限制   例如： 經費 專職人力與時間 志工人數與時數 設備設施 器材及工具 方案規範與限制 例如： 法律 辦法與規定 經費贊助者要求 運用投入資源，以方案宗旨為目標所進行的相關活動 例如： 提供遊民食宿 提供就業訓練 教育社會大眾有關兒童保護的觀念：如何辨認受虐兒童的傷痕 為青少年少女安排大哥大姊陪伴成長 方案直接成果   例如： 授課班數與時數 提供諮商服務時數 提供教材份數 服務提供的總時數 方案服務人數 方案進行中與進行後案主或參與者的受益情形 例如： 獲取新知識 增進新技能 態度價值觀改變 　　 行為的改善 狀況的改善 社經地位的提昇 2012/8/31

Long-term outcomes長期成效 Intermediate Outcomes 中期成效 Initial Outcomes 初期成效 Outputs 服務產出 Activities 方案活動 Input 投入資源 2012/8/31

邏輯模式圖範例 2012/8/31

第二階段： 選擇成效；確認指標及影響因素 第一步驟： 選擇要測量的成效 第二步驟：確認指標 第三步驟：確認影響因素 2012/8/31

選擇要測量的成效 選擇具有以下條件的成效： 該成效與方案服務的結果有 邏輯關係 與特定的方案活動有關 能回應方案關切的問題 代表有意義的幫助或改變 能夠有效地傳達方案的效益 2012/8/31

成效選擇表 成效 意義性 責信 可測性 可行性 總計 列出四個在這方案邏輯模式中的成效。 評估此成效對此方案的意義（從1-3分，3分代表最具意義性） 評估此成效對於此方案責信展現的程度（從1-3分，3分代表最具可說明性） 評估此成效能被測量的程度（從1-3分，3分代表最容易被測量） 考量每一個成效評量所需的時間、資源和互利（從1-3分，3分代表最具可行性） 2012/8/31

確認指標 指標是： 可觀察也可測量的 能夠導出方案的成功 描述成效發生時的情形 夠明確，能使不同的人 看到時得到相同結論 能夠以合理的成本、 　可觀察也可測量的 　能夠導出方案的成功 　描述成效發生時的情形 　夠明確，能使不同的人 看到時得到相同結論 　能夠以合理的成本、 時間、人力來測量 2012/8/31 2-7 5 59

指標的類型 :課輔家教 成效類型 成效 指標 知識 行為 改善的情況 學生知道好的學習習慣 **％的學生，可以指出至少五種有效學習的讀書方法 學生準時完成家庭作業 **％的學生，在老師指派作業後能準時繳交 改善的情況 學生有好的學習成就 **％的學生，能得到A或B的成績並繼續保持。 **％得到C或更差成績的學生，可以在完成方案後，改善他們的成績 2012/8/31 2-9 4 60

步驟三：確認影響因素 變數： 服務對象 環境 方案 2012/8/31 2-10 5 61

成效評量 : 第三階段 第一階段：規劃「成效評量」，發 展邏輯模式 第三階段： 第二階段：選擇成效：確認指標與影響因素 蒐集資料，改善方案 2012/8/31 3-1 5 62

第三階段 : 蒐集資料 ; 改善方案 第一步驟－設計資料蒐集方法 第二步驟－資料蒐集 第三步驟－組織並彙整資料 第四步驟－分析和呈現資料 第三階段 : 蒐集資料 ; 改善方案 第一步驟－設計資料蒐集方法　　　　　　 第二步驟－資料蒐集　　　　　　　 第三步驟－組織並彙整資料 第四步驟－分析和呈現資料 第五步驟－運用資料改進方案，你的行動計畫 Use Analyze Organize Collect Design 2012/8/31 3-3 5 63

成效評量規劃表 成效： 方案預期達到成效，你所要觀察或測量的指標？ 你如何得到資料？你所使用的方法和工具是什麼？ 指標/影響因素 HOW （方法和工具） WHO WHEN WHERE 程序（Procedures） 方案預期達到成效，你所要觀察或測量的指標？ 你如何得到資料？你所使用的方法和工具是什麼？ 誰負責提供資料？誰負責收集資料 ？ 什麼時候要收集資料—在方案中的那個時機點以及頻率、次數？ 在什麼地方收集資料—是在服務對象的家中、透過電話等 2012/8/31 64

成效導向邏輯模式的計畫書架構 計畫名稱、計畫書摘要、邏輯模式 計畫書的前言、緣起 處境分析、問題界定、需求評估 計畫的目標與目的 活動或服務、投入資源 評估計畫 預算表、進度表與分工表 附件 2012/8/31

謝謝聆聽 敬請指教 2012/8/31