專題討論

我國與美國科技計畫績效評估方法之探討

內容大綱 壹、前言 貳、文獻回顧 參、國內科專計畫績效評估方式 肆、美國先進技術計畫(ATP)績效評估 方式 陸、結論與建議

壹、前言(1/4) 近二十年來各國政府為提升國家競爭力，仍不斷的編列巨額的科技研發預算，以創造國家總體經濟成長之效益。 在有限的政府預算下，如何發展國家創新系統，協助產業研發與創新，繼而達成國家總體經濟發展的目標，是現階段政府施政之重要課題。

前言(2/4) 我國自1977 年起，由經濟部編列預算委託法人研究機構從事科技專案開發計畫。 1992年時為進一步推動科技研究之整體發展方向，行政院通過「國家科學技術發展六年中程計畫」。 其主要重點之一，是由經濟部負責推動產業科技研究發展專案計畫（簡稱「科專計畫」）

前言(3/4) 本文首先介紹國內過去所提出及採用之研發績效評估模式，如 研究專案對產業影響追蹤分析模式（IRCE） 大型工業技術研發績效評估模式（IRON） 科技專案計畫追蹤驗證評估模式（IROT） 探討其評估方式的優缺點及實際進行評估時所產生的問題。 美國先進技術計畫（Advanced Technology Program, ATP）之「跨領域計畫之績效評估模式」

前言(4/4) 本文引用之評估模式主要有國內外兩種， 國內方面以臺灣科技大學劉代洋（2004）對工研院及資策會採IROT 模式的評估結果， 國外方面以美國先進技術計畫（ATP）重量級研究員Rosalie Ruegg（2001）所建立的複合績效評等系統（CPRS）及2006 年針對ATP 已完成之50 個計畫的評估結果，同時針對此兩評估模式進行比較分析。

貳、文獻回顧(1/3) 本研究之主要目的是探討科技專案計畫之績效評估。 Cooper 與Kleinschmidt（1995） 及Griffin（1997）建議科技計畫績效評估應具備多層次及廣泛的評估方法與技術，摒除過去以預算或同僚互評等不具即時性及客觀性的評估方式，並配合績效評估策略 評估的重點必須要具備回饋性、即時性、可控制性與全面性的特質，才能有效的提升研發活動的效能。

文獻回顧(2/3) Werner 與Souder（1997） 以投資報酬率、管理者評鑑、投資組合評估、專利數、研究報告數、成本時間分析、實際投入研發成本與預算的差異程度等項目衡量研發績效。 Brown 與Sevenson（1988）以研發程序、研發產出及研發成果三構面十項指標來衡量研發績效。

文獻回顧(3/3) 國內科專計畫績效評估準則（IROT 模式）採用Cordero（1990）投入─產出模式，評估方法採用Pappas 與Remer（1985）的半定量準則，評估指標包含Werner 與Souder （1997）之專利數等及Brown 與Sevenson （1988）之研發產出與成果等評估指標，以期能有效地深入評估廠商之研發績效。

參、國內科專計畫績效評估方式 根據經濟部技術處技術尖兵雜誌（1995）第九期所提出之科技專案計畫評估模式，主要有以下三種模式： 研究專案對產業影響追蹤分析模式（IRCE） 大型工業技術研發績效評估模式（IRON） 科技專案計畫追蹤驗證評估模式（IROT） IROT 應用模式 IROT 修正模式

1.IRCE模式

2.IRON模式

3.IROT模式

4.IROT 運用模式 IROT 績效評估模式雖已建立16 項績效評估指標，但各項指標的重要程度不同，且部份指標無法量化計算 因此仍須配合專家評鑑方式，來決定科專計畫的執行成效。

5.IROT 修正模式 85×0.3 ＋ 80×0.3 ＋ 80×0.2 ＋ 80×0.2 ＝ 81.5

肆、美國先進技術計畫（ATP） 績效評估方式 短期目標強調發展合作關係、提出發展目標、加速研發及完成任務等；中期目標強調知識的創造、知識的外溢及商業化；長期目標強調私有利益及社會利益

肆、美國先進技術計畫（ATP） 績效評估方式(1/4) 目的是容許政府以費用分攤的形式鼓勵業界從事具高風險且具有發展潛力之技術研發。 美國先進技術計畫的成立目的與宗旨與我國業界科專計畫極為相近，因此績效評估模式可以當作借鏡及參考之用。

美國先進技術計畫（ATP） 績效評估方式(2/4) 獎勵廠商投入研發高科技產品及製程為主，因此計畫可分成短、中及長期等三個不同階段目標 ATP 諮詢委員會成立僅十餘年，多數研發計畫仍在進行中，尚無法衡量出長期目標之社會利益 Ruegg（2006）建議ATP應採用中期目標做為計畫績效的評估基礎，並以複合績效評等系統（Composite Performance Rating System, CPRS）做為績效的評估的準則。

美國先進技術計畫（ATP） 績效評估方式(3/4) 複合績效評等系統主要步驟為： 1. 界定比較分析項目，如計畫短、中或長期目標； 2. 建構CPRS 公式，如各項指標與權重； 3. 決定資料收集方法； 4. 選擇評估個案研究計畫及評級指標； 5. 收集個別計畫的資料； 6. 計算個別計畫之分數與評定等級； 7. 計算總體計畫之產出或收益； 8. 比較總體計畫之收益、成本及利潤。

美國先進技術計畫（ATP） 績效評估方式(4/4) 發展出九個績效評估指標，其主要內容 及說明如下： 技術判定 商業判定 專利資料 出版與發表數量 預期上市的產品及製程 共同研究 增資的吸引力 小公司勞動變動率 （不包含大公司與合資企業）： 未來展望

一、CPRS 原始分數衡量與計算方式(1/3) 知識創造構面

一、CPRS 原始分數衡量與計算方式(2/3) 知識擴散構面

一、CPRS 原始分數衡量與計算方式(3/3) 商業化構面

二、跨領域計畫績效等級之評定(1/2) 原始總分 星數 24 分以上 4 顆星 18–24 分 3 顆星 12–18 分 2 顆星 6–12 分 1 顆星 6 分以下 0 顆星

二、跨領域計畫績效等級之評定(2/2)

伍、我國科專計畫與美國ATP 之 績效評估模式比較

陸、結論與建議(1/4) 我國業界科專計畫的主要目標較偏重於培養廠商研發能力、促進知識外溢與產業升級，因此採用投入、產出、成果運用及效益等階段之IROT 模式，進行績效評估。 本文之目的為探討我國經濟部科專計畫績效評估IROT 模式與美國先進計畫之複合績效評估CPRS 模式之異同與優缺點，希望能提供決策單位做為科專計畫績效評估之參酌。

結論與建議(2/4) 一般而言，科技計畫之效益產生，通常在計畫結束後之2-5 年，有些前瞻性科技計畫超過8 年以上。 我國科專計畫多屬1-3 年之短中期計畫，且在計畫結束後即進行績效評估，如此是否能真正反應出科專計畫的實質效益，令人產生質疑。

結論與建議(3/4) 國內科專計畫績效評估採IROT 模式，包含投入、產出、成果運用及效益等階段，其中產出、成果運用及效益等階段，可能在計畫結束時尚未能達到實際效益，因此必須依賴許多非數量之指標，如技術引進、技術擴散、技術水準提升及國家競爭力提升等，且仰賴具專業能力之專家進行專業的判斷，因此專家顧問群的聘任及選派，則顯得特別重要。

結論與建議(4/4) 建議國內科專計畫主管機關，有必要建立國內科專計畫資料庫，並強化科專計畫資料的收集、建檔、分析與運用，如此才能了解國內科專計畫短中長期目標之成效，建立適合我國科專計畫的評估指標，避免直接套用國外績效指標，造成評估的偏差。

Thanks for listening