教育領導與評鑑研究所 指導教授：丁文生 教授 研究生：李保康

Presentation on theme: "教育領導與評鑑研究所 指導教授：丁文生 教授 研究生：李保康"— Presentation transcript:

1 教育領導與評鑑研究所 指導教授：丁文生 教授 研究生：李保康
評鑑模式和工具研究 後設評鑑之探究 教育領導與評鑑研究所 指導教授：丁文生 教授 研究生：李保康

2 內容概覽 後設評鑑的起源 後設評鑑的定義與內涵 後設評鑑的立論基礎 後設評鑑的實施步驟 後設評鑑的案例 結語 評鑑的評鑑

3 後設評鑑的起源與發展 後設評鑑的概念，最早出自1940年 Orata P.T. 所說的「評鑑的評鑑」 (evaluating evaluation)或evaluation of evaluation，也稱為「內部評鑑 的外部評鑑」。

4 後設評鑑的起源與發展 1969年，Michael Scriven在《教育產出 報告》（Evaluation Products Report） 這份評鑑計畫中率先提出「後設評鑑」 （metaevaluation）此一用語。 到了1972年，Scriven（1972）再從評 鑑方法論的觀點，探討後設評鑑的概 念與方法。

5 後設評鑑的起源與發展 Stufflebeam（1974）將之區分為： 1.「形成性後設評鑑」 2.「總結性後設評鑑」 並且提出 34 項判斷評鑑優缺點的標準， 以及 64 項的後設評鑑實施原則。

6 後設評鑑的定義-Scriven 「對一項評鑑、評鑑系統或評鑑設計的 評鑑」，亦即是對評鑑的評鑑。
◆ Scriven（1972）隨後又將後設評鑑視 為「第二層級的評鑑」（second-order evaluation）。他表明：就理論而言，後 設評鑑涉及評鑑角色的方法論評估；就 實務而言，後設評鑑關注明確具體的評 鑑表現的評鑑。

7 後設評鑑的定義-Cook evaluation）的概念，用以檢視「原級評鑑」 （primary evaluation）的資料。次級評鑑即：
◆Cook T.A. (1974)提出「次級評鑑」（secondary evaluation）的概念，用以檢視「原級評鑑」 （primary evaluation）的資料。次級評鑑即： （1）試圖經由檢核研究資料及其解釋和啟示， 重新評估特定評鑑研究與潛在政策的相 關性； （2）試圖利用基礎研究或評鑑的現有資料， 評估當前措施或變通方案的主要假定， 及其對未來政策的實證性支持程度。

8 後設評鑑的定義-Stufflebeam 針對評鑑技術的效用性(utility)、實 務性(practicality)、倫理性(ethics) 及適切性(propriety)，進行描述、獲 取、和使用敘述性及判斷性資料的過程， 以便於指引評鑑的實施，並公開報告評 鑑的優缺點。 ~(Stufflebeam, 1981)

9 後設評鑑的定義-Stufflebeam 公元2000年，Stufflebeam（2000）進一 步認為後設評鑑是指：「為能引導評鑑的 實施並提供其優缺點，而對某一評鑑系統 的正當性、效益性、可行性與正確性，進 行審慎的描述、獲取及應用敘述性與判斷 性資訊的歷程」。亦即後設評鑑的目的， 主要在引導並確保評鑑系統能符合評鑑的 正當性、效益性、可行性與正確性標準。

10 後設評鑑的定義 換言之，後設評鑑的目的，主要在引導並 確保評鑑系統能符合評鑑的正當性、效益 性、可行性與正確性標準。 後設評鑑即依據相關的標準--包含評鑑的 適切性、可行性、精確性與效用性，以及 系統化的本質、正直、尊敬人們、社會責 任能力的實踐等--描述、獲取及應用敘述 性與判斷性資訊，指引評鑑並報告評鑑的 優缺點。

11 後設評鑑的立論基礎 評鑑本身難免會有失誤，或者評鑑結果 未臻理想的時候。專業的評鑑者需要回 饋，以確保其評鑑的品質，并提供改進 評鑑的方法。因此，對評鑑本身實施的 評鑑，在於確保評鑑受到嚴謹的評鑑， 並且是立基於專業，以及符合公眾利益 的。

12 評鑑失誤的可能因素 6.模糊的結果 1.不適當的焦點 2.不當的規準 3.偏差的結果 4.技術性錯誤 5.不當的結論 7.無法確認的建議
8.超支的經費 9.對使用者的不當說明 10.產生不良結果的推論 1.不適當的焦點 2.不當的規準 3.偏差的結果 4.技術性錯誤 5.不當的結論

13 誰需要後設評鑑？ 1.評鑑專業人員 ● 提供改善個別評鑑、發展評鑑取向與工具 的方向 ● 獲得並維持對委託人與其他評鑑人員服務 的信用 2.消費者 ● 幫助做成對採用產品或服務之決定 ● 建立對使用評鑑結果與發現的信心

14 誰需要後設評鑑？ ● 確保原級評鑑品質與用途，並確認評鑑的 ● 確認原級評鑑的人員資格、經驗、能力、 3.對非專業人員的評鑑系統掌管者
● 確定其機構所提供的評鑑服務符合倫理 的、務實的、可用的、及時的、值得投 資的規準 4.對評鑑的客體 ● 確保原級評鑑品質與用途，並確認評鑑的 影響 ● 確認原級評鑑的人員資格、經驗、能力、 績效等，符合個人或學生評鑑標準

15 後設評鑑的功能 1.為「做決定」（decision making）服務，經常是由內部 人員所實施的「形成性後設評鑑」。在評鑑活動之前，
● Stufflebeam（1974）認為後設評鑑的任務有二： 1.為「做決定」（decision making）服務，經常是由內部 人員所實施的「形成性後設評鑑」。在評鑑活動之前， 對評鑑的設計和實施，提供適時的建議，藉以確保評 鑑結果在技術上合乎妥當、有用和成本／效能的標準。 2.為「績效責任」（accountability）服務，係指「總結 性後設評鑑」，大多由外部人員對已完成的評鑑工作， 提出優缺點的判斷，藉以確認評鑑者的績效和評鑑結 果的可靠性。

16 後設評鑑的功能（續） 3.為「評鑑研究」服務的啟發性後設評鑑，旨 在突破學術本位的限制，建立資料多元使用
●游家政、曾祥榕(2003）則認為除了Stufflebeam （1974）提到的二項任務以外，還應增加一項： 3.為「評鑑研究」服務的啟發性後設評鑑，旨 在突破學術本位的限制，建立資料多元使用 和科際整合的評鑑研究途徑，藉以發現新的 評鑑觀點以及知識。

17 後設評鑑的功能 1.評估評鑑工作的品質、影響及運用，降低評鑑結果 的不確定性 2.評估評鑑取向的實用性 3.說明及控制評鑑實施時的偏差
4.提供並確保評鑑的績效責任 5.探討評鑑過程的性質，藉以獲得另一種觀點和評鑑 獨立的精神 6.突破學術本位的限制，建立科技整合的研究 7.糾正對評鑑可能發生的誤用 8.提供多層面的訓練功能 9.整體評估各種原始評鑑的效果 10.促成知識的累積和多元資料的應用 11.增進評鑑專業的能力 ⃰資料引自曾淑惠（2002）

18 後設評鑑的特點 任何評鑑工作都可以受到評鑑 後設評鑑的方法與一般評鑑中的方法並無不同
後設評鑑進行的過程中，通常會以「聯合委員會」 所發展的評鑑標準作為評估的基礎 後設評鑑的使用時機必須在評鑑方案實施前、實 施中及實施後分別進行。 形成性後設評鑑可以在造成無法復原的錯誤之前， 改善評鑑的研究 總結性後設評鑑則可增強評鑑之最後成果的可靠性 18

19 常用的後設評鑑標準 方案評鑑標準* 人事評鑑標準 學生評鑑標準 效用性 Utility 適切性 Propriety
可行性 Feasibility 精確性 Accuracy ● 評鑑績效（課責）⃰ Evaluation Accountability 方案評鑑標準* （1981,1994,2011） 人事評鑑標準 （1988,2009） 學生評鑑標準 （1997） *2011年發佈「方案評鑑標準」第三版增加「評鑑績效」一項。

20 （美國）聯合委員會 JCSEE （美國）西密西根大學 評鑑中心Western Michigan University The Evaluation Center

21 常用的後設評鑑標準 效用性 確保評鑑必須能夠為特定使用者提供所需要的資訊。 適切性
確保評鑑的實施是合法的、合倫理的，並保障所有的 評鑑參與者和受評鑑結果影響者的福利。 可行性 確保評鑑必須是真實的、審慎的、圓融的、樸實的評 鑑。 精確性 確保評鑑對於決定受評方案優、缺點的特徵，能夠提 出足夠的、有效的資訊。

22 2011年新增的後設評鑑標準 評鑑的文件化 評鑑應當完整地記錄所描述的評鑑目的、評鑑的 實施設計、過程、資料和評鑑結果。 內部的後設評鑑
評鑑績效（課責）Evaluation Accountability 評鑑的文件化 評鑑應當完整地記錄所描述的評鑑目的、評鑑的 實施設計、過程、資料和評鑑結果。 內部的後設評鑑 評鑑人員應使用適切的標準來檢核評鑑設計的績 效，以及所採用的程式、收集到的資訊和得出的 結果。 外部的後設評鑑 鼓勵方案評鑑的資助者、客戶，評估，以及其他 利益關係人，採納適用的標準進行外部的後設 評鑑。

23 方案評鑑標準-效用性 確保評鑑必須能夠為特定使用者提供 所需要的資訊。 U1 利害關係人的確認：確認參與評鑑或受評鑑影
響的人，並敘述他們的需求。 U2 評鑑者的可靠性：評鑑者必須值得信賴並具執 行評鑑的能力，以確保評鑑結果的可信度和接 受度。 U3 資訊的範圍與選擇：廣泛蒐集和選擇資訊，對 方案提出適切的問題，並回應委託人或其他特 定利害關係人的需求和利益。 U4 價值的確認：謹慎地描述結果解釋的觀點、程 序和理論基礎，使價值判斷的基礎得以清晰 明白。

24 方案評鑑標準-效用性（續） U5 報告的清晰性：評鑑報告必須清楚的描述被 評鑑的方案，包括它的背景脈絡、目的、程 序、以及評鑑結果，使呈現的基本資訊易於 為人了解。 U6 報告的及時性與傳播：重要的期中發現和評 鑑報告必須傳達給預定的使用者，以供適時 地被使用。 U7 評鑑的影響：評鑑的規劃、執行和報導方式， 應能鼓勵利害關係人堅持完成，以提升評鑑 結果的使用性。

25 方案評鑑標準-適切性 P1 服務導向：評鑑的設計應能幫助組織提出參與者的 各種需求，並且提供有效的服務。
確保評鑑的實施是合法的、合倫理的，並保障所有的評鑑參與 者和受評鑑結果影響者的福利。 P1 服務導向：評鑑的設計應能幫助組織提出參與者的 各種需求，並且提供有效的服務。 P2 正式的義務：正式的評鑑團體對評鑑之義務（做甚 麼、如何做、誰去做、何時做），必須獲得同意並 形成書面約定，同時善盡合約上的責任、或正式地 重新協商。 P3 受評者的權利：評鑑的設計及執行必須尊重和保護 受評者的權利和利益。 P4 人性的互動：在評鑑過程中，評鑑者應尊重所有互 動者的尊嚴和價值，並避免威脅或傷害參與者。

26 方案評鑑標準-適切性（續） P5 完整和公平的評鑑：評鑑必須完整、公正地檢驗 和記錄受評方案的優點及缺點，既使優點得以言 之有據，而問題部分也能被提出來。 P6 結果的報導：正式的評鑑團體應確保受評鑑影響 者和其他具合法權利之相關人員，可以取得完整 的評鑑結果及其限制。 P7 利益的衝突：利益衝突的處理必須開誠布公，才 不會危及評鑑的過程和結果。 P8 財務的責任：評鑑者對資源的分配與開支，應能 反映良好的績效責任程序、以及審慎的和倫理上 的責任感，並使支出具績效性和恰當性。

27 方案評鑑標準-可行性 確保確保評鑑必須是真實的、審慎的、圓融的、 樸實的評鑑。 F1 務實的程序：評鑑的程序必須是實際可行的，且在
蒐集所需資訊時，應將干擾減至最小。 F2 政治上的可行：評鑑的計畫與實施應該預先考慮不 同利益團體的期望，以獲得他們的合作，並預防或 反制任何團體簡化評鑑過程、扭曲或誤用評鑑結果 等不當意圖。 F3 成本效益：評鑑應該有效率，並提出具價值性的資 訊，以證明所耗費的資源是正當的。

28 方案評鑑標準-精確性 精確性標準旨在確保評鑑對於決定受評方案優、缺點 的特徵，能夠提出足夠的、有效的資訊。 A1 方案參考文件的利用：清楚、精確地描述受評方案， 並形成書面文件以確認該方案。 A2 情境分析：詳細檢視方案所在的情境，並確認出 可能影響方案的因素。 A3 目的與程序的描述：監控並詳細敘述評鑑的目的 和程序，使其獲得確認和評估。 A4 有根據的資訊來源：詳盡地描述方案評鑑所使用的 資訊來源，並經評估資訊的適切性。

29 方案評鑑標準-精確性（續） A5 有效的資訊：選用或發展資訊的蒐集程序，然後 再實施，以確保所獲致的解釋，對預定的用途是 有效的。 A6 可靠的資訊：選用或發展資訊的蒐集程序，然後 再付諸實施，如此才能確保所獲致的資訊，對預 定的用途是可靠的。 A7 系統化的資訊：系統地檢視評鑑的資訊蒐集、處 理與報導，並修正任何的錯誤。 A8 量化資訊的分析：適當地、系統地分析評鑑的量 化資訊，有效地回答評鑑問題。

30 方案評鑑標準-精確性（續） A9 質性資訊的分析：適當地、系統地分析評鑑的質性 資訊，有效地回答評鑑問題。 A10 理由充分的結論：明確且充分呈現評鑑所獲致的 結論，俾使利害關係人加以評估其結論是否得當。 A11 公平的報導：評鑑的報導步驟應該避免受到個人 感情或任何群體偏見的扭曲，評鑑報告才可以公 平地反映出評鑑結果。 A12 後設評鑑：評鑑本身應該參照上述標準和其他適 切的標準，進行形成性和總結性評鑑，使實施過 程獲得適當的指引；在完成之後，利害關係人 也能仔細地檢查其優點和缺點。

31 人事評鑑標準 「人事評鑑標準」旨在為教育人員和董事會成員，提 供一個廣泛共識性的一般原則，據以發展和評估優良 的、受尊重的、和可接受的人事評鑑系統，以及執行 這些原則的有用建議。 其內容包含了27項⃰ 標準，其結構亦分為適切性、效用 性、可行性及精確性四個基本概念。這些標準反映一 個事實─人事評鑑的重要性，以及確保人事評鑑者能 提供良好的、合倫理的專業表現。此標準的使用者包 括：學區、社區學院、四年制學院、大學、專業發展 組織、以及其他教育機構。 （JCSEE, 1988） *JCSEE，Joint Committee on Standards for Educational Evaluation的簡稱 **2009年發佈第二版，標準增至27項。

32 人事評鑑標準（續） 人事評鑑的情境不同於方案評鑑，因為人事評鑑無論 做得多糟糕，基本上是無法避免的。因此，「聯合委 員會」主張人事評鑑者應該優先處理適切性標準，主 要理由是：適切性標準關注服務方針的議題，特別強 調人員評鑑的基本目的在為學生和社會提供有效的、 安全的、倫理的服務。「人事評鑑標準」即在幫助確 認學生受到很好的服務，讓服務有持續性的改善，以 及讓有害的措施能夠立即被揭露並提出來。但「人事 評鑑標準」也特別聲明，人事評鑑措施應該是建設性 的，而且免於受到不必要的威脅或有不道德的特質。 在積極的氣氛下，人事評鑑也可以幫助規劃一個良好 的專業發展經驗，並且協助每一個專業者評估和 加強她/他的表現。

33 人事評鑑標準-正當性 係指人員後設評鑑過程的合法性與合倫理性，其 所涵蓋的標準包括： (一) 服務取向：例如衡量服務提供者是否提供高品
(一) 服務取向：例如衡量服務提供者是否提供高品 質及有原則的服務等； (二) 正式的評鑑指引：例如傳遞清楚的評鑑資訊、 符合所有適當的倫理準則等； (三) 利益衝突：例如找出潛在的利益衝突、運用多 元的資料來源來檢視與判斷個人的表現等； (四) 個人評鑑報告的取得：例如維持蒐集到之資料 的安全性、清楚定義有權使用評鑑報告的人； (五) 與評鑑者的互動：例如與受評者共同發展評 鑑報告、為個人的表現提供回饋等。

34 人事評鑑標準-效用性 係指人員後設評鑑符合時效、清楚呈現的程度而 言，其所涵蓋的標準包括： (一) 建設性取向：例如提供具時效性的回饋、提供
(一) 建設性取向：例如提供具時效性的回饋、提供 進步的指引等； (二) 對於使用的定義：例如描述清楚的評鑑程序以 供參考、紀錄與判斷重要的評鑑問題等； (三) 評鑑者的可信度：例如清楚定義評鑑者的權利 與責任、作出專業的指引等； (四) 功能性的報告：例如發行清楚的報告、發行具 時效性的報告等； (五) 追蹤與影響：例如鼓勵與協助應用所發現的 結果、幫助受評者了解評鑑結果等。

35 人事評鑑標準-可行性 係指人員後設評鑑實施過程考量政治、財政與法律等 相關條件的情形，其所涵蓋的標準包括： (一) 實施程序：例如以直接且熟悉的語言具體說明 評鑑步驟、減低對於組織的干擾等； (二) 政治可能性：例如為所有受評者提供合適的共 同焦點與方向、為迅速校正錯誤而提供呼籲與 步驟等； (三) 財政可能性：例如有效使用資源、有效使用受 評者的時間等； (四) 法律可能性：例如在需要時提供專業的法律諮 詢、堅持其他的標準等。

36 人事評鑑標準-精確性 係指人員後設評鑑清楚定義評鑑角色、程序、步驟等 之情形，其所涵蓋的標準包括： (一) 定義的角色：例如清楚定義受評者的角色和責 任、為受評者提供清楚的成就目的等； (二) 工作環境：例如在受評者的工作表現上定義描 述並記錄環境的影響、於評鑑在職者的表現時考 慮組織氣氛等； (三) 程序性文件的提供：例如為受評鑑的在職者提供 計畫的文件、提供評鑑者之資格的文件等； (四) 測量的效度：例如根據描述的角色和有意願的使 用者選擇評鑑程序、在測量內容中涵括一個有 代表性的範例等；

37 人事評鑑標準-精確性（續） (五) 測量的信度：例如訓練和校正觀察者與評估者及 其他的資料蒐集者、為安全可信賴的步驟提供文 件等； (六) 系統性的資料掌控：例如監督與掌控資訊的蒐集、 維持所獲得之資訊的安全等； (七) 偏誤的控制：例如從多元來源蒐集資訊、提供複 審與上訴的管道等； (八) 評鑑系統的監督：例如評估實際評鑑與評鑑計畫 的差距、評估達成評鑑目的之程度等。

38 學生評鑑標準-背景 「學生評鑑標準：如何改進學生評鑑」（The Student 套教育評鑑標準體系。前兩套標準分別用以指導教師
Evaluation Standards: How to Improve Evaluations of Students, 2003）是 JCSEE 繼「人事評鑑標準」（The Personnel Evaluation Standards, 1998）和「方案評鑑標準」（The Program Evaluation Standards, 1994）之後，研製出的又一 套教育評鑑標準體系。前兩套標準分別用以指導教師 和課程的評鑑，而第三套標準是專門針對學生評鑑的 指南。「標準」共28項，每一標準都含有「 標準陳 述」、「含義解釋」、「使用指南」、「常見錯誤」、 「案例介紹」和「相關文獻」等六部分，分別針對 學生評鑑的四個不同方面。

39 學生評鑑標準-適切性 旨在確保學生評鑑能在合法且合乎倫理的情形下實施， 並關注受評學生與其他受到評鑑結果影響人員之福利。 包括7個分項標準： （1）服務學生導向-評鑑目的與學生學習需要的吻合； （2）適當的政策與程序-評鑑制度和秩序的健全； （3）評鑑資訊的取得-評鑑中學生隱私權的保護； （4）學生在評鑑中受到的尊重； （5）學生的權益必須得到保護； （6）學生優點和缺點評鑑的平衡； （7）各種評鑑利益之衝突的避免和有效的調節。

40 學生評鑑標準-效用性 旨在確保學生評鑑是具有效用性，且應具有教育性、 及時性與影響力 。包括7個分項標準： （1）評鑑對學生成長具有建設性； （2）資訊使用者被明確指出； （3）收集資訊的範圍被清楚界定； （4）評鑑人員具備完善的評鑑知識和技能； （5）評鑑的價值取向經過認真的論證； （6）評鑑報告準確並且及時； （7）評鑑本身包括對評鑑效果的追蹤。

41 學生評鑑標準-可行性 旨在確保學生評鑑可依計畫實施，且具有實用性、策 略性及受到充分支持。包括3個分項標準： （1）學生評鑑的過程實際可行，能夠按照正確的計 畫在教學中實施，不被誤用、濫用和扭曲； （2）學生評鑑的問題來自學生、家長和其他合法的 資訊使用者，評鑑能夠回答他們所關心的問題， 同時也能得到他們在評鑑中的合作； （3）學生評鑑活動的開展有充足的時間和資源作保 證，評鑑人員能夠有效地設計和實施評鑑，充 分地傳播和使用評鑑結果。

42 學生評鑑標準-精確性 旨在確保學生評鑑能夠對學生的學習過程和成就提供 準確的資訊，保證提供有效的解釋、可驗證的結論和 恰當的後續追蹤行動。包括11個分項標準： （1）效度導向--對學生學習成績的解釋，應當依據 可靠的評鑑結果，不能無根據地隨意下結論； （2）對學生的明確期望--學生學習的預期目標應當 在評鑑開始時就定義清楚，以便使評鑑的結果 具有明確的針對性； （3）脈絡的分析--可能影響學生學習成就的個人因 素和環境因素應當被考慮到，這樣使得對評鑑 結果的解釋更加全面、有效；

43 學生評鑑標準-精確性（續） （4）程序的建檔--學生評鑑的程序應被準確地以檔 案的形式描述下來，便於用來解釋和論證其評 鑑過程； （5）具辨明性的資訊--要保證評鑑中所收集的資訊 的準確性，使教學決策可以在此基礎上被論證， 有利於好的決定產生； （6）有信度的資訊--要正確選擇、建立和實施評鑑 程式，以便對學生學習表現的判斷提供可靠、 有效的資訊； （7）偏誤的確認與管理--學生評鑑中應沒有偏見， 保證結論是公平的；

44 學生評鑑標準-精確性（續） （8）資訊處理與品質控制--為了對學生評鑑的結果得出 準確的結論，應系統審查所收集、處理和報告的學 生資訊，進行適當的、必要的更正，同時需要將所 有的評鑑資料妥善保存，以便日後核查、參考； （9）資訊的分析--應當系統而精確地分析從學生評鑑中 獲得的資訊，使評鑑的目的有效達到； （10）具驗證性的結論--應當對學生學業成就的評鑑結 論給予清楚、充分的證明，只有這樣，學生、家 長和其他人對評鑑結果才能建立起信心； （11）後設評鑑--用以上標準定期檢查學生評鑑的程式， 開展後續的評鑑活動，以便對可能發生的錯誤進 行及時預防、檢查和修正，從而建立起、長期 的、良好的學生評鑑運行機制。

45 學生評鑑標準-補充說明 蘇錦麗（2009）表示，要避免「學生評鑑標準」的 誤用，在運用此套標準時須遵守下列5個步驟： 1.非常熟悉各項標準； 2.釐清採用這套標準之目的為何； 3.審視並選擇一個或多個適用的標準； 4.施行所選的標準； 5.依據標準施行的結果，決定行動過程並付諸實行。

46 後設評鑑的架構內涵 不同評鑑階段實施後設評鑑之焦點

47 途徑四： 原評鑑人員檢視自己在前一次的評鑑工作
後設評鑑的途徑與方法 途徑一： 重做一次評鑑，比較兩次評鑑所得出來的結果 途徑二： 以不同的方法論對同一受評主體再做一次評鑑 途徑三： 以方案評鑑標準判斷評鑑的價值 途徑四： 原評鑑人員檢視自己在前一次的評鑑工作 後設評鑑途徑

48 後設評鑑的實施步驟 主要步驟 具體步驟 1.確認後設評鑑報告的委託人及合適的閱 讀評鑑報告者 1.決定後設評鑑的利害關係人，并安排 與之互動
2.委託人必須委任合格的後設評鑑者 （包括考慮評鑑者的種族與性別的多樣化） 2.建立一個合格的後設評鑑小組 3.協商後設評鑑的契約 3.界定後設評鑑的問題 4.議決評鑑系統或特定評鑑的判斷標準 5.協商後設評鑑的契約 4.彙整和分析可利用的相關訊息 （實地晤談與觀察、檔案的研究） 6.蒐集和檢視適切可用的資訊 7.必要時蒐集新資訊，包括實地訪談、 觀察及問卷調查等 5.分析所獲取的資訊和描寫後設評鑑的結 果 8.分析質性和量化資訊，并判斷評鑑符 合所選定評鑑標準的程度 9.準備和提出必要的報告 6.在必要時，後設評鑑小組必須協助委託 人或其他利害關係人解釋評鑑結果 10.協助委託人和其他利害關係人 解釋及應用評鑑結果

49 Stufflebeam 的後設評鑑11 項步驟 1.決定並安排與後設評鑑關係人的互動 8.分析質化與量化的資訊，判斷評鑑的特質
2.成立後設評鑑團隊 3.定義後設評鑑的問題 4.獲取判斷的標準原則或參考標準 5.協商控管後設評鑑合約或協商備忘錄 6.蒐集並檢視相關的資訊 7.以現場訪談、觀察、調查等方式，蒐集新資訊 8.分析質化與量化的資訊，判斷評鑑的特質 9.判斷證據，提出報告 10.傳播後設評鑑的發現 11.解釋並應用評鑑的發現 ~ 圖片取自曾淑惠（2012）

50 後設評鑑方案規劃的程序與步驟 師資培育小詞典-「為美國而教」
後設評鑑方案規劃的程序與步驟 師資培育小詞典-「為美國而教」

51 後設評鑑的案例-為美國而教 背景： 「為美國而教」組織藉由招募有能力且有 興趣到貧民區任教的大學生，提供他們一 年的在職教師的培訓，並在試用期間嚴謹 地評鑑他們的表現及潛能，再推薦合格的 受訓者成為有效的教師，並且授予證書。

52 後設評鑑的案例-為美國而教 1995年，該組織對其評鑑試用教師的「表
現評估系統」（Performance Assessment Systm, PAS）實施後設評鑑。其目的在確認「表現 評估系統」的設計和執行過程是否公平、 確實，以及能正確地評鑑初任教師。 後設評鑑對其重要性即在於： 協助該組織根據完善的初任教師評鑑，做 出正確的判斷與推薦，以及建立并維持該 方案的可信度。

53 後設評鑑的案例-為美國而教 「為美國而教」的教師評鑑系統，由下 列五個部分組成： 1.教師檔案 2.檔案鑑定者 3.鑑定者的訓練與校正系統 4.檔案的實際評鑑 5.根據評鑑結果的授證建議

54 後設評鑑的案例-為美國而教 「為美國而教」的後設評鑑，依據「聯合 委員會」（1988）出版的《人員評鑑標準》 中的21項要求⃰，對教師表現評估系統進行 評鑑，并探討下列各項的適當性： 1.表現評估的設計 2.教師對學生學習影響的評估 3.評估者的篩選與訓練 4.歷程檔案檢核的實施 5.評估者對試用教師評等的量化分析 6.教師表現評估系統的合法可辯明性 7.教師表現評估系統廣泛使用的啟示

55 後設評鑑的案例-為美國而教 後設評鑑小組在過程中蒐集（資料）和評 鑑內容： 1.受訓教師的學業成績 2.試用教師鑑定者的評鑑者證書 3.「為美國而教」的計畫 4.招生、訓練與評估的資料 5.觀察並紀錄鑑定者的訓練 6.檢查初任教師檔案 7.觀察鑑定者對教師教材的實際評鑑、分 析等第和授證的建議

56 後設評鑑的案例-為美國而教 根據上述證據來檢視「為美國而教」的表 現評估系統是否符合、部分符合或不符合 「聯合委員會」的21項標準⃰。同時參考相 關政策、現況和法規，以評鑑「為美國而 教」的評鑑結構域過程的合法性。最終並 提出一份執行摘要、一份全文報告及一份 完整的後設評鑑技術附錄，悉數交由「為 美國而教」組織，供其自由使用。

57 後設評鑑的案例-為美國而教 後設評鑑結果： 1.「為美國而教」評鑑小組，對於試用教 師總結性評鑑的實施和報告，做了有效 且有信度的評鑑。 2.在告知評鑑委託人之州教育廳或學區有 關評鑑結果，以及引導他們根據評鑑結 果做出適當決定方面，「為美國而教」 組織符合專業表現。

58 後設評鑑的案例-為美國而教 後設評鑑小組提出「為美國而教」教師 表現評估系統需要改進之處有： 1.為鑑定者提供充分的訓練課程。 2. 加強受訓教師對學生學習效果的評 量。 3. 加強鑑定者和受訓者在領域或各年 級教學的互相配合。

59 台灣的後設評鑑模組 在教育部專案「高級中等以下學校試辦教師 專業發展評鑑之後設評鑑規劃研究」中，規 劃出診斷性、改進性、解釋性與結論性等四 種後設評鑑模組(潘慧玲、王麗雲、張素貞、鄭 淑惠、林純雯， 2007) 。 此四種模組係依評鑑目的之不同而發展，故 當使用者目的需求不同時，所選擇的模組自 會不同。惟四個模組真有實施之層級性，診 斷性後設評鑑乃是所有評鑑類型之基礎。

60 台灣的後設評鑑模組 診斷性後設評鑑模組 提供縣市瞭解所轄學校試辦教師專業發展評鑑基本資料與執行情形 改進性後設評鑑模組
據以檢視評鑑得失，以評判試辦教師專業發展評鑑之實施品質，最後再針對未臻理想之規準著手改進 結論性後設評鑑模組 瞭解各縣市教師專業發展評鑑辦理的結果。包括： 縣市學校教師專業展評鑑促進教師專業發展的現況； 縣市學校教師專業表現的現況； 不同評鑑參與者對教師專業發展評鑑辦理的滿意度； 學生學習與行為表現進步的情況。 解釋性後設評鑑模組 瞭解評鑑實施及其成效的差異成因

61 台灣的後設評鑑研究成果 自民國84年迄今，共有62篇博碩士論文。 其中60篇屬於教育領域的研究。 後設評鑑研究的成果概覽

62 結論 周全的評鑑標準和檢核的程序 成員具有一致性的政策（觀點）和審慎的態度 呈現有價值的優點與必須被校正的缺點
當所分析之方案評鑑結果涉及社會大眾利益時， 必需對評鑑結果保有倫理、精確及忠實等特質 若評鑑的結果對先前的評鑑有所質疑時，需符合 倫理規範並謹慎定位，以避免偏見及結果的不當 使用

63 餘緒（1）：現象與思考 台灣的後設評鑑研究多見於學位論文的研究 評鑑的委託單位亟思後設評鑑卻有其難處 如何判斷評鑑的價值或優點
誰來評鑑後設評鑑 美國之外的後設評鑑標準？ 國家意志的介入，還是西方文化的買辦(comprador)

64 餘緒（2）：呼喚「後標準化」(post-standardization)的來臨
後設評鑑的存在，目的在確認「評鑑」的品質，亦即 評鑑的對象是「評鑑」。然而，有了後設(meta)的觀 點，大家卻習以為常的好像非得遵循某個依據，藉以 判斷怎樣才是一個好的評鑑？後設評鑑標準成為確保 評鑑品質的最後一道防線，最常引用的是JCSEE提出 的方案評鑑標準--效用性(utility)、可行性(feasibility)、適 當性(propriety)、精確性(accuracy)等四大項共30個標準， 用以判斷評鑑的品質。然而，其所隱喻的價值如出一 轍，目的在指陳一套清晰的架構，讓「評鑑」的後設 評鑑得以依循，其所關心的是「評鑑」的程序與結果 應受檢視的標準，重點則在找出證據，探求評鑑的 實施是否符合後設評鑑標準的規範。

65 餘緒（3）：呼喚「後標準化」(post-standardization)的來臨
只是，評鑑總是先設定一個標準，然後以這個標準去檢視 達成程度，評鑑者僅看到結果，礙於時間且必須講求績效， 多用放諸四海的標準去推論問題所在，卻不去探討文化脈 絡的問題。後設評鑑標準本身在提供後設評鑑之參照，但 過程中若太強調客觀數據與精確，以證明「評鑑」本身符 合科學的要求，藉由工作分析、細目化、標準化、成本— 效益等程序，提出一連串的證明，這樣的程序將導引表現 趨於一致性，導致後設評鑑的標準化。這看似指引了評鑑 的客觀方向，但過度重視或盲目追求的結果，卻也侷限了 評鑑的視野，忽視了多元個體的脈絡差異，遏止了可能的 創造與發展。「標準」的存在讓大家在無意間限制了關注 焦點。原為提供參照指引的標準，成為大家爭相追逐 的焦點，並且向工具性傾斜。

66 參考文獻 游家政、曾祥榕（2004）。教育評鑑的後設評鑑。教育資料集刊，29， 53-94。
游家政、曾祥榕譯（2005）。後設評鑑方法論，載於蘇錦麗審訂，D. L. Stufflebeam,原編著，評鑑模式：教育及人力服務的評鑑觀點。 台北：高等教育文化事業有限公司。 曾淑惠（2002）。教育方案評鑑。臺北：師大書苑。 曾淑惠（2006）。評鑑專業化的概念與發展對我國教育評鑑專業化的啟 示。教育研究與發展期刊（第二卷第三期）， 。 曾淑惠（2012）。後設評鑑的要務。技術及職業教育季刊，第2卷第2期， 42-51。 蘇錦麗、黃曙東（2007）。教師評鑑與專業成長。臺北:心理出版社。 蘇錦麗（2009）。大學校院學生學習成果評估相關內涵分析。 評鑑雙月刊第21期，58-62。

67 參考文獻 Brinkerhoff,B.O.,Brethower,D. M., Hluchyj, T. & Nowakowski,J. R.(1986). Program Evaluation: A Practitioner’ s Guide for Trainers and Educators. Cook, T. D. (1974). The potential and limitations of secondary evaluation. In M. W.Apple, M. J. Subkoviak, & H. S. Lufler (Eds.). Educational evaluation: Analysis and responsibility . Berkeley, CA: McCutchan Pub. Scriven, M. (1969). An introduction to metaevaluation. Educational Products Report, 2. Scriven, M. (1972). An introduction to meta-evaluation. In P. A. Taylor, & D. M. Cowley, (Eds.). Readings in curriculum evaluation. Dubuque, Iowa: W. C. Brown Co. Stufflebeam, D. L. (1974). Toward a technology for Evaluating evaluation. EDRS ED NO Stufflebeam, D. L. (1981). Meta-evaluation: concepts, standards and uses.In R. A. Berk (Ed.), Educational evaluation methodology: the state of the art. Baltimore: Johns Hopkins University Press. Stufflebeam, DL (2000) The Methodology of Metaevaluation as Reflected in Metaevaluations by the Western Michigan University Evaluation Center, Journal of Personnel Evaluation in Education, Vol.14 (1)

68 感謝聆聽 歡迎指正