Download presentation
Presentation is loading. Please wait.
1
Stake的全貌與反應式評鑑模式 指導教授:鄭新輝博士 T 才淑華
2
目 次 壹、Stake的專業背景和工作經驗 貳、全(外)貌式評鑑模式 叁、檢討修正全(外)貌觀中的若干立場,轉 而提出反(回)應式評鑑取向
目 次 壹、Stake的專業背景和工作經驗 貳、全(外)貌式評鑑模式 叁、檢討修正全(外)貌觀中的若干立場,轉 而提出反(回)應式評鑑取向 肆、反(回)應式評鑑取向 伍、貢獻與優點 陸、批評與質疑
3
壹、Stake的專業背景和工作經驗: 1952年Stake在美國海軍預備學校教數學,後來他在普林斯頓大學專研心理測量學,並得到博士學位。1963年進入伊利諾大學,在教育心理系任教,並擔任「教學研究與課程評鑑」(Center for Instructional Research and Curriculum Evaluation,簡稱CIRCE)的副主任。當時該中心主任Hastings鼓勵他在教學方面專心研究,但Stake深深著迷於Hastings和Cronbach在課程評量方面的研究工作。因此Hastings 1978年退休之後,Stake便繼續其位,主持該中心的研究工作迄今。
4
壹、Stake的專業背景和工作經驗: Stake的思想觀念深深受到下列因素影響: 其一是他早年所受有關數學、統計和評量方面的訓練和工作經驗。
當時伊利諾大學的Cronbach教授也支持他的說法。Cronbach認為評鑑在教育上的基本功能是指引課程的改良,而不是評斷已經設計完成的課程之用。 Tyler對於Stake的觀點亦有明顯的影響。 主張評鑑人員必須做判斷的Scriven對Stake亦有明顯的影響。 在CIRCE的研究工作經驗亦影響到Stake的評鑑觀。
5
貳、全(外)貌式評鑑模式 ( Countenance model)
(一)評鑑應充分描述教育方案的先在、過程和結果 要素: Cronbach 提及:評鑑領域所需要的是一位優秀的社會人類學家,其能體認教學方案的情境或文化特質。 Cronbach主張評鑑應強調發揮課程改進功能,而非等到課程發展完成後再去確認其效果。 Cronbach主張評鑑應強調發揮課程改進功能,而非等到課程發展完成後再去確認其效果。
6
貳、全(外)貌式評鑑模式 ( Countenance model)
(一)評鑑應充分描述教育方案的先在、過程和結果要素:
7
貳、全(外)貌式評鑑模式 ( Countenance model)
(一)評鑑應充分描述教育方案的先在、過程和結果要素: 邏輯的關聯性
8
貳、全(外)貌式評鑑模式 ( Countenance model)
(二)除了充分描述外,評鑑者亦需做判斷: 對此議題,Cronbach 因強調課程評鑑之改進功能,故傾向於支持僅做描述;而Scriven(1977)則認為任何評鑑活動之本質目的,即在於判斷某些實在(entities)的內在價值(merit)和效用價值(worth),故除非評鑑人員做了判斷,否則即未完成評鑑。在此一議題上,Stake 接受了Scriven 之觀點。 Stake認為評鑑者除充分描述外,亦需做判斷,當時他說:「評鑑專家們將是否接受Scriven 之挑戰性觀點雖仍待觀察,但不管如何,情況顯示判斷似已逐漸增加為評鑑報告的一部份,評鑑者應找出並紀錄特定身分人士之判斷意見。儘管這些意見可能是主觀的,卻是相當有用,評鑑者可免於受推銷員式意見之影響而客觀地加以蒐集。」(Stake, 1977,p.376) 。 。
9
貳、全(外)貌式評鑑模式 ( Countenance model)
(三)採絕對標準和相對標準進行判斷:
10
貳、全(外)貌式評鑑模式 ( Countenance model)
(四)以描述矩陣做形成性評鑑,判斷矩陣做總結性評鑑: Cronbach主張:「評鑑所能提供的最大服務,在於其能指出課程需改進之處。」。所以,他極力倡導形成性評鑑。 Scriven則反對此種看法,她從消費者權益維護的角度,認為總結性和比較性評鑑亦非常重要。 Stake 在評鑑的全貌觀中加以巧妙折衷和整合。他認為若評鑑者的主要責任是形成性評鑑,則可利用圖2 的描述矩陣進行對方案的先在、過程和結果要素之關聯性和一致性分析,再加上其理念之分析,藉此可有效指出教育方案的待改進方向。若評鑑者之責任是做總結性評鑑,則可採圖3 的判斷過程,亦即從教育方案的判斷矩陣資料實施其在 絕對標準或相對標準上之價值判斷。
11
叁、檢討修正全(外)貌觀中的若干立 場,轉而 提出反(回)應式評鑑取向
叁、檢討修正全(外)貌觀中的若干立 場,轉而 提出反(回)應式評鑑取向 ㄧ、過於強調不同方案間相對比較的觀念: 他省思後認為,為了比較,評鑑者往往對方案提出許多構念性變項,以這些事先預定的人為、非自然、抽離自情境的變項來對方案結果進行比較,往往很少能掌握住方案的真正特質,比較結果對現場人員之教育實踐亦無多大助益。 二、過於強調顯明性的價值標準及評鑑者的總結性判斷: 他發覺現場情境中的各利害相關人士自有其隱含的價值判斷觀點,此等價值很難明確化,且任何方案並非僅具單一價值,而是有許多價值;因而他不再支持Scriven 所主張評鑑者可做權威式總結判斷之觀點,認為評鑑者應儘量呈現相關人士的價值判斷,評鑑者自己所提供者應祇是一種軟性判斷主張。
12
叁、檢討修正全(外)貌觀中的若干立 場,轉而 提出反(回)應式評鑑取向
叁、檢討修正全(外)貌觀中的若干立 場,轉而 提出反(回)應式評鑑取向 三、將描述和判斷兩類評鑑矩陣做太明顯的區分: 在全貌觀中常有描述先於判斷,亦即充分描述之後才能進行判斷之觀念。但Stake 後來反省認為,事實上在評鑑進行中判斷常伴隨著描述、觀察資料之獲得而心中即生判斷。而這也表示,在評鑑進行中,評鑑的問題和議題可能不斷於心中漸漸擴展產生,故評鑑的問題不宜事先完全預定,或祇固著於回答既定的評鑑問題。 四、過於將先在、過程和結果要素間的關係簡約化: Stake 省思後認為現場的情境因素非常複雜,即使於相同的先在條件下在不同情境中施以相同的投入,其結果亦將有所不同。他後來乃強烈主張評鑑更應採個案研究方式實施,必須更重視情境脈絡中各種複雜因素與知識之理解和掌握。 五、過於相信中央化政策能指導教育實際: Stake自承他在全貌觀中,較傾向於採中央化革新方案可有效引導現場教育實際而獲致教育改進之思維,因而當時所設想之評鑑報告閱聽者,偏於是那些研究、行政和政治上的權威者。他亦自承這是個錯誤,乃改認為評鑑的最重要閱聽者應是那些受評方案的直接利害關係人,例如:教師、當地社區領導人員和方案實施者 。
13
肆、反(回)應式評鑑取向 (Responsive Evaluation)
Stake 是採取將回應式與預定式評鑑取向相互對照的方式,來展現反應式評鑑的意義和觀念-- 預定式評鑑強調的是方案目標之陳述,客觀測驗之使用,方案決策人士的標準,以及研究類型之報告形式;相對地,反應式評鑑則強調評鑑的服務功能,其寧可犧牲某些測量上的精確度,但希望增加方案內和其週遭相關人士對評鑑發現之使用,其較少依賴正式的溝通,而更重視自然性溝通。 Stake 指出,教育評鑑要成為反應式的,必須符合三項規準: 1.更直接的以方案活動為取向,而不是方案意圖。 2. 回應於評鑑報告閱聽者之資訊需求。 3. 參照現場情境中人們不同的價值觀來報告方案之成敗。
14
肆、反(回)應式評鑑取向 (Responsive Evaluation)
一、核心觀念 (一)服務取向 Stake(2000)認為評鑑設計最重要的是發揮服務功能,所以在一個評鑑研究中,評鑑者需花相當多的時間來了解評鑑委託者及方案利害關係人的資訊需求,以及他們對方案所關注的重點 。 (二)議題導向 議題是評鑑委託者、方案實施者及其他重要利害關係人所關心或感受到有關方案的問題、潛在問題或爭議性議題;亦即,是他們所感受到的問題情境,甚至是一種責難感。議題通常不是單純清晰的,而是糾纏著政治、社會、歷史及尤其是情境中人的因素。當評鑑者透過與委託者、方案實施者及其利害關係人溝通互動,甚至在方案活動的觀察中而逐漸熟悉方案時,議題清單將逐漸產生。
15
肆、反(回)應式評鑑取向 (Responsive Evaluation)
一、核心觀念 (三)彈性化評鑑過程 一般預定式評鑑通常會有一套規範評鑑項目、資料蒐集與分析方法、評鑑詳細進度等的合約書或計畫。但回應式評鑑則會隨著評鑑之開展,關注和議題之調整,新事證之發現,以及委託者和利害關係人對評鑑初步發現之質疑和挑戰,而彈性調整評鑑之議題、資料蒐集之方法與來源、以及評鑑的工作流程 。 (四)重視方案的運作過程及其情境脈絡知識 預定式評鑑強調目標與表現資料之測量,重視投入與輸出間之符應關係。Stake 則認為教育和課程之因果關係絕非是直接的,而是各種複雜因素在運作歷程中產生了諸多彼此相關聯的課程結果。因此,他主張評鑑探究應更將心力投入於方案運作歷程及其情境脈絡知識之了解,設法去探究方案情境中相關人士如何看待他們自己的生活、目標和方案之品質。
16
肆、反(回)應式評鑑取向 (Responsive Evaluation)
一、核心觀念 (五)鼓勵採社會人類學(Social Anthropology)取向的個案研究 他強烈建議採如俗民誌、自然主義探究和現象學等社會人類學取向的探究方法,將所欲評鑑之方案界定其範圍,進行個案研究,這樣才能充分理解方案中歷程與活動之意義,以及其中多元複雜的情境脈絡知識。 (六)由外來評鑑人員設計與實施評鑑 Stake認為無論是方案人員的自我評鑑,或者邀請外來評鑑人員參與的內部評鑑,其評鑑的規劃與實施之控制權威將由方案人員所掌握,評鑑的專業性和可信性乃易受質疑。他主張,在回應式評鑑中係由外來評鑑人員以其評鑑專業素養與訓練,經由投入時間與心力來觀察和了解方案利害關係人所關注之事項或議題,進而形成評鑑之問題並據以進行專業的評鑑設計與實施,以之回應方案人員之參與投入,而非將評鑑權直接交由方案的內部人員控制。
17
肆、反(回)應式評鑑取向 (Responsive Evaluation)
一、核心觀念 (七)價值多元取向 Stake 主張評鑑者不應該去創造一個根本不存在的價值共識,反而應設法去了解方案中各不同組成人員的各種不同價值,將其展現給評鑑報告的閱聽者。但他亦認為,這並不表示評鑑者完全不做價值判斷,而是提供一種溫和的、軟性架構式的結論或判斷主張,讓評鑑報告閱聽者從各種價值判斷中做最後之判斷。他主張,在人類的行動中決定、判斷和詮釋三者是無法區分開的連續體,該做決定而產生行動的是閱聽者而非評鑑者,若欲閱聽者產生行動而發揮評鑑之服務功能,則應由閱聽者去做判斷。 (八)以易理解的自然化語言提出評鑑報告協助閱聽者產生替代性經驗 Stake 認為評鑑是否提出正式報告端賴委託者之需求而定。主張評鑑報告應具可理解性和整全性,使閱聽者即使未親自體驗方案情境亦能從評鑑報告中形成一種替代性經驗,而非類如傳統評鑑報告使用太多的理論化語言。欲形成替代性經驗,則評鑑報告需採用近似於閱聽者使用之語言,尤其是類如傳播福音者、人類學家和劇作家等的敘說形式 。
18
肆、反(回)應式評鑑取向 (Responsive Evaluation)
二、實施方法 (一)實質結構 1以議題為評鑑的組織核心(前導組織): 如前所述,進行回應式評鑑規劃設計時,評鑑者須先與委託者及方案之利 關人討論出暫定的議題清單,再配合議題內容設計所欲蒐集之資料內容其蒐 集方法和來源,故議題而非既定項目或標準,才是回應式評鑑規劃與實施歷 程中的組織核心。 2.資料蒐集矩陣: 前述圖1 的資料蒐集矩陣,Stake 認為仍是實施回應式評鑑的極佳資料蒐集 參考模式。依Stake 之觀點,描述矩陣和判斷矩陣之資料是同時交替並行 的,並非描述矩陣完成後再進行判斷。 3.人群觀察者+驗證的工作 認為評鑑之實施有賴人群觀察者深入現場觀察方案之運作,並從各種可信 的資料來源中參照議題內容和資料蒐集矩陣,獲取充分之資料,以對方案做 豐富、深度的描述與判斷。
19
肆、反(回)應式評鑑取向 (Responsive Evaluation)
二、實施方法 (二)功能結構 12 1 3 4 5 6 7 8 9 10 11 2 2
20
肆、反(回)應式評鑑取向 (Responsive Evaluation)
三、理論基礎 核心觀念 理論基礎 政治思維 在地主義 知識論 建構主義 方法論 自然主義 價值論 相對主義
21
伍、貢獻與優點 一、促進教育評鑑多元取向之發展和採用的合法性
Stake 之回應式評鑑觀念則在標準本位為主流教育評鑑思潮的情勢下,提供了另類教育評鑑取向在理念和方法論上不斷滋長與發展的重要活水源頭。 House即認為Stake 在發展和鼓勵不同評鑑取向上,對他有重要影響,成為他慎思民主評鑑取向發展的重要理論基礎。另Guba 和Lincoln所提出的第四代評鑑觀念,主張以協商作為評鑑實施之核心觀念,以自然主義方法論為評鑑探究之主要方法,亦深受Stake 之影響與啟迪。 二、能發揮評鑑的服務功能,增進其效用性 此種取向透過對方案利害關係人所關注事項和議題之描述與探究,以促進他們對方案之理解而形成其自己的判斷與改進行動,此應能發揮評鑑的服務功能,增進評鑑的效用性。 三、尊重和關注受評方案人員之旨趣 從評鑑過程中,多元價值判斷觀點之展現,乃至評鑑報告語言之自然人性化,此種取向處處尊重和關心受評方案人員之關注事項、觀點和旨趣,鼓勵評鑑者將眼光遠離框架式的評鑑文本,轉而注意受評方案中人們的旨趣和立場。
22
伍、貢獻與優點 四、能深入理解方案運作的歷程及其情境之複雜性
儘管Stake 不排除量化的探究方式,但其強烈建議採社會人類學取向的個案研究,主張需對方案之先在、過程和結果要素全貌而深入的探究,更強調情境脈絡知識在理解方案特質上之重要性 。 五、將意圖和非意圖性結果均納為評鑑之焦點 早期Tyler 之評鑑觀將評鑑之焦點集中於與目標有關之方案結果上,此種觀 點是狹隘的;Stake 之全貌式評鑑和回應式評鑑則將焦點擴大包含方案之先在、過程和結果要素,而其結果要素則包含了意圖性和非意圖性之結果,此大大擴展了評鑑焦點之範疇,使之更能對方案做整全的描述與判斷。 六、注重評鑑發現之及時溝通和易理解性 Stake 主張於評鑑過程中及時將發現提供利害關係人,以供其檢視該發現之正確性或形成新的評鑑議題,亦主張在正式報告出爐前先提出報告草案,來確認發現的有效性;且更強調報告的形式和語言應反應方案情境中的自然化經驗及其具體表意特徵,以利閱聽者理解和形成自然類推。
23
陸、批評與質疑 一、在評鑑實施的行政技術上具某些限制
在爭取評鑑委託者的評鑑計畫上處於弱勢地位。因此種取向為展現其回應之精神,通常在提出評鑑計畫時未明確指出評鑑之項目、方法、時程和經費預算等詳細方案,委託者必須容忍計畫的模糊和不確定性才會委託評鑑。其次,此種取向需投入諸多時間與委託者和利害關係人協商評鑑內容,亦需投入諸多時間於方案的運作過程,這些都是耗時的過程,因此Stufflebeam認為此種取向可能往往難以充裕地在委託者作績效責任判斷和行政決定期限前及時提出清晰明確的發現。 二、過度重視利害關係人之投入可能影響評鑑的可信性 此種取向在評鑑議題、資料來源與方法的選擇上非常重視方案利害關係人之觀點,此也許是其優點,但也可能因過度信任利害關係人,受其影響,而致使評鑑者未能對方案價值做完整、無偏差的判斷,此會影響評鑑發現的可信性。
24
陸、批評與質疑 三、多元而紛歧的價值判斷可能使評鑑工作陷入未具生產性的泥淖中 此種取向主張呈現各利害關係人的各種價值判斷和評鑑者的非比較性、軟式判斷主張。但利害關係人和閱聽者在面對各種紛雜的判斷時,恐將難以抉擇;而且,一個方案之決定涉及諸多面向之利害關係人,到底應採何者之價值判斷,此將形成困難。所以這可能會使評鑑工作之結果,陷入未具生產性而難以作抉擇的泥淖中(Stufflebeam, 2000)。 四、在改革策略上呈現保守主義色彩 Stake 相信方案現場情境中的人們會從以他們關注事項為核心之評鑑發現中,經由其自我的理解與判斷而產生漸進式、在地內發的改革行動,此種改革策略被評以過度信賴在地人員的主動向善力量,是保守的,有維護現狀的傾向(House,2001)。 五、比較不適於全國性或大範圍的系統性方案 在全國性或大範圍系統性革新方案中,方案運作場域遍布各地,參與人員數量龐大,此種情形下欲按Stake 之觀點採社會人類學取向之個案研究進行評鑑探究,總會面臨抽樣代表性和情境深入性的兩難。
25
報告結束 謝謝聆聽
Similar presentations