PISA、TIMSS學生學習成就 表現資料庫之應用 臺北教育大學教育經營與管理系 張芳全 教授 2012年12月3日 fcchang@tea.ntue.edu.tw

張芳全教授簡介 國立政治大學教育學系學士/碩士/博士 1993/1994年教育行政高考及格 曾服務於行政院經建會近6年 2001.01-2006.07台北師範學院初教系助理教授 2006.08-2011.01台北教育大學教育經營與管理系副教授 2012.02--台北教育大學教育經營與管理系教授 2002-2011年指導119本碩士畢業論文 專長：教育政策分析、國際比較教育、多變項統計、資料庫 分析、論文寫作

時間配當 壹、師長致詞10 貳、演講內容配當100 國際大型資料庫的緣起 資料庫建置的背景及目的 資料庫的內容與指標 資料庫在教育學術評鑑的研究與應用 如何使用大型資料庫研究 資料庫研究的範例 參、提問與回饋40

國際大型資料庫的緣起 1.國際比較教育研究的需求 2.IEA的努力 自1960 年以來，國際教育成就調查委員會（The International Association for the Education Achievement, IEA）為了掌握各國學 生學業表現，長期追蹤調查學生學業成就表現 3.德國學者Husen(1916-1991)的大力倡導

IEA的努力 1970年舉行第一次國際數學與科學教育成就調查 ，共有19個國家參與。經十年後，1980年進行第 二次國際數學與科學教育成就調查(SIMSS)，有24 個國家參與。 中華民國於1987年5月經IEA總部同意，引用第二 次國際數學與科學教育成就調查工具，在我國進行 測驗(但不是正式參加)。

IEA的努力 IEA近年進行調查之中，有名的是第三次國際數學 與科學教育成就趨勢調查（Third International Mathematics and Science Study, TIMSS）。 TIMSS從1995 年以來，每隔四年執行一次，1995 年、1999 年、2003 年、2007年、2011年調查 資料已完成

1995 年TIMSS 參與調查國家僅有30 餘國 1999 年則有40 餘國 2003 年則有50 餘國 2007及2011年則有60餘國加入。 臺灣在1997 年加入調查

資料庫建置的背景及目的 TIMSS旨在了解各國學生數學及科學學習成就及其 與各國文化背景、教育環境等影響因子之相關性， 並進一步作國際間之比較分析。

國際學生評量 (Program for International Student Assessment, PISA) 由經濟合作暨發展組織(Organization for Economic Co-operation and Development , OECD)委託計畫，於1990年代末開始對15歲學生 的數學、科學、及閱讀進行定期的國際性比較研究。

PISA重點在評估接近完成基礎教育的十五歲學生， 對於未來生活可能面對的問題情境，準備的程度以 及他們習得多少必備的知識和技能。 選擇十五歲學生是因為多數OECD國家這個年齡的 學生正處於義務教育完備的階段，此時的評量可以 獲得教育在技能及態度方面累積近十年的成果。

PISA每三年舉行一次 第一次調查在2000年，共有43國參與； 第二次調查是在2003年，參與國家數為41國； 第三次調查於2006年舉行，共有57國參加。

　PISA2000、2003、2006和2009的資料蒐集負 責機構為澳洲教育研究委員會（Australian Council for Educational Research，ACER）主 導的國際性組織，由 Ray Adams 擔任此項國際計 畫主持人

PISA有助反映未來課程改變為知識應用取向，而非 只是單方面的知識獲取。由於相信學生在知識及技 能上的準備是未來國家社會及經濟人力資源的重要 指標之一。

PISA提供的學生資訊及國家間的比較，對於研究者 、政策制定者、教育者、家長及學生有價值。

TIMSS 2003調查對象包括國小四年級及國中二年 級學生

資料庫內容與指標 TIMSS調查項目 一、學習科目--數學與科學成就 數學科包括幾何（Geometry）領域 算術（Number）領域 資料處理（Data）領域 代數（Algebra）領域 測量（Measurement）領域 二、學生問卷、教師問卷與學校問卷，來掌握 學生及學校各種表現。

PISA 一、科學素養與數學素養 二、學生問卷、教師問卷與學校問卷

PISA主要測驗—閱讀、數學、科學及問題解決， PISA 2006以科學素養為主軸，佔70%。測驗問題 有選擇題、簡答題、非傳統結構式的題型。測驗外 有學生問卷和學校問卷，內容如下: 1.學生及家庭背景:包含經濟，社會和文化資源。 2.學生的生活:如學習態度，習慣，校園生活，家庭 環境。 3.學校:學校的資源，公私立金費來源，決策過程， 學校員工

4. 學校教學:教學的結構及方法，班級大小，家長參 與程度。 5 4.學校教學:教學的結構及方法，班級大小，家長參 與程度。 5.個人學習:自我規範的策略、動機和目標、個人規 範認知機制、行為控制策略、不同的學習狀況、學 習風格及合作學習之社會技能。 6.學習與教學:學生動機、素養之自信、對於學業成 就學習策略之影響。 7.資訊科技:接觸機會、使用的機會、使用的地點、 自信及態度、學習內容。

8.教育背景: (1)過去背景:留級、中輟、轉校 (2)現在背景:學科課程、學科程度 (3)未來職業:期待的教育程度、30歲的期待職業

有沒有問題? 來個笑話巴!

資料庫操作與資料取得 TIMSS的資料檔與手冊及相關的資源可以取自 http://timss.bc.edu/ 臺灣的網頁 http://www.dorise.info/DER/01_timss_2007_ html/t2007_05_database.html

PISA的中文資料取得 http://www.sec.ntnu.edu.tw/PISA/PISA2006/ PISA_008.html http://pisa.nutn.edu.tw/pisa_tw.htm

資料庫在教育評鑑學術研究應用 一、學術研究 （一）研究生—以大型資料庫進行研究的好處 問卷調查的困難: 1.問卷設計困難 2.個資法難以獲得資料 3.大樣本難蒐集完整資料

（二）學術研究與發表論文—論文品質提高 1.樣本數較大 2.易重複操作 3.易驗證學理 4.易獲得結果 5.易獲得學位 但是統計方法一定要學好

（三）教授升等可採取的方向之一 1.研究資料代表性充足 2.研究資料品質高 3.易掌握自己的進度

二、教育評鑑的應用 （一）瞭解各國學生的表現—評比與比較 （二）瞭解本國學生的表現—追蹤與反省 教育政策、課程內容、學生學習表現、教師教學、 學校表現….

如何使用大型資料庫研究 一、先確立研究主題與研究目的 研究者以自己興趣、指導教授的引導或相關經驗， 先確立研究主題與研究目的，再從大型資料庫可以 運用的變項來進行分析。

二、閱讀與研究主題有關的文獻 在形成研究主題之後，閱讀與研究議題有關的研 究、理論及相關的文獻。

三、建立可以操作的架構與假設 從文獻評閱建立研究架構，其中背景變項、投入變 項與結果變項，並說明研究架構所列變項之前因與 後果的關聯，尤其研究架構若有中介變項，宜指出 中介變項重要性。 有具體可以操作的研究架構之後，應列出變項之間 的研究假設，作為統計檢定的依據。

四、找尋適合研究主題的資料庫 研究者應從幾個方面進行： 1.瞭解資料庫建置的目的及用途； 2.瞭解資料庫所調查的研究對象； 3.瞭解資料庫的研究工具中調查的項目； 4.瞭解資料庫的研究工具實施手冊，研究工具中會 說明問卷的內容、調查的項目、記分方式及施測對 象。

五、找尋與議題有關的研究變項 在此要注意重點： (一)初步篩選與研究有關的研究變項，從研究工具瞭解哪些變項與 研究有關，將研究工具的問卷題目進行變項篩選。 (二)運用因素分析及信度分析瞭解研究工具信效度。有幾種情形： 1.研究架構的變項與從資料庫篩選出變項，確立信效度分析之後 ，完全相符者。 2.與研究架構向度相同，但需要將某些向度的題目刪除者 3.與研究架構向度完全不同，無法經因素分析刪題過程改善者。 如為第三種情形，需要重新設立研究議題，建立研究架構，找尋 其他變項。

六、運用適切統計方法檢定假設 當研究架構確定，與變項篩選確立之後，研究者 應選用適切的統計方法，依據研究架構及假設，對 於資料庫所篩選出來的變項進行統計分析，重點在 於檢定研究者所提出的研究假設。

七、撰寫研究結果、討論及建議 研究者依據統計所獲得的結果，進行撰寫，同時 對於研究結果的發現深入的討論，最後再依據討論 的內容，歸納結論，並提出研究建議。

資料庫研究的範例 一、學習成就與學校效能 二、HLM應用在學習成就之研究

提問與回饋

報告完畢 感謝您的聆聽

嘉佩 adeva@tmue.edu.tw