Developmental Growth in Students’ Concept of Energy: Analysis of Selected Items from the TIMSS Database Xiufeng Liu, Anne McKeough Journal of Research.

Presentation on theme: "Developmental Growth in Students’ Concept of Energy: Analysis of Selected Items from the TIMSS Database Xiufeng Liu, Anne McKeough Journal of Research."— Presentation transcript:

1 Developmental Growth in Students’ Concept of Energy: Analysis of Selected Items from the TIMSS Database Xiufeng Liu, Anne McKeough Journal of Research in Science Teaching 指導老師：謝寶煖 老師 報告人：周芷吟(物理所) 組員：李 寧(土木所) 顏裕焜(環工所) 學生對能量的概念發展，以TIMSS的資料庫做為分析對象。 TIMSS為一個國際間各國數理能力的評量，詳細資料後面會說明。

2 大綱 研究問題 TIMSS簡介 TIMSS的抽樣方式 數據分析 題目難度估計 不同年齡學生的答對率 結論

3 研究問題 一般能量概念的課程大致依序為：energy source, work, energy transfer, energy conservation。這樣的教學順序是否合理?要在那個年級教才適合? 考慮學生認知發展的過程，研究能量的各個主題對學生而言的難度順序。 回憶國高中物理課中提到能量。 學生認知發展，具體到抽象等等。

4 國際重要的數理能力競賽，TIMSS&PIZA，『學生基礎素養國際研究計畫（PISA）』The Programme for International Student Assessment (PISA)

5 TIMSS 國際數學與科學教育成就趨勢調查(Trends in International Mathematics and Science Study) 1995年開始，每四年舉辦一次。 1995年有45個國家參與調查。 TIMSS由IEA舉辦International Association for the Evaluation of Educational Achievement 1995年至今已舉辦4屆，2011年第五屆，台灣自1999年開始參加(Chinese Taipei) 2011年已增加到67個國家。

6 抽樣目標對象 樣本目標分為三個族群： Population1:學制中包含最多9歲學生的連續兩個年級。
Optional subpopulation:修習進階數學課程的學生、修習進階物理課程的學生 因為代表國家的數理平均水準，因此抽樣是否具有代表性非常重要。IEA制定基本原則及抽樣方法，供參與國家使用，若各國能提出更完善的抽樣方式，則題交由IEA審核後施行。 中學最後一年：研究初等及中等教育的教育成就，第一次修習(重修不記)，在不同國家或是不同教學體系(例如技職、一般中學)可能不同年級或年紀。 選擇以Grade-based是因為抽樣時以班級為抽樣單位，且各國學制不同，因此樣本設計以年齡決定各國目標年級，再以年級為基礎進行抽樣。連續兩年可以用於比較其間的差異。

7 需以報告說明差異與原因 排除原因： 偏遠地區學校 學校規模太小 和主流教育體系差異過大 只有殘障、無法作答學生的學校(mentally、physically、語言) 需計算排除的樣本數，必須<10%

8 樣本設計 Minimum cluster size：平均班級人數 95%的信心水準： 考慮clustering effect
mean：m±0.1sd percentage：p±5.0% correlation：r±0.1 考慮clustering effect Intraclass correlation，以各國過去的研究估計，若無資料則假設為0.3 依此計算出一對照表 抽樣學校數目最少150所 樣本數最少400人

9 樣本設計 層級(stratification) Explicit stratification：
依照考慮的變因將學校分成不同群組，不同群組的學校使用不同的抽樣方式。常見的變因如：地理位置、社會階層分布不均等等。 Implicit stratification： 考慮不同的變因將學校分組或排序，但所有群組仍使用相同的抽樣方式。常見的變因例如：學生的平均學業成就。

10 抽樣過程-stage 1 Systematic probability-proportional-to-size technique
Sample interval=母群學生數/需抽樣學校數 MOS: measure of size，各抽樣單位的樣本數，各校目標年級的學生數。 如果學校目標抽樣年級總學生數小於sample size，且總數>5%時，進行合併。 學校排列順序：implicit stratification variable，抽樣就會根據此階層分布。 選擇PPS的原因是：容易操作、容易看出是否抽樣錯誤。

11 抽樣過程-stage 2 第一階段抽出的學校，每校隨機抽出一個班級。再從此班級內隨機抽出需要的學生人數(minimum cluster size)。 Population3可選擇以上方式，或是直接在第一階段抽出的學校內，直接隨機抽取需要的學生人數。

12 能量的概念和概念發展模型 The neo-Piagetian theory of Robbie Case 日常用語與生活經驗，例如走路很累
能量是人具有的、有多少之分，且和運動有關。人需要從食物中得到能量，也知道車需要汽油玩具需要電池。 開始能夠將生物和非生物對能量的需求做連結。energy as activities 將能量的意義推廣到energy as the capacity to do work 了解能量有不同的來源和形式 總是會有unwanted loss(廢熱的產生)，degradation 了解energy transfer，例如電從發電廠到居家使用 能了解不同系統中的能量，並能量化的了解封閉系統中的總能，了解能量守恆的概念。

13 能量的概念和概念發展模型 將題目依內容分為五類：
Activity/Work 歲 Source/Form 歲 Transfer 歲 Degradation 歲 Conservation 歲 3個population的Science題目，共27題和能量相關，有兩題同時出現在P1&P2，有兩題同時出現在P2&P3。 只使用美國的data 各類概念的難度關係 不同年紀的學生的答對率差異

14 題目難度 使用Rasch model計算題目難度。 為什麼選用Rasch model? Rasch Model的優點 真分數模式的限制
測驗的統計數(ex.題目難度、鑑別度…)是sample-dependent & test-dependent。 TIMSS抽樣的設計 3個population Matrix design Rasch Model的優點 題目難度，鑑別度，受試者能力，測量標準誤，信效度 只有當施測的樣本性質相近時才能將取自樣本的統計數應用到測驗的建構上。

15 Rasch model Rasch model常用於心理統計學，用於分析測量能力或態度等的資料。
在Rasch model中假設，受試者對問題做出某種回應的機率(P)是由「個人能力」(B)和「題目難度」(D)決定。 當受試者的個人能力和題目難度相等時，答對的機率為50% Rasch model的基本假設： 單一向度 局部獨立 例如從學生回答閱讀測驗的答案去估計學生的閱讀能力。

16 單一向度檢驗 加權後的Mean Square Residuals，對接近能力值或難度值的值較敏感。 期望值為1，1±x代表偏離標準模型x%
通常多元計分可接受範圍為： 未加權的Mean Square Residuals，對極端的偏離值較敏感。 In.ZSTD和out.ZSTD分別為In.MSQ和out.MSQ標準化後的結果。 期望值為0 通常可接受範圍為-2.0~+2.0

17 分散指標 分散指標(separation index)：Gp、Gi 分散信度(separation reliability)：Rp、Ri
受試者或試題可由模式解釋的變異是誤差變異的幾倍，通常1.5以上可以接受，3.0以上極佳 本研究分散指標為22.38 分散信度(separation reliability)：Rp、Ri 受試者或試題觀察變異中可被模式解釋的比例。可和Cronbach α換算，本研究換算出Cronbach α值為1。

18 題目難度估計值 期望值為0。 <0代表題目對受試者而言較簡單。 >0代表題目對受試者而言較困難。

19 不同年齡學生的答對率 實驗假設： 各population受試者的人數與平均年齡 7-9 歲 Activity/Work
Source/Form Transfer Degradation Conservation 各population受試者的人數與平均年齡

20 不同年齡學生的答對率 不同題目類型，各年級學生的答對率

21 不同年齡學生的答對率 結論： Linking items各年級的答對率
利用TIMSS的database，以Rasch model計算出能量相關題目的難度，各類型題目的難度估計值平均後，可看出難度的趨勢符合預期。 觀察不同年級的學生在各題的答對率、各類型題目答對率平均、linking items的答對率，並搭配T檢定，可以發現越高年級有達對率越高的趨勢，符合預期。

22 結論 抽樣方式 隨機性 代表性 Rasch model 圖表呈現方式

23 Reference Liu & McKeough (2005). Developmental Growth in Students’ Concept of Energy: Analysis of Selected Items from the TIMSS Database. Journal of Research in Science Teaching, 42(5), Martin (Eds.) (1996). Sample Design. TIMSS Technical Report Volume I: Design and Development 陳怡琴 (2009)。 以Rasch模式探討性別及學習機會對數學分數實作評量「差異試題功能」(DIF)之影響。屏教大心輔系碩士論文。

24 敬請指教