國立臺南大學 測驗統計研究所 林素微 swlin0214@mail.nutn.edu.tw 臺灣學生在PISA 2009的結果與省思 國立臺南大學 測驗統計研究所 林素微 swlin0214@mail.nutn.edu.tw.

Presentation on theme: "國立臺南大學 測驗統計研究所 林素微 swlin0214@mail.nutn.edu.tw 臺灣學生在PISA 2009的結果與省思 國立臺南大學 測驗統計研究所 林素微 swlin0214@mail.nutn.edu.tw."— Presentation transcript:

1 國立臺南大學 測驗統計研究所 林素微 swlin0214@mail.nutn.edu.tw
臺灣學生在PISA 2009的結果與省思 國立臺南大學 測驗統計研究所 林素微

2 PISA The Programme for International Student Assessment (PISA) is a triennial world-wide test of 15-year-old schoolchildren's scholastic performance, the implementation of which is coordinated by the Organisation for Economic Co-operation and Development (OECD). PISA was first mooted in 1997.

3 What is the OECD? 具有 30 個會員國，旨在推動民主和市場經濟的國際組織。 提供資料的比較、分析和展望 別稱「富國俱樂部」
以便政府能夠： - 比較政策經驗 - 對一般問題尋求解答 - 識別好的政策 - 調整政策 別稱「富國俱樂部」

4 廣布全球的國際組織 OECD Member Countries

5 PISA 規模 2000 43個國家／地區參加 2003 41個國家／地區參加 2006 57個國家／地區參加
個國家／地區參加 個國家／地區參加 個國家／地區參加 個國家／地區參加 個國家／地區參加 每個國家正式施測的學生人數約4,500~10,000之間。

6 PISA 2009 參與國家或地區 歐洲 亞洲 美洲和其他
冰島、義大利、挪威、立陶宛、列支敦斯登、荷蘭、保加利亞、德國、瑞士、杜拜、比利時、英國、羅馬尼亞、丹麥、瑞典、阿爾巴尼亞、拉脫維亞、克羅埃西亞、蒙特內哥羅、芬蘭、盧森堡、奧地利、波蘭、葡萄牙、西班牙、希臘、匈牙利、捷克、斯洛伐克、愛沙尼亞、卡達、愛爾蘭、亞塞拜然、法國、斯洛維尼亞、俄羅斯 日本、泰國、澳門、臺灣、韓國、香港、約旦、上海、新加坡、印尼、哈薩克、吉爾吉斯、土耳其、以色列 阿根廷、巴西、美國、智利、澳洲、紐西蘭、加拿大、千里達及托巴哥、巴拿馬、墨西哥、祕魯、突尼西亞、塞爾維亞、哥倫比亞、烏拉圭 顏色標記為 PISA 2009 新加入國家或地區

7

8 臺灣與前10名國家在閱讀素養表現的排名、平均數、標準差與性別差異對照
男生平均數 女生平均數 差異分數 臺灣 23 495 86 477 514 -37 臺灣2006 16 496 84 486 507 -21 上海 1 556 80 536 576 -40 韓國 2 539 79 523 558 -35 芬蘭 3 508 563 -55 香港 4 533 518 550 -33 新加坡 5 526 97 511 542 -31 加拿大 6 524 90 -34 紐西蘭 7 521 103 499 544 -46 日本 8 520 100 501 540 -39 澳洲 9 515 99 荷蘭 10 89 -24 澳門 28 487 76 470 504 OECD整體 492 98 475 OECD平均 493 93 474 513

9 名次 數學 2006 2009 國家 M(SD) 1 臺灣 549(103) 上海 600(103) 2 芬蘭 548(81) 新加坡 562(104) 3 香港 547(93) 555(95) 4 韓國 546(89) 5 荷蘭 531(89) 543(105) 6 瑞士 530(97) 芬蘭 541(82) 7 加拿大 527(86) 列支敦斯登 536(88) 8 列支敦斯登 525(84) 534(99) 9 澳門 525(93) 日本 529(94) 10 523(91) 527(88) 11 澳大利亞 522(88) 荷蘭 526(89) 12 紐西蘭 522(93) 525(85) 13 比利時 520(106) 519(96) 14 愛沙尼亞 515(80) 515(104) 15 丹麥 513(85) 澳洲 514(94) 16 捷克共和國 510(103) 德國 513(98) 17 冰島 506(88) 512(81) OECD平均 498(92) 496(92)

10 臺灣學生數學素養表現 2009東亞國家學生數學素養表現優異。
數學量尺以 2003為基準，臺灣 2006(平均549分)，與芬蘭、香港、韓國等三個國家並列世界第一。 2009參與國由56增至68，臺灣(平均543分)相較2006退步6分，排名第五。 與第四名的韓國的差異未達統計顯著，在兩次PISA數學表現優秀的國家中，臺灣學生的個別差異都是最大（103）。

11 名次 科學 2006 2009 國家 M(SD) 1 芬蘭 563(86) 上海 575(82) 2 香港 542(92) 554(89) 3 加拿大 534(94) 549(87) 4 臺灣 532(94) 新加坡 542(104) 5 愛沙尼亞 531(84) 日本 539(100) 6 531(100) 韓國 538(82) 7 紐西蘭 530(107) 532(87) 8 澳大利亞 527(100) 529(90) 9 荷蘭 525(96) 528(84) 10 列支敦斯登 522(97) 527(101) 11 522(90) 522(96) 12 斯洛維尼亞 519(93) 520(87) 13 德國 516(100) 520(101) 14 英國 515(107) 15 捷克 513(98) 瑞士 517(96) 16 512(99) 514(99) 17 奧地利 511(98) 512(94) 18 澳門 511(78) 511(76) 500(95) 501(94)

12 各國【不同閱讀歷程分測驗】的比較

13 各國【不同文本形式分測驗】的比較

14 各國不同學習習慣【為樂趣而讀】人數分配比較
國家 不會為樂趣而讀 的學生人數百分比 為樂趣而讀的學生人數百分比 少於30分鐘 30~60分鐘 1~2個小時 超過2個小時 % 平均數 臺灣 17.3 437.3 30.9 492.3 21.4 513.2 18.8 522.4 11.6 518 上海 8 497.3 35.9 560.3 36.5 563.4 13.2 563.7 6.4 547.7 韓國 38.5 517.8 29.8 550 19.1 557.6 8.4 559.8 4.2 534.8 芬蘭 33 491.7 32.4 545.3 18.6 569 12.7 571.6 3.2 568 香港 19.5 497.8 532.1 23.5 554 13.8 552.2 7.3 532.2 新加坡 22.5 482.6 29 524.4 23.6 544.1 16.1 547.8 8.8 558 日本 44.2 492.4 25.4 536.2 16.4 9.6 551.8 4.4 537.4 澳門 19.8 456.7 35.8 484.2 23.3 501.1 13.1 506.4 502.1 OECD 37.4 459.5 30.3 503.9 17.2 526.9 10.6 532.4 4.5

15 各國不同閱讀水準人數比例對照 註：數字顯示為未達水準2和水準5以上

16 不同數學素養水準人數比例對照 註：數字顯示為未達水準2和水準5以上 臺灣數學低分群（水準1及未達水準1)： 學生比例是最高。

17 不同科學素養水準人數比例對照 水準1以下低分群：值得注意臺灣低分群比例（11.1%）也頗高，僅次於新加坡（11.5%）。

18 趨勢分析 vs 2009

19 臺灣PISA 2006 vs 2009 領域 PISA 2006 PISA 2009 平均分數(排名) 閱讀 496 (16)
495 (23) 數學 549 (1) 543 (5) 科學 532 (4) 520 (12)

20 不同閱讀素養水準人數比例變化趨勢 註：PISA 2009 增加未達水準1b及水準6

21 不同數學素養水準人數比例變化趨勢

22 不同科學素養水準人數比例變化趨勢

23 臺灣男女學生素養差異改變趨勢 2009 數學 2009 科學

24 從這裡開始思考….

25 臺灣學生的學習機會均等 落後學生不同表現水準的比例是學習成就落差的重要資訊
學習成就落差較大或落後學生比例較大均視為學校系統未能提供學生平等且充分知能的警訊。 以閱讀素養未達基準線水準的落後學生比例討論 臺灣平均落後15.6%（較OECD平均低） OECD國家平均落後比例為18.8% ，上海4.1%、韓國5.8%、芬蘭8.1%、香港8.3%、新加坡12.5%、日本13.6%、澳門14.9% 華語區：臺灣落後比例較高，而上海則是最低

26 PISA 討論均等的方法 PISA 進一步利用社經、文化地位指標（ESCS）與學生表現間的關係，測量學生表現與背景間的關聯強度，分析教育均等議題。 學生表現變異被社經背景所解釋的比例愈高，代表學生表現與背景關聯愈強，即教育均等愈低。 OECD國家，平均有14%的閱讀表現變異與PISA社經文化地位指標有關。新加坡ESCS解釋力高於OECD平均，而芬蘭、韓國、日本、臺灣、澳門、香港、上海低於OECD平均。華語區以上海(12.3%)最高，澳門(1.8%)最低，臺灣(11.8%)略低於上海。

27 臺灣學生數學與科學素養改變趨勢 學習困難人數比率：臺灣約有12%的學生在數學與科學的水準1或未達水準1，未來在日常工作生活的真實世界中將面臨思考或學習的困難。 PISA 2009與PISA 2006的比較顯示臺灣學生數學和科學素養表現均呈現略為退步的現象，由於不同國家、不同年份PISA評量結果的量尺是相同的，數學和科學素養分別降低6分和12分，是值得注意的警訊。 就不同精熟水準人數比例來看，數學高分群下降3%，科學則從2006年的15%降低至2009年的9%，下降幅度（6%）更是所有參與國家中高分組比例降幅最大。

28 Why？ 臺灣學生退步? 題型不同 不進則退 深入檢討 臺灣成就取向與PISA能力取向評量明顯不同 臺灣維持水準，但具競爭力國家新加入或進步
評量後（PISA 2006、TIMSS），均未深入進行探討，沒有具體措施

29 題型不同 臺灣評量（基測、學測）：以選擇題為主。
PISA 評量：以能力為導向。不單評量各領域知識， 更關心學生應用這些知識到真實議題的能力。 強調每個領域不同情境中程序的精熟、概念的 理解、及實際運作功能的掌握。

30 不進則退 整體而言，臺灣學生仍維持往常水準
從平均分數來看，數學和閱讀在PISA2006和PISA2009 的表現並無顯著差異，唯有科學稍為退步。 但其他國家都有明顯進步，例香港。 國家 閱讀平均數 數學平均數 科學平均數 臺灣2006 496 549 532 臺灣2009 499 543 520 香港2006 536 547 542 香港2009 533 555 韓國2006 556 522 韓國2009 539 546

31 深入檢討-缺乏後續因應措施 由於PISA2009和TIMSS的優秀成績，我們只知道名列前茅，卻沒有深入檢討

32 Why? 上海表現優異? 都市型地區：學生多樣性較少。 學生學習動機高：參加國際評量為國爭光，盡全力作答
臺灣學生以基測和學校考試為主，學校、教師、學生不在乎其他考試 上海 臺灣 共有17個區、1個郊縣 共有16縣、7市 人口達2080萬 約2,314萬人 總面積7,038平方公里 面積約35,915平方公里

33 Why? 高水準學生人數比例降低? 臺灣評量型式：主要區分低能力與非低能力為主，對於中、高能力的學生未有進一步措施。
容易取得考試滿級分：降低高水準精益求精的欲望。

34 拔尖 VS. 扶弱

35 臺灣學生數學與科學素養提升相關議題 降低低水準比例：教育社群應正視低表現水準所面臨的障礙，努力降低水準2以下的學生比例，讓學生了解數學與科學在真實世界中的重要義涵， 並能持續投入學習。 提升優異學生比例：水準5以上的優異學生比例對於想要開創高階科學或技術性知識的國家特別重要，優質學生幫助國家成為具全球影響力的經濟體。 臺灣的高精熟數學比例（28%）是OECD平均的2倍，表現明顯優異，但相對於幾個東亞國家，臺灣也還有精進空間。 香港與新加坡高分群約為31%與36% 。 上海則是每2位15歲學生就有1位是數學水準5或水準6 。 科學素養高分群比例，臺灣約佔9%，相對於上海24%、新加坡20%、芬蘭19%、日本17%、香港16%與韓國12%，我們顯然更需要積極改善。

36 數學各難度水準的試題範例圖

37

38 水準五：培植優質 水準三：厚植基礎

39 測驗分數(1/2) (參閱附錄 P.8) 下圖是兩組學生參加科學測驗的結果，這兩組學生分別稱為A組和B組。

40 測驗分數(2/2)

41 問題1：測驗分數 由上圖，老師認為B組學生比A組學生的表現較佳。 但A組學生不同意老師的看法。他們試著說服老師B組並不一定比較好。
滿分 代號 1︰ 列出一個恰當的論點。恰當的論點須提及合格人數、極端值造成的影響、或最高分的學生人數。 A組學生的合格人數較B組多。 如果你忽略A組成績最差的學生，A組學生比B組學生做得較好。 A組取得80分或以上的學生人數較B組多。

42 水準 5 試題說明 試題類型：開放式問答 知識類別：改變與關係 背景：全球 試題難易度：620（水準5） 答對率（國際2003）：32.7％

43 PISA數學公布試題的分數及難度水準_1 試題 分數 水準 M037：農場 492，524 三，三 M124：步行
611，605/666/723 五，四/五/六 M136：蘋果 548，655，672/723 四，五，六/六 M143：骰子 478 二 M148：大陸面積 X，629/712 X，五/六 M150：成長 477，420/525，574 二，一/三，四 M159：賽車速度 492，403，413，655 三，一，一，五 M161：三角形 537 三 M179：搶劫 577，694 四，六 M266：木匠 687 六 M402：網路通訊 533，636 三，五 M413：匯率 406，469，586 一，二，四 M438：外銷出口 427，565 二，四

44 PISA數學公布試題的分數及難度水準_2 試題 分數 水準 M467：彩色糖果 549 四 M468：科學測驗 556 M484：書架
499 三 M505：廢棄物 551 M509：地震 557 M510：選擇 559 M513：測驗分數 620 五 M520：滑板 464/496，570，554 二/三，四，四 M547：樓梯 421 二 M555：數字方塊 503 M702：總統的支持度 615 M704：年度風雲汽車 447，657 二，五 M806：階梯樣式 484

45 教育方針

46 未來教育方針(1/3) 推廣PISA 考試引導教學
利用PISA公佈樣本試題培養種子教師，再利用這些人力協助第一線教師了解PISA試題，清楚能力取向的學習方式。 考試引導教學 基測、學測引導各級學校的教學和評量，修正基測和學測的方向使教師、學生和家長同時重視學生能力的養成。 建議可進一步將能力取向試題納入基測和學測。

47 未來教育方針(2/3) 教育改革是關鍵 香港：評量方式全盤修正，直接仿PISA試題。 芬蘭：持續不斷進行教改。
可參考韓國、新加坡和日本的東亞國家教育政策。 加拿大、挪威和德國均針對PISA結果持續追蹤學生後續的未來表現。

48 芬蘭、香港與PISA相關的教學措施 芬蘭 香港 政策 1972-1977年教育改革，開始重視積極性差別待遇。
2000年進行教育改革，開始全新課 程指引。 目的 將資源配置於「適當的地方」，落實積極性差別待遇。 改善落後學生或不同程度學習障礙 的學生的基礎教育和學習方法。 教學策略 重視國民義務教育階段，成就低落學校與學習遲緩學生，認為國民教育階段的學童正發展自己的學習方法，需要更多資源的支援。 新課程改革，提供教師有系統的訓 練課程，並發展校本課程以切合學 生需要，以及學生基本能力評估 服務以提供補救及家課政策。

49 德國與PISA相關的教學措施 德國 政策 自參加2000年「PISA震撼」開啟教育改革序幕。 目的
改善外籍移民子女因家庭因素導致學業表現不佳困境和進行教育體制「過早分流制度」教育改革。 教學策略 針對「學齡前教育內容做建議性規範」並「新增學齡前德語課程」，進行初等教育階段之教育改革措施： 1. 國小一、二年級合併為「入學適應期」。 2. 進行「全日制小學」。

50 未來教育方針(3/3) 提升閱讀能力 提高學生學習動機、改正學生作答方式
閱讀不應只是國語文教育的事，而是各學科均應提倡的重要目標：數學閱讀、科學閱讀、社會閱讀… 提高學生學習動機、改正學生作答方式 學生認不認真作答，將明顯影響測驗結果與測驗效度。學校的執行熱忱明顯影響學生投入行為。 PISA結果報告建議：提升學生表現最有效的方法即降低低成就的學生比例。

51 推廣 PISA 99.08~100.12 提升PISA 受測學校的參與意願
時間 項目 措施 99.08~100.12 提升PISA 受測學校的參與意願 請受測學校校長或教務主任，於施測前5分鐘至考試地點鼓勵學生認真作答。 教育局（處）的積極關切將可提升學校的參與意願。 計畫主持 人出席各項行政會議和宣導。 100.1~100.12 提升PISA 受測學生的作答動機 建議各縣市辦理PISA評分規準應用研習。(教師內化PISA建構反應試題的評分規準， 協助學生進行言而有據的立論。) 建議學校主動練習PISA樣本試題。(適應PISA題型、改善學生作答反應)

52 教育改革 時間 項目 措施 100.1~ 100.12 考試引導教學 能力取向試題納入基測和學測。(課程改革) 補救教學
針對落後學生宜即時提供素養取向的補救教學。(學生進行相關作業練習)

53 下一波已經開始了……… PISA 2012的命題要求

54 Math item requirements 命題須知(一)
PISA 是一個以15 歲學生為對象的國際素養技能測驗。所有的試題應能適合每一個國家的15 歲學生。 試題內容和四個整體概念有關且應該包含一個以上的數學歷程、能力。 （Math content area: Change and relationships, Quantity, Space and Shape, Uncertainty） 。 情境型態均納入考量。 強調真實的脈絡。 試題的閱讀層次需詳加考量，試題的用字盡可能簡單且方向容易掌握，避免會造成文化偏誤的試題。主動勝過被動語態。 例：各國翻譯考量、現實世界題材考量、與數學相關 試題難度範圍廣泛。 詳細的編碼(計分規範)架構。

55 Math item requirements 命題須知(二)
試題以單元為主(units) ， 一個情境包含3~5個問題，最好每個問題皆能獨立作答 需包含學生實際作答版本和一組學生進行測試，這樣可修正試題並且學生作答反應可置入計分規範 應試文具只有：尺、橡皮擦或修正帶或液、指南針、計算機、圓規 試題類型： 三分之一的開放的建構反應型態 (a open constructed response) 三分之一的封閉的建構反應型態 (a closed constructed response)-直接可在輸入計分不需計分人員 三分之一的選擇題（multiple –choice format）

56 Math item requirements 命題須知(三)
試題特徵 建議每個一試題完成作答時間不應超過5分鐘(for the “average” student) 每一個單元不應超過15分鐘 耗時較久的試題(very time-consuming items)應該避免

57 Math item requirements 命題須知(四)
不當的問題：試題的計分太過於開放 例 You are going to design an aquarium made of glass, which holds about 80 litres. Suggest some appropriate measurements. Describe how you found those measurements and draw a sketch of the aquarium with your measurements. 從課堂活動來看是一個測試真實生活問題解決的好問題，但評分架構太複雜，而且在跨國、跨評分者之間可能會有困難來確認其一致性。

58 Math item requirements 命題須知(五)
International equivalence –Translation議題 測驗實施將超過65個國家， 因此測驗將有25以上的不同語言， 因此試題中包含特定的語言可能不太適合， 如下：

59 Math item requirements 命題須知(五)
改成如下會較佳

60 Math item requirements 命題須知(六)
避免不完整的敘述: Line X is shorter than Line Y Line Z Line W Line T Instead, write “Which line is longer than Line X?”

61 Math item requirements 命題須知(七)
真實的情境Real-world context Farmer Dave keeps chickens and rabbits. Dave counted altogether 65 heads and 180 feet. How many chickens does Dave have?(較人為化) 也可寫成如下的問題 Tickets to the school concert costs 4 zeds for an adult and 2 zeds for a child. 65 tickets were sold for a total of 180 zeds. How many children’s tickets were sold?(較為真實)

62 Math item requirements 命題須知(七)

63 Math item requirements 命題須知(七)
較佳

64 Math item requirements 命題須知(八)數學化

65 Math item requirements 命題須知(八)數學化

66 Math item requirements 命題須知(八)數學化
較為 數學化

67 Math item requirements 命題須知(九)
Mathematical Context OECD/PISA強調真實的脈絡但並未排除重要和/或有趣的數學 (有時這些脈絡可能會是比較虛擬性)，以下是一些有趣的數學脈絡試題 ：

68 Math item requirements 命題須知(九)
6是一個完全數( perfect number)因為它的因數(不包含它自己), 1, 2和 3,加起來是 6. 下一個完全數是 28,因為它的因數, 1, 2, 4, 7, 14加起來是28. 再下一個完全數是496，請說明 496 為何是一個完全數。 (注意496之後的兩個完全數是 及 但目前不要嘗試進行這兩個數!)

69 Math item requirements 命題須知(九)
如果我們簡單的說”列出496的因數“，那麼這樣的題目就是標準化的教科書問題。但加入數學脈絡之後，這個題目變得比較有趣，也就是說，我們需要列出因數來展現這種數的特性

70 Math item requirements 命題須知(十)
編碼的相關問題 避免下面的兩個問題(避免選項or數量和計分混淆) 例1.How many cubes are painted blue? 1 2 3

71 Math item requirements 命題須知(十)
編碼的相關問題 避免下面的兩個問題 例2.Which one of the following is the corresponding track? B C D E

72 Math item requirements 命題須知(十)
Avoid using scoring codes 7, 8 and 9 as these will be reserved as special score categories. If more than 7 score categories are needed, then use double-digit codes(如果有多於七個分數範疇，請利用雙碼進行計分規範的訂定).

73 電腦化評量的實施 問題解決 電子化閱讀 電腦化數學

74 感謝您的聆聽! 敬請不吝指教…