國中基測命題理念、寫作測驗閱卷成效、測驗分數設計與使用說明

Presentation on theme: "國中基測命題理念、寫作測驗閱卷成效、測驗分數設計與使用說明"— Presentation transcript:

1

2 國中基測命題理念、寫作測驗閱卷成效、測驗分數設計與使用說明

3 國中基測命題理念 試題取材原則 版本檢核說明 試題示例提供

4 試題取材原則 國中基測各科試題取材，是以學生學習及生活經驗為主要來源。各科所要測驗的能力與內涵，以97年基測為例：國文，英語，數學，社會，自然五科皆以「國民中小學九年一貫課程綱要」國中階段能力指標為命題依據。 各科一般命題原則如下： (一) 以能經由紙筆測驗評量之能力指標為主 (二) 以評量學生所習得之基本能力為目的 (三) 以符合綱要不涉及素材(版本)之選取為方針

5 97年基測 各科命題依據 (各領域綱要可參酌教育部國教司網站，網址如右http://www. edu
97年基測 各科命題依據 (各領域綱要可參酌教育部國教司網站，網址如右 測驗學科 命題依據 國 文 『國民中小學九年一貫課程綱要』 語文學習領域本國語文國語文國中階段能力指標 英 語 1.『國民中小學九年一貫課程綱要』 語文學習領域英語國中階段能力指標 2.一千基本字彙﹝教育部九十二年一月公告﹞ 數 學 數學學習領域國中階段能力指標 社 會 社會學習領域國中階段能力指標 自 然 1.『國民中小學九年一貫課程綱要』 自然與生活科技學習領域自然學科國中階段能力指標 2.「附錄二 自然與生活科技學習領域教材內容細目」之 自然學科國中階段部分

6 依能力指標命題 命題不受教材影響 九十七年國中基本學力測驗國文，英語，數學，社會，自然五科皆以「國民中小學九年一貫課程綱要」國中階段能力指標為命題依據，並非依據教材內容(引用的素材)命題，故教材是否編寫完成，並不影響命題。 註： 各科命題教師係依據能力指標命題，試題素材不限，使用九年一貫課程審定本教材或其他教材等皆可。(「素材」不等同於「學習內容」，是指設計試題時所引用的材料)

7 版本檢核說明

8 每年入闈前版本檢核作業 基測各科以『闈外建置題庫，闈內依組題計畫抽組試題』為作業方式，為確實落實教育部『學生讀任一版本，只要融會貫通，並習得基本知識，皆足以應考基測』之政策，自94年起，各科在入闈前皆需將題庫內之試題逐題比對，確定試題符合上述政策，方可能自電腦抽組出，相關流程圖如下：

9 各科題庫建置流程 入闈前版本檢核作業

10 版本檢核實例說明（以數學科為例） 若等比數列{an}之首項為1,公比為-3,試求a2＋a4＝？
(A)90 (B)30 (C) (D)-30 說明 假設上述為題庫內經過標準化流程之試題， 但經學科研究員進行版本檢核，發覺當屆課程綱要並無此 學習內容，且各版本亦無此學習內容，則此題不符合 版本檢核原則，直接在電腦設定停用，不會自電腦選出。 註：目前每年各科部審通過教材之內容皆或多或少皆有改變， 為顧及測驗公平性及穩定性，每年皆需進行版本檢核作業。

11 試題示例提供

12 國文科舉例說明（96-1-27） 根據這張表格，下列敘述何者正確？
(A)任何時候報名，舊學員學費皆可打折，新學員則否，且須繳交100元報名費 (B)殘障朋友憑殘障手冊即可免收報名費，任何時候報名，學費均九折優待 (C)持有終生學習卡的人，即使在12月26日以後報名，也無須繳交報名費 (D)於12月25日以前，團體10人以上報名所繳的學費是其中最優惠的 ★ 能力指標：E 能將閱讀內容，思考轉化為日常生活中解決問題的能力。

13 英語科舉例說明（ ～32） My mother is always busy. During the day, she sits in front of the computer and writes stories for children. Mom always says that writing is the most important thing in her life. She enjoys it a lot and also gets paid for her writing. That makes her happy because she has three daughters to bring up. Mom always tries to finish her writing before we get back in the evening. By doing so, she has more time to be with us. Mom loves talking and reading with us, but she hates cooking and cleaning. So we have learned how to do housework since we were very young. Mom is always busy writing and taking care of us, but she is always smiling. To me, my mother is the most beautiful woman in the world.

14 30.What does the writer try to say in the reading?
　　(A)Her mother is a busy but happy woman. 　　(B)She hopes to be a writer like her mother. 　　(C)She should study harder to make her mother happy. 　　(D)Her mother should learn how to use the computer better. 31.Which is true about the writer's mother? 　　(A) She is seldom at home. 　　(B) She usually writes at night. 　　(C) She doesn't like to do housework. 　　(D) She enjoys playing computer games. 32.What does That mean in the reading? 　　(A) Getting paid for her writing. 　　(B) Sitting in front of the computer. 　　(C) Having three daughters to bring up. 　　(D) Being the most beautiful woman in the world. ★ ★ ★ 能力指標: 能瞭解對話、短文、書信、故事及短劇的情節與內容。

15 數學科舉例說明（ ） 已知小娟家的地板全由同一形狀且大小相同的 地磚緊密地舖成。若此地磚的形狀是一正多邊形， 則下列何者不可能是此地磚的形狀？ (A)正三角形 (B)正方形 (C)正五邊形 (D)正六邊形 ★ 能力指標：S 能透過實測辨識三角形、四邊形、圓的性質。

16 社會科舉例說明（ ） 十八世紀的政治思想家洛克主張：任何人都享有維持生命、爭取自由與保有財產的天賦權利，人民為保障上述權利而設立政府，如果政府不能達成任務，人民就有權推翻它。下列哪一位人物的作為最能印證這樣的理念？ (A)華盛頓領導美國獨立 (B)康有為發動戊戌變法 (C)俾斯麥完成日耳曼統一 (D)明治天皇推行維新運動 ★ 能力指標： 分析國家的組成及其目的。

17 自然科舉例說明（ ） 靜止在海面上的甲船發出聲波訊號，訊號同時由空氣及海水以直線傳至同樣靜止在海面上的乙船，如圖(十二)所示。假設當時無風，且海面平靜，在空氣中的聲速為340m/s，在海水中的聲速為1700m/s，則乙船先後接收到上述兩個聲波訊號的時間差最接近下列何者？ (A)0.3秒 (B)0.5秒 (C)1.6秒 (D)2秒 ★ 能力指標： 認識聲音、光的性質，探討波動現象及人對訊息的感受。

18 寫作測驗相關議題

19 國中基測寫作測驗目的 寫作測驗目的：測量國中學生基本寫作能力。
命題依據：以「國民中小學九年一貫課程綱要」本國語文國語文第三階段寫作能力指標為主。 透過「引導式寫作題型」，評量國中畢業學生表達見聞與思想的能力，包含： 立意與取材-學生能切合題旨，選擇合適素材，表現 主題意念。 結構組織-學生能掌握寫作步驟，首尾連貫，組織完 整篇章。 遣詞造句-學生能準確流暢的使用本國語文。 標點符號-學生能正確運用文字、格式及標點符號。

20 寫作評量命題原則 注重公平均等 避免涉及批判 考量作答時間 試題難度適中（考量測驗目的及對象） 貼近生活經驗 考慮評閱因素

21 96年第一次寫作測驗試題 題目：夏天最棒的享受
說明：豔陽高掛，暑氣炎炎，有時讓人精神振作、充滿活力，有時又使人汗流浹背、苦不堪言。你可能很喜歡在酷熱的夏天裡運動、閱讀、乘涼，甚至吃火鍋……。你覺得在夏天最棒的享受是什麼？請寫下你的經驗、感受或想法。 ※不可在文中洩漏私人身分 ※不可使用詩歌體

22 96年第二次寫作測驗試題 題目：我從同學身上學到的事
說明：在我們求學的過程中，曾遇見許多同學。每個同學都有各自的特點，從他們身上，我們可以學到一些事，因而影響了自己的想法或行為。請就你的經驗、感受或想法，寫出從同學身上所學到的事。 ※若提及同學姓名，請用甲同學、乙同學……代替 ※不可在文中洩漏私人身分 ※不可使用詩歌體

23 影響寫作測驗評分之因素 考生的能力 寫作題目 評分標準 評分人員(對評分方式的了解與掌握程度)

24 評分品質的控管 評分規準的建立 評分人員的訓練 線上閱卷

25 評分規準的建立 依據寫作測驗所評量的能力來建構 整體式計分及分析式計分 用幾個分數等級來評分

26 評分方式 評分方式採級分制，將學生寫作能力由劣至優區分為一至六等級，四級分達一般水準。另針對完全離題、重抄題目及缺考等考生，因無法判斷其寫作能力，給予其0級分。 字體美醜、文章長度不在評分規準中。 一篇文章由兩位評閱委員分員評閱，若兩位委員評定結果相差二級分以上(包含二級分)，則再請核心委員進行複閱。 註：重抄題目指只有抄題目，完全沒有任何其他可供判斷的內容

27 樣卷的公布 使評分規準的文字描述具體化 讓考生了解其表現將如何被評分 不定期公佈更多元的樣卷

28 閱卷教師的訓練 閱卷老師將透過事前對於評分規準與樣卷對照之專業訓練，使閱卷教師更能掌握各級分間的差異，增加評分者信度。
定期召開核心教師樣卷挑選會議(每場會議5位大學教授，7位高中老師)。 每年定期訓練約400位評閱教師。

29 閱卷分工圖 核心委員 評閱委員 閱卷老師種類 主要工作內容（開始閱卷） 挑樣卷：挑選樣卷、測試卷以及訓練
危機處理：負責應付突發狀況，例如：當評閱委員無法通過測試時，與其溝通協調並協助評閱委員解卡。 複閱差二級分(含)以上之卷子及具零級分 爭議的卷子。 主要工作內容（閱卷前） 挑選樣卷進 行樣卷訓練 複閱工作 接受樣卷訓練 進行閱卷工作

30 線上閱卷 為提升寫作測驗閱卷公平性與評分信度，採用「線上閱卷」方式。 於閱卷過程中隨機加入測試卷。 分析每日閱卷資料，提供即時回饋。

31 初閱給分間是否相差超過兩個級分以上或某一初閱分數為
閱卷流程 評分者訓練 批閱20份試改卷 通過3份練習 卷之測試 進入閱卷系統 比較兩個 初閱給分間是否相差超過兩個級分以上或某一初閱分數為 零級分 進入複閱 鎖卡 進行諮詢 離開閱卷系統 30分鐘以上 計分 是 否 解卡 離開系統 閱卷品質監控 隨機插入練習卷 測試通過

32

33

34

35

36 96年國中基測寫作測驗閱卷結果 61.0％重複考生兩次測驗所得級分完全相同，19％所得級分比第一次高一級分，17.7％所得級分比第一次低一級分，都在評分誤差範圍內。 重複考生寫作測驗成績的一致性高達97.7％。其餘2.4％所得級分與上次差距較大的考生，大多是因為缺考、違反規定或交空白卷。 命題與計分流程的控管。

37 96年重複考生兩次寫作差異分數次數分配表 差異分數 人數 百分比(%) 累積百分比(%) -3 97 0.1 -2 1326 0.9 1
-1 26898 17.7 18.6 92999 61 79.6 29019 19 98.7 2 1687 1.1 99.8 3 157 99.9 總計 152375 100

38 測驗分數設計與使用

39 國中基測為什麼要採用量尺分數？ 基測一年兩試且兩次測驗分數擇優使 用。 使兩次測驗分數可以直接和公平的比 較，傳統聯考的計分方式，無法達到
這個目的。

40 各科量尺分數為什麼都設定在1-60分？ 考量各科題數不同，最少是數學科約30多題，最多是社會科約60多題。
為避免題數少的數學科產生過多量尺分數空著的現象，也就是實際上並沒有人有該量尺分數，經專業判斷後，將基測各科量尺分數設定在1-60分。

41 國中基測量尺分數是如何計算來的？ 量尺分數是透過統計方法，由答對題數轉換而來，基測的量尺分數每科都設定在 1-60分，分數愈高，代表該科能力愈好。 基測試題難度設定在中等偏易，沒有足夠的試題估計高能力考生群的能力值，因此高分一端考生的測量誤差比較大，原始分數轉換量尺分數過程中，全對和錯一題的考生的差異會出現誇大的現象。 計算考生量尺分數時，必須滿足「全對和錯一題者之分數差距是合理的」和「量尺分數涵蓋1-60分的範圍」兩個條件為標的。

42

43 量尺計分公平嗎？ 量尺分數計算過程利用調整標準差和裁截超過60分的機制，使考生最後量尺分數符合1-60的既定規格，且讓全對和只錯一題者的分數差距較合理。 國外測驗機構也是採用類似上述的程序，所以心測中心量尺分數計算過程是符合測驗學理的。 從未對任何個別考生的量尺分數做調整，因此絕對符合公平原則。

44 透過何種方式使兩次基測量尺分數可以直接和公平的比較？
基測的試題都先經過預試和篩選，然後放入題庫，在闈內抽題和組卷。 基測題庫中的每道試題都透過「試題反應理論」（Item Response Theory，簡稱IRT）的估計程序，將試題難度連結在同一把尺上，所以每道題目的難度值是已知的。 著名的TOEFL、GRE等電腦化適性測驗也都是採 用這種作法。

45 兩次基測分數等化程序 分數等化過程： 1.每年根據第一次基本學力測驗，建立基本學力量尺分數。
2.依據預試資料，使第二次測驗題目在試題難度分布與第一次測驗接近。 3.計算第二次基本學力測驗之量尺分數 依“試題反應理論 (IRT)”算出各答對題數之考生能力值，再利用插補法，算出其對應的量尺分數。

46 考生能力值和量尺分數的對應 量尺分數 第一次 答對題數 IRT能力值 第二次 60 48 5.24 5.13 56 47 4.01 3.89
53 46 3.26 52 3.15 50 45 2.81 49 2.69 44 2.47 2.36 43 2.2 2.09 ..

47 兩次國中基測皆參加的考生，分數有大幅變化嗎？
重複考生兩次測驗量尺分數差距的平均 年度 國文 英文 數學 社會 自然 五科總分 90 2.52 0.97 2.16 1.07 1.96 8.69 91 0.43 0.46 1.49 -0.49 -1.91 -0.02 92 -0.23 0.33 1.13 -1.5 -1.23 -1.51 93 0.84 0.59 1.38 1.57 0.47 4.84 94 0.75 1.09 0.6 1.35 95 0.08 1.37 0.45 -0.12 -0.17 1.61 96 0.93 1.16 -0.07 -0.85 0.48 1.71

48 重複考生兩次測驗量尺分數分析 歷年各科考生兩次基測量尺分數的平均差距，有進步的，也有退步的，且大多數考生兩次分數的差距並不大。
96年五科總分重複考生同分與進步的比例︰56.46% ，其中同分人數為4005，比例為2.64%。 當中進步幅度比較明顯的是90年和 93年，但可能有特殊的原因(兩次測驗間隔較長、舊課程最後一年)。 總而言之，參加第二次基測的考生，其分數不一定進步，而是有人進步、有人退步，且分數變化的平均幅度不大。

49 現行基測量尺分數使用的問題 基測各科皆以中等偏易為組題原則，高分一端考生的測量誤差比較大。
正弦反函數轉換將兩端拉開，各科只錯一題考生扣分多，造成此能力範圍考生相當大的考試壓力。 低分一端考生的轉換分數多為負值，為符合1-60分的分數範圍，不足1分的皆設定成1分，造成無法鑑別低分一端考生的現象。

50 現有量尺計分方式可能調整的方向 針對各科只錯一題考生扣分太多—去除正弦反函數轉換。(原本正弦反函數轉換目的是使各分數的測量標準誤一致，但測量誤差的概念並未落實在分數使用上) 針對無法鑑別低分一端考生的現象--轉換後所有分數加一常數，例如20分。

51 現有量尺計分方式可能調整的方向 答對 題數 原量尺計算方法 新量尺計算方法 轉換後量尺分數 量尺 得分 轉換後 量尺分數 加20分
未加20分 -17.93 1 -21.06 -11.01 -18.6 2 -7.37 -16.14 4 3 -4.4 -13.69 6 -1.81 -11.23 9 5 0.55 -8.77 11 2.73 -6.32 14 …… 15 19.04 19 15.79 36 16 32 54.08 54 57.54 78 58 33 61 60 80 ＊以96年基測第一次數學科為例

52 未來國中基測量尺計分方式選擇之考量 計算方式的選擇除了應考量合乎學理外，也需兼顧實務的合理性。 應避免計分方式時常改變，造成使用者的困擾。
加強各科測驗分數意義的說明宣導。

53 謝謝聆聽，歡迎指教