高中職學生學習資料 管理與分析 實務與概念 Sieh-Hwa Lin, Ph.D.. 學習檔案放雲端 家長一指掌握 2012.07.27 人間福報 : 台北市教育局率先建置數位 化國中生學習檔案系統，把每個國中生出缺席狀 況、獎懲紀錄、社團、服務學習、學習評量、心 測結果全放到「雲端」，讓家長隨時了解孩子的.

Presentation on theme: "高中職學生學習資料 管理與分析 實務與概念 Sieh-Hwa Lin, Ph.D.. 學習檔案放雲端 家長一指掌握 2012.07.27 人間福報 : 台北市教育局率先建置數位 化國中生學習檔案系統，把每個國中生出缺席狀 況、獎懲紀錄、社團、服務學習、學習評量、心 測結果全放到「雲端」，讓家長隨時了解孩子的."— Presentation transcript:

1 高中職學生學習資料 管理與分析 實務與概念 Sieh-Hwa Lin, Ph.D.

2 學習檔案放雲端 家長一指掌握 2012.07.27 人間福報 : 台北市教育局率先建置數位 化國中生學習檔案系統，把每個國中生出缺席狀 況、獎懲紀錄、社團、服務學習、學習評量、心 測結果全放到「雲端」，讓家長隨時了解孩子的 學習狀況。教育局首創將輔導紀錄 e 化 ( 雲端化 ) ， 預計 2012.09 起，台北市 85 所公私立國中全部採用 。 民生國中 5 月起，每年編列二百萬元經費，讓台北 市所有國中全部改用數位化的生涯輔導紀錄，並 稱為「學生生涯領航儀表板」，已經有其他縣市 考慮跟進。

3 學習檔案放雲端 家長一指掌握 台北市教育局表示，學生生涯領航儀表板將所有 的成績、社團、性向與興趣測驗全部納入，會給 家長一組帳號密碼，讓家長可以注意孩子有哪些 指標落後，可盡早安排加強的課程。 十二年國教上路後，國中生的生涯輔導非常關鍵 ，但目前紙本形式相當不便，改用數位化後，方 便家長掌握孩子在學校的發展；如果是家中缺少 電腦或上網設備的弱勢家庭，則由學校協助，印 製成簡易版本來因應，或協助家長查詢。

4 簡便性回饋性隱私性診斷性延續性管理性多元性 個體資料呈現 功能特性 群體資料展現 學校特色 學生學習資料管理與分析系統架構 全校性 類科性 全校性 類科性 學生學習檔案資料 學生學習診斷資料 學生學習檔案資料 學生學習診斷資料 群體 個體

5 高中職學生學習資料現況 學生在校學習表現之質性與量性資料 ( 具延續性、 形成性 ) 學生學習資料表 標準化成就測驗資料 基測成績或教育會考成績等級資料 ( 具標準參照 ) 學生學習成就評量標準 全民英檢、大考英語聽力 國內與國際評比 -TASA 、 PISA 、 PIRLS 、 TIMSS 各科試題分析資料 ( 學科中心 ) 課綱、課程教材資料 ( 高中職與國中小之課程差距 )

6 簡便性回饋性隱私性診斷性延續性管理性多元性 個體資料呈現 功能特性 群體資料展現 學校特色 學生學習資料管理與分析系統架構 全校性 類科性 全校性 類科性 學生學習檔案資料 學生學習診斷資料 學生學習檔案資料 學生學習診斷資料 群體 個體

7 學校 全校性 整體性每年度 學習表現 類科性 各類科每年度 升學表現 個體 群 體

8

9

10 簡便性回饋性隱私性診斷性延續性管理性多元性 個體資料呈現 功能特性 群體資料展現 學校特色 學生學習資料管理與分析系統架構 全校性 類科性 全校性 類科性 學生學習檔案資料 學生學習診斷資料 學生學習檔案資料 學生學習診斷資料 群體 個體

11 學生學習檔案 學習診斷 標準化 測驗資料 實作評量 表現資料 學習診斷 資料 段考成績 資料 個 體

12 雲端學習檔案平台 ( 桃園縣教育局 ) http://kcity.e-portfolio.org.tw/

13

14 簡便性回饋性隱私性診斷性延續性管理性多元性 個體資料呈現 功能特性 群體資料展現 學校特色 學生學習資料管理與分析系統架構 全校性 類科性 全校性 類科性 學生學習檔案資料 學生學習診斷資料 學生學習檔案資料 學生學習診斷資料 群體 個體

15 學生學習診斷之策略 第二層級對象 35* 第三層級對象 5 第一層級對象 70* 快篩 交互檢證 專業診斷

16 學生學習診斷之策略 第二層級對象 35* 第三層級對象 5 第一層級對象 70* 快篩 交互檢證 專業診斷

17 快篩 - 檢核工具 ( 基測國文科 70) 基測國文科成績的快篩標準 (70%) 年答對題數量尺分數 903839 914038 924039 934039 9440 953938 963940 9740 98 a 3963 99 b 4064 100 c 39.763-64 101 d 4165

18 快篩 - 檢核工具 ( 基測國文科 35) 基測國文科成績的快篩標準 (35%) 年答對題數量尺分數 902825 912824 923025 932924 942925 952924 962825 972924 98 a 2944 99 b 2943 100 c 3045 101 d 3144

19 快篩 - 檢核工具 ( 基測英語科 70) 基測英語成績的快篩標準 (70%) 年答對題數量尺分數 903843 913239 924045 934045 944044 954146 964248 974248 98 a 4071 99 b 4172 100 c 3970 101 d 4071

20 快篩 - 檢核工具 ( 基測英語科 35) 基測英語科成績的快篩標準 (35%) 年答對題數量尺分數 901716 911520 921816 931816 941916 952116 962216 972417 98 a 2136 99 b 2235 100 c 1935 101 d 2236

21 快篩 - 檢核工具 ( 基測數學科 70) 基測數學科成績的快篩標準 (70%) 年答對題數量尺分數 902336 912137 922642 932641 942842 952538 962740 972841 98 a 2764 99 b 2865 100 c 2866 101 d 2967

22 快篩 - 檢核工具 ( 基測數學科 35) 基測數學科成績的快篩標準 (35%) 年答對題數量尺分數 901524 911224 921621 931420 941823 951724 961621 971924 98 a 1742 99 b 1841 100 c 1639 101 d 1940

23 第一層級、第二層級快篩標準 第一層級、第二層級快篩標準之量尺分數 科目第一層級量尺分數第二層級量尺分數 國文 64(63-65)44(43-45) 英語 71(70-72)36(35-36) 數學 66(64-67)40(39-42)

24 學生學習診斷之策略 第二層級對象 35* 第三層級對象 5 第一層級對象 70* 快篩 交互檢證 專業診斷

25 交互檢證工具 - 對照表 ( 示例 ) 學校常用工具 專業診斷工具 基測或教育會考基測或教育會考基測或教育會考基測或教育會考 自編成就測驗自編成就測驗自編成就測驗自編成就測驗 快篩工具快篩工具快篩工具快篩工具 標準化成就測驗標準化成就測驗標準化成就測驗標準化成就測驗 標準化學習診斷標準化學習診斷標準化學習診斷標準化學習診斷

26 交互檢證工具 - 對照表 ( 示例 ) 學校常用工具 專業診斷工具 基測或教育會考基測或教育會考基測或教育會考基測或教育會考 自編成就測驗自編成就測驗自編成就測驗自編成就測驗 快篩工具快篩工具快篩工具快篩工具 標準化成就測驗標準化成就測驗標準化成就測驗標準化成就測驗 標準化學習診斷標準化學習診斷標準化學習診斷標準化學習診斷

27 高中職標準化成就測驗 1. 加州成就測驗第五版（ California Achievement Test, Fifth Edition, CATS ）（ CTB/McGraw-Hill; grades K-12 ） 2. 綜合基本能力測驗第四版（ Comprehensive Test of Basic Skills, Fourth Edition, CTBS/4 ）（ CTB/McGraw-Hill; grades K-12 ） 3. 愛荷華基本能力測驗， Form M （ Iowa Tests of Basic Skills, ITBS, Form M ）（ by H. D. Hoover, A. N. Hieronymus, D. A. Frisbie, & S. B. Dunbar; Riverside Publishing Co.; grades K-12 ）

28 高中職標準化成就測驗 ( 續 ) 4. 愛荷華教育發展測驗， Form M （ Iowa Tests of Educational Development, ITED, Form M ）（ by L. S. Feldt, R. A. Forsyth, T. N. Ansley, & S. D. Alnot; Riverside Publishing Co., grades 9-12 ） 5. 卡夫曼教育成就測驗（ Kaufman Test of Educational Achievement, KTEA/NU ）（ by A. S. Kaufman & N. L. Kaufman; American Guidance Services; grades 1-12 ） 6. 都會成就測驗第八版（ Metropolitan Achievement Tests, Eighth Edition ） （ Metropolitan8 ）（ Harcourt Brace; grades K-12 ）

29 高中職標準化成就測驗 ( 續 ) 7. 畢保德個人成就測驗 — 修訂版 （ Peabody Individual Achievement Test-Revised, PIAT-R/NU ） （ by F. C. Markwardt, Jr.; American Guidance Service; ages 5-18 ） 8. 史丹佛成就測驗系列第九版（ Stanford Achievement Test Series, Ninth Edition, Stanford 9 ）（ Harcourt Brace; grades K-13 ） 9. 泰拉諾瓦測驗系列（ TerraNova Assessment Series ） （ CTB/McGraw-Hi11; ages K-12 ）

30 高中職標準化成就測驗 ( 續 ) 10. 魏克斯勒個人成就測驗 II （ Wechsler Individual Achievement Test Il, WIAT-II ） （ The Psychological Corporation, ages 5-19 years ） 11. 廣泛成就測驗增訂版（ Wide Range Achievement Test Expanded, WRAT-Expanded ）（ by G. J. Robertson; Wide Range; grades 2-12 ） 12. 伍達克 — 強生 III 成就測驗（ Woodcock-Johnson III Tests of Achievement, WJ-III ）（ by R. W. Woodcock, K. S. McGrew, & N. Mather; Riverside Publishing; 2-90+ years ）

31 伍達克 - 強生成就測驗 III 1. 伍達克 - 強生成就測驗 III （ Woodcock-Johnson III Test of Achievement ）的診斷功能更全面性，它 是一種個別施測的多種技巧測驗組合，用來評估 個人的一般智能、特定認知能力、口語能力、學 業成就，適用於二到九十歲。 2. 組合性成就測驗應該是在整個測驗計劃中最先 做的，因為它可以讓我們對受試者在不同科目的 表現水準有概括的了解。如果受試者在某個特定 科目需要更進一步的評估，可以實施單科測驗。 最後，如果有必要更深入的了解受試者在閱讀或 數學上有哪些不足，就需要實施診斷測驗以瞭解 成因。

32 交互檢證工具 - 對照表 ( 示例 ) 學校常用工具 專業診斷工具 基測或教育會考基測或教育會考基測或教育會考基測或教育會考 自編成就測驗自編成就測驗自編成就測驗自編成就測驗 快篩工具快篩工具快篩工具快篩工具 標準化成就測驗標準化成就測驗標準化成就測驗標準化成就測驗 標準化學習診斷標準化學習診斷標準化學習診斷標準化學習診斷

33 學生學習資料管理分析的瓶頸 評量結果 ( 測驗分數 ) 的解釋取向 – 常模參照 – 標準參照 * – 時間參照 評量結果 ( 測驗分數 ) 的可比性問題 – 共同測驗或考試 – 共同試題或作業 * Kolen(2006), Holland and Dorans(2006), Marzano(2006, 2008)

34 測驗分數解釋的方法取向 常模參照 ( 學測、指考、基測、百分等 級常模、標準分數常模 ) 標準參照 (TASA 學習成就標準、 103 年 教育會考、國民中學學生學習成就評量 標準 ) 時間參照 ( 形成性評量 )

35 103 年教育會考成績計算 教育會考將採標準參照，透過測驗的 標準設定，各科評量結果將分為 3 等 級 教育會考將採標準參照，透過測驗的 標準設定，各科評量結果將分為 3 等 級 – 「精熟」 – 「基礎」 – 「待加強」 民國 103 年數學科計分暫不包含非選 擇題型成績，英語科計分暫不包含聽 力測驗成績 民國 103 年數學科計分暫不包含非選 擇題型成績，英語科計分暫不包含聽 力測驗成績 寫作測驗的評分等級為一至六級分 寫作測驗的評分等級為一至六級分

36 103 年教育會考各科目等級描述

37 常模參照與標準參照的建置比較 常模 參照 評量架構 評量範圍 整體描述 測驗工具 + 分數量尺 發展 取樣建置 相對地位 常模 分數解釋 PR=92? PR=35? 解釋 能力方向 標準 參照 評量架構 評量範圍 + 內容標準 表現標準 描述 測驗工具 + 分數量尺 發展 標準設定 根據 表現標準於 分數量尺找 切截分數或 通過分數 分數解釋 回歸 表現標準 內容標準 解釋 能力內容

38 評量結果 ( 測驗分數 ) 可比示例 兩個班級、兩種段考試卷 兩個班級 - 甲班 (48 人、普通 ) 與乙班 (45 人、 較優 ) 兩種段考試卷 (A 、 B 卷 )- A 卷 (20 題、較易 ) 與 B 卷 (20 題、較難 ) 兩份試卷是同科考試，內容不一，但是其 中有 5 題是一樣的 ( 第 2,5,7,16,17 題 ). 甲班做 A 卷，乙班做 B 卷

39 題號 A 卷等化前難度 B 卷等化前難度 B 卷難度等化到 A 卷 甲班普通，乙班較優。 A 卷較易， B 卷較難。 ? -1.2572173 ? 1.3084202 ? 2.0783369 ? 1.2174226 0.2426768 ? -1.2572173 ? 1.3084202 ? 2.0783369 ? 1.2174226 0.2426768 ?

40 題號 A 卷等化前難度 B 卷等化前難度 甲班普通，乙班較優。 A 卷較易， B 卷較難。

41 甲班做 A 卷等化前乙班做 B 卷等化前乙班做 B 卷等化到 A 卷 甲班普通，乙班較優。 A 卷較易， B 卷較難。

42 分析模式與軟體 IRT 或 Rasch 分析模式 軟體 :R & MiscPsycho Pinnacle Plus System by Excelsior Software (http://excelsiorsoftware.com)

43 THANK YOU!