「應用情意及社交表現評估套件於學校自評」研討會

Presentation on theme: "「應用情意及社交表現評估套件於學校自評」研討會"— Presentation transcript:

1 「應用情意及社交表現評估套件於學校自評」研討會
主辦機構： 教育局質素保證 合辦/ 協辦機構： 香港教育學院評估研究中心 講者： 莫慕貞教授 舉行日期時間： 2012年1月16日下午2時至5時 舉行地點： 九龍塘沙福道19號, 教育局九龍塘教育服務中心, 西座四樓演講廳

2 今天的目的 提升參加者運用《情意及社交表現評 估套件》及其數據於學校自評的技巧
應用羅氏分數（Rasch Score）跟進學生 在情意及社交表現評估套件》量表/副 量表的進度 掌握 WINSTEPS 的基本運作、 了解如 何 解讀 WINSTEPS 分析結果，以實踐 學習導向評估

3 《情意及社交表現評估套件》 APASO-II (小學例子)
自我 自我─他人 自我─學校 自我概念 人際關係 對學校的態度 校園生活 關愛 成就感 數學 不恰當自表行為 經歷 親子關係 尊重他人 整體滿足感 朋輩關係 負面情感 外貌 機會 閱讀 社群關係 師生關係

4 《情意及社交表現評估套件》 APASO-II (中學例子)
自我 自我─他人 自我─學校 自我概念 人際關係 對學校的態度 情緒穩定性 關愛 成就感 整體 交際能力 經歷 誠實/可靠 尊重他人 整體滿足感 數學 分享 負面情感 親子關係 社交行為 機會 外貌 支持 社群關係 英語 師生關係

5

6 何謂羅氏分數（Rasch Score） ？ 原始分數 （Raw Score）和 羅氏分數（Rasch Score）之間, 應如何選擇 ？

7 Journal of Applied Measurement
對羅氏模型曾作出重要貢獻的人物 Benjamin D. Wright George Rasch John Mike Linacre WINSTEPS, FACETS Richard M Smith Journal of Applied Measurement David Andrich RUMM HK Public Exams Mark H. Stone Best Test Design Trevor G. Bond PROMS Geoff Masters QUEST PISA 7

8 唏！你去年80 分， 今年70分， 怎麼越讀越倒退啊 ？
80分

9 Rasch模型：科學的量度 單元的概念 單元的恆常性 一把直的尺 一個單元
© Copyright Centre for Assessment Research and Development

10 美科學家將"末日之鐘"撥快1分鐘 來源：參考消息網
2012年01月11日 15:06 來源：參考消息網 『參考消息網1月11日報道據新華社電，美國雜誌《原子科學家公報》的科學家委員會10日宣佈把“末日之鐘”撥快1分鐘，距離象徵世界災難末日的午夜時分僅剩 5分鐘。』

11 單元 增長線不是直的線 增長5 cm在不同的年齡有不同的意義
Retrieved on 9 January 2012 from

12 不同的群組有不同的常模 增長5 cm在不同的群組有不同的意義
Retrieved on 9 January 2012 from

13 增長不是直的線 Retrieved on 9 January 2012 from

14 增長會有終止的時候 Retrieved on 9 January 2012 from

15 不同的群組有不同的增長終止期 Retrieved on 9 January 2012 from

16 學生的情意與社交增長也有類似的現象 量度單元的概念不一定清晰, 不同的 研究者有機會用不同的單元 增長線不是直的線 不同的群組有不同的常模 增長會有終止的時候 不同的群組有不同的增長終止期 羅氏模型（Rasch Model）是為處理這些 現象，以達到「科學地量度」目標的統 計方法

17 量度水平 原始分數 羅氏分數 Ratio ：有零（例：收入） Interval ：有單元（例：時間）
Ordinal ：可排序（例：冠亞季軍） Nominal ：類別（例：男女、種族）

18 羅氏模型（Rasch Model） 方法： 運用「配對比較法」（ Paired Comparison ）
把原始分數轉化為機率（Probability） 把 Ordinal 量度變為 Interval量度

19 Rasch量度： 人與題項的相對關係 例子 - 跳高項目

20 跳高的能力超過竿的高度 過竿 能力超過題項難度 答對 跳高的能力低於竿的高度 失敗 能力不及題項難度 答錯

21 極之同意 相當同意 不太同意 毫不同意 整體滿足感：我在學校感到快樂。 滿足感遠遠超過題項要求 滿足感超過題項要求 滿足感低于題項要求
滿足感遠遠低于題項要求 毫不同意

22 極之同意 相當同意 不太同意 毫不同意 比較難的題項(難：難於同意) 整體滿足感：我在假期裏也想回校。 。 滿足感遠遠超過題項要求
滿足感超過題項要求 相當同意 整體滿足感：我在假期裏也想回校。 。 滿足感低于題項要求 不太同意 滿足感遠遠低于題項要求 毫不同意

23 對學校的態度 比較正面 比較負面 比較難的題項 比較易的題項 我在假期裏也想回校 C 我經常掛念學校。 B A 我喜歡學校。

24 比較正面 比較負面 比較難的題項 比較易的題項 我在假期裏也想回校 我喜歡學校

25 比較正面 比較負面 比較難的題項 比較易的題項

26 成就感 我每天都喜愛上學。 我喜歡學校。 我在學校感到快樂。 我在學校得到樂趣。 經歷 我經常掛念學校。 我在假期裏也想回校。 整體滿足感
負面情感 機會 社群關係 師生關係 我每天都喜愛上學。 我喜歡學校。 我在學校感到快樂。 我在學校得到樂趣。 我經常掛念學校。 我在假期裏也想回校。 對學校的態度

27 何謂羅氏分數（Rasch Score） ？ q :學生對學校的態度 d :題項的難度 勝算比 = odds ratio =
學生同意題項 的機率 學生不同意題項的機率 勝算比 = odds ratio = Log (勝算比) = Log (odds ratio) = logit = (q – d )

28 羅氏分數不比恒指難！ …. Source: Retrieved 9 Jan 2012 from

29 因此，若 (q = d) ，那麼學生同意題項的機率是 0.5 ，而不同意題項的機率也是 0.5
e0 = 1 當 q = d，e(q – d) = 1 因此，若 (q = d) ，那麼學生同意題項的機率是 0.5 ，而不同意題項的機率也是 0.5 0.5

30 成就感 Q1. 我每天都喜愛上學。 Q2. 我喜歡學校。 Q3. 我在學校感到快樂。 Q4. 我在學校得到樂趣。 經歷
整體滿足感 負面情感 機會 社群關係 師生關係 Q1. 我每天都喜愛上學。 Q2. 我喜歡學校。 Q3. 我在學校感到快樂。 Q4. 我在學校得到樂趣。 Q5. 我經常掛念學校。 Q6. 我在假期裏也想回校。 對學校的態度

31 File: EX1 QSL1.xls 兩班學生 3A班37人 3B班35人 可容許漏答

32 選取 Ministep 軟件 這軟件可於網上 免費下載

33 2. 選取 Data Setup 1. 選取 No

34 2. 設定題項資料 1. 設定學生資料 3.貼上數據

35 填寫本分析標題

36 1. 設定學生資料 學生標籤首行 學生標籤總行數 = 4 學生加題項總行數 = 4 + 6 = 10 學生總人數 = 72
學生標籤總行數= 4 題項總行數= 6 1 2 3 4 5 6 7 8 9 10 學生標籤首行 學生標籤總行數 = 4 學生總人數 = 72 學生加題項總行數 = = 10

37 2. 設定題項資料 題項標籤首行=5 總題數 = 6 Valid Codes = 1234 每個答案占行數 = 1 學生標籤總行數= 4
題項總行數= 6 1 2 3 4 5 6 7 8 9 10 題項標籤首行=5 總題數 = 6 每個答案占行數 = 1 Valid Codes = 1234

38 改為 0 及 1 每一道題目旳標題, 例如Q1, Q2a, …, 等等

39 3b.貼上學生所回答的問卷數據 3a. 貼上學生班別和學號數據

40 4. 貼妥數據之後可儲存檔案並啟動 Rasch 分析
點選 File

41 點選 Save control with data file and exit to Ministep Analysis

42 按 Enter 鍵 兩次

43 分析包含了72位學生及6道題項 學生的信度是0.80, 題項的信度是 0.93

44 點選 Output Tables 內的表格以理解學生對學校的態度

45 Output Tables 表格 1 Variable Map (變量地圖)

46 學生 題項 最難 Q6. 我在假期裏也想回校。 Q2. 我喜歡學校。 最易 Q4. 我在學校得到樂趣。

47 大部份持正面態度的學生來自3A班 大部份持負面態度的學生來自3B班

48 Output Tables 表格 13 Item Measures (題項難度) 題項是否切合Rasch模型 (0.5與 1.5之間) 本題項與量度的相關度(>0.4) 題項難度

49 …etc…

50 Output Tables 表格 20: Score Table (原始分數和羅氏分數互換表)
原始分數= 6 即相當於羅氏分數 = -5.81 … 原始分數= 18 即相當於羅氏分數 = 1.34 …等等

51 Output Tables 表格 7.2.1: Person Keyform Unexpected (意料之外的學生表現)

52 Output Tables 表格 36: Person Diagnostic PKMAPS (個別學生的《表現地圖》)
Q6.我在假期裏也想回校。 Q3.我在學校感到快樂。 對學生3A15來說是容易同意的題項，但他卻不同意 Q1.我每天都喜愛上學。 Q2.我喜歡學校。

53 3. 點選 Category Probability Curves
… 1. 點選 Graphs 3. 點選 Category Probability Curves 2. 點選 Display by scale group

54 毫不同意 極之同意 相當同意 不太同意

55 學生和題項的羅氏分數可存Excel檔 1. 點選 Output Files 2. 點選 Item File IFILE=
Person File PFILE=

56 應用APASO-II的不同設計 學校可在學年的不同時間選用量表或副量表，運用不同的設計，以達不同的目的： 質素保證：常模與本校
前測/後測設計：中期計劃的成效 縱向設計：追踪學生跨學年發展

57 A. 質素保證：常模與本校 用原始分數和或羅氏分數均可 從闊到窄 跨年比較報告—原始分數—全體報告 盒形圖—原始分數—香港常模—全體報告
平均圖—原始分數—香港常模—全體報告 個別題目棒形圖—原始分數—香港常模—全體報告

58 跨年比較報告—原始分數—全體報告 不太同意 毫不同意 極之同意 相當同意 逐漸進步中

59 盒形圖—原始分數—香港常模—全體報告 不太同意 毫不同意 極之同意 相當同意

60 平均圖—原始分數—香港常模—全體報告 極之同意 本校學生比全港學生顯著少負面情感 相當同意 不太同意 毫不同意

61 個別題目棒形圖—原始分數—香港常模—全體報告
毫不同意 (%) 不太同意 (%) 相當同意 (%) 極之同意 (%) 平均數 標準差 回應人數 Effect Size / 效應值 Q.21. 我在學校感到煩躁。 / I feel restless at school. Q.21(HK) 49.09 31.80 11.88 7.23 1.77 0.92 78458 -- Q.21 53.29 37.54 9.17 0.00 1.56 0.66 578 Small / 小 Q.22. 我在學校感到無助。 / I feel helpless at school. Q.22(HK) 58.44 28.29 7.89 5.37 1.60 0.85 78571 Q.22 64.20 29.43 6.37 1.42 0.61 581 Q.23. 我在學校感到受威脅。 / I feel threatened at school. Q.23(HK) 63.83 23.75 6.97 5.44 1.54 78308 Q.23 69.14 23.62 7.24 1.38 0.62 580 Negligible / 微

62 加 個別班級的數據… 老師日常對學生的觀察、交流 老師對學生的認識 老師的專業知識和判斷

63 B. 前測/後測設計：中期計劃的成效 干預：實驗甲、乙組 實驗甲、乙組的自我形象有沒有差 異？ 認識自己 正確歸因 學生的自我形象較低
對症下藥 成功經驗 後測 實驗甲、乙組的自我形象有沒有差 異？ 每組從對測到後測有沒有改變？ 前測 學生的自我形象較低 自我形象低對學生的影響： 較易被欺凌或欺凌別人 自我形象低和行為問題有相關性 遇到學業上的挫折時，較少堅持 容易產生挫敗感，影響情緒 成績較低

64 中期計劃（前測/後測）的成效 正宗法 超快法 快速法

65 中期計劃（前測/後測）的成效 正宗法參考資料：
Wang, W.-C., & Wu, C.-I. (2004). Gain Score in Item Response Theory as an Effect Size Measure. Educational and Psychological Measurement, 64(5), Wolfe, E.W., & Chiu, C. W. T. (1999). Measuring pretest-posttest change with a Rasch rating scale model. Journal of Applied Measurement, 3(2),

66 中期計劃（前測/後測）的成效 超快法 (有誤差, 見頁 68) 運用Ministeps 分別算出每組於前 測和後測的羅氏分數 (共做4次)
超快法 (有誤差, 見頁 68) 運用Ministeps 分別算出每組於前 測和後測的羅氏分數 (共做4次) 每組和常模對照 改變(增長或退步) = 後測 - 前測 對照兩組的改變

67 1 3 2 4 A組(37人) B組(35人) 前測 後測 前測 題項：自我概念（朋輩關係） 後測 Q1 我容易和別人相處。 R1 Q2
別人容易喜歡我。 R2 Q3 別人都希望跟我做朋友。 R3 Q4 我有很多朋友。 R4 Q5 我在同輩中受歡迎。 R5 Q6 大多數人都喜歡我。 R6 A組(37人) B組(35人) 前測 Q1 Q2 Q3 Q4 Q5 Q6 後測 R1 R2 R3 R4 R5 R6 1 2 3 4

68 中期計劃（前測/後測）的成效 超快法 : 有誤差 : 零位標準不一
運用Ministeps 分別算出每組於前 測和後測的羅氏分數 (共做4次) 每組和常模對照 改變(增長或退步) = 後測 - 前測 對照兩組的改變

69 中期計劃（前測/後測）的成效 快速法 檢視題項是否保持原先的難度
把數據用上下排序法排列, 然後運用 羅氏模型, 算出每組於前測和後測的 羅氏分數 每組和常模對照 改變(增長或退步) = 後測 - 前測 對照兩組的改變

70 左右排法 1. 檢視題項是否保持原先的難度 A組(37人) B組(35人) 前測 後測 前測 題項：自我概念（朋輩關係） 後測 Q1
我容易和別人相處。 R1 Q2 別人容易喜歡我。 R2 Q3 別人都希望跟我做朋友。 R3 Q4 我有很多朋友。 R4 Q5 我在同輩中受歡迎。 R5 Q6 大多數人都喜歡我。 R6 左右排法 A組(37人) B組(35人) 前測 Q1 Q2 Q3 Q4 Q5 Q6 後測 R1 R2 R3 R4 R5 R6

71 預留一直行備用 6+6 = 12題項 總行數 = 5+12 = 17

72 把題項的羅氏分數存Excel檔 1. 點選 Output Files 2. 點選 Item File IFILE=

73 3. 點選 Excel格式 4. 點選 OK

74 把題項的羅氏分數存Excel檔 前測 後測 題項的羅氏分數 前測 後測 … Q1 -0.18 -0.56 Q2 -0.42 Q3 -0.04
-0.15 Q4 -0.49 -0.46 Q5 0.79 0.14 Q6 1.04 0.76

75 對照題項在前測和後測的難度是否相同 是 前測 後測 自我概念（朋輩關係） 我有很多朋友。 Q4 -0.49 -0.46 別人容易喜歡我。
-0.42 我容易和別人相處。 Q1 -0.18 -0.56 別人都希望跟我做朋友。 Q3 -0.04 -0.15 我在同輩中受歡迎。 Q5 0.79 0.14 大多數人都喜歡我。 Q6 1.04 0.76 是

76 上下排法 前測 後測 2. 把數據用上下排序法排列, 然後運用羅氏模型, 算出每組在前測和後測的羅氏分數 A組(37人) B組(35人)
2. 把數據用上下排序法排列, 然後運用羅氏模型, 算出每組在前測和後測的羅氏分數 A組(37人) B組(35人) Q1 Q2 Q3 Q4 Q5 Q6 前測 上下排法 R1 R2 R3 R4 R5 R6 A組(37人) B組(35人) 後測

77 第5行顯示前或後測 6題 總人數 = 72*2 = 144

78 把學生的羅氏分數存Excel檔 1. 點選 Output Files 2. 點選 Person File PFILE=

79 3. 點選 Excel格式 4. 點選 OK

80 學生的羅氏分數 … 前測 … 後測

81 前測 後測 3A 1.65 2.10 3B 0.71 0.67 平均值 (Logit) 3A 3B

82

83 快速法 C. 縱向設計：追踪學生跨學年發展 檢視題項是否保持原先的難度 (從左至右排序: Parallel)
把數據用上下排序法 (Stack) 排 列, 然後運用羅氏模型, 算出每 組在前測和後測的羅氏分數 列出跨學年的改變

84 Source: Retrieved 13 Jan 2012 from http://www.winsteps.com/multi.htm
Winsteps Multi-User Site License Agreements Which license do I need? Individual-user license $US : Single-user license agreement Personal Circle site license $US : There is no absolute number of users for a "personal circle" site license. The essential idea is that the users are all known personally by the site license administrator. For instance, the students in a class or the researchers in a Research Department. Institutional site license $US 2,250.00: Wider dissemination of the software with no personal connection among the users. For instance, the software is made available to all the students at a University or all the employees of a large corporation. There is no limit to the number of copies allowed.

85 Selected References on Rasch Methods
Andrich, D. (1988). Rasch models for measurement. Newbury Park, CA: Sage. Bond, T. G., & Fox, C. M. (2007). Applying the Rasch model : fundamental measurement in the human sciences. Mahwah, N.J.: Lawrence Erlbaum Embretson, S. E., & Reise, S. P. (2000). Item response theory for psychologists. Mahwah, NJ: Lawrence Erlbaum. Fischer, G. H. (1995). Derivation of the Rasch model. In G. H. Fischer & I.W. Molenaar (Eds.), Rasch models: Foundations, recent developments, and applications (pp ). New York: Springer-Verlag. Perline, R., Wright, B. D.,&Wainer, H. (1977). The Rasch model as additive conjoint measurement. Applied Psychological Measurement, 3, Scheiblechner, H. (1999). Additive conjoint isotonic probabilistic models. Psychometrika, 64, Wright, B. D., & Stone, M. H. (1979). Best test design. Chicago: MESA Press.

86 謝謝聆聽！ Thank you!