广东省广州市花都区教育局教研室 汤少冰 hdtsbing@163.com 优化评估方式, 促进中学英语的教与学 广东省广州市花都区教育局教研室 汤少冰 hdtsbing@163.com

背景 中国的考试文化 新课程标准 英语试题特点 教研工作性质

背景1：中国的考试文化

背景1：中国的考试文化

背景1：中国的考试文化

背景2：新课程标准 对教师专业发展的要求: 学科知识: 评价知识-命题能力, 选题能力 对学生能力的要求: 学会学习(自我认识-自主学习-自我调控-自我反思-自我提升) 评价: 采用科学、合理的评价方式和方法，对教学的过程和结果进行及 时、有效的监控，以起到对教学的积极导向作用。…应突出学生的主 体地位，发挥学生在评价过程中的积极作用。 形式：终结性、形成性

背景3：命题要求 问题是：如何得到这些数据？ 基础教育阶段试题改革主要把握三个方面： 把握改革方向和目标； 把握命题技术和策略； 把握考试的教育测量学质量特性分析方法。 具体操作： 1）制作反映测验内容与测验目标、题型之间关系的双向细目表，提高试题的 效度； 2）命题的技术要求：听力题、问答题、填空题、选择题、作文题 3）试题分析：宏观：信度、效度及可用度。微观：有题目的难度、题目的区 分度等。 问题是：如何得到这些数据？

背景4：英语试题特点 题量多(一般有60-80小题); 作答:大部分是选择题(约占全卷的题量的93%,占 总分的50%)

背景5：教研室及教研员工作职责 理论与实践的桥梁：解读新课程标准、理论与实践相结合 教学视导与督导员：了解教学状况，指导教学，督促改进； 教师培训者：提高教师专业化水平； 教学研究者：为教育决策提供参考信息； 教学评价者：促进学校发展、教师发展。

现状 命题情况： 学生成绩数据： 考试成绩数据对教学的影响： ♦教研室 ♦学校（教师） ♦联校（教师） ♦各校平均分 ♦各分数段人数： ♦教研室 ♦学校（教师） ♦联校（教师） 学生成绩数据： ♦各校平均分 ♦各分数段人数： 中考：750以上；749～700；… 249～200； 0～199 高考：140以上 ；139~130 ； … 19~10； 9~0 ♦排名（总分、平均分）：地区、学校之间；学校内；班内 ♦ 标准差（各学科、总分） ♦ 各区前半样、后半样人数及比例（中考年报） 考试成绩数据对教学的影响： ♦分层教学与辅导(培优，扶差，临界生） ♦确定达标人数 ♦试题及评卷分析（总分、平均分、排名、错漏题）

问题 凭感觉多，理性少； 功利性较强，削弱了基础教育考试评价对学生后续学习与 发展的功能； 忽视学生个体差异； 以教师为主，缺乏学生的主动参与； 对命题质量的分析较笼统、粗糙。

运用SP-Xpress 和Rasch Model分析法的目的 优化教学评估方式,提高评价的科学性； 提高教师专业化水平-评价能力\命题能力; 促进教学质量的提高: ♦了解学生学习能力现状； ♦准确反馈, 优化教学 ； ♦培养学生自主学习能力。

试题质量分析指标 题目容易度(Item P-value ) 题目改良警告系数 (Item MCI) 题目改良警告系数类别 (Item MCI Type) 题目鉴别系数 (Item Disc. Index) 点二系列相关系数 (Pt-Bis) 在抽离该题目时的整份试题的信度(AlphaWO) 平均分 (Mean) 标准差 (SD) 信度系数 (Alpha)

学生学习能力分析指标 学生总体表现： 个别学生表现情况： 学生对知识点的掌握情况： 学生能力图、孩子图：最近发展区 学生能力图、变量地图 改良警告系数、意料之外的学生表现、 学生能力图 学生对知识点的掌握情况： 学生能力图、孩子图：最近发展区

案例分析 数据来源: 年级:初二年级 学科: 英语 学校:2个镇: 1)镇1:4所农村初中学校; 2)镇2:6所市区及城乡结合学校. （每学校抽2个班成绩数据） 考试时间:2012年11月(期中考试) 命题者:镇教育指导中心教研员 题项数：75小题 样本人数：833人 分析方法: SP-Xpress 及Rasch Model

试题质量分析-1 题目容易度(Item P-value ) 最难题目: 狮岭镇 云山 Q70(补全句子) 0.21 0.69 Q73听力(获取信息) 0.10 0.34 Q57 单词拼写 0.07 0.69 Q75听力(获取信息) 0.40 0.33 Q72听力(获取信息) 0.47 0.29 难度0.5以下的题数 32(0.07-0.48) 5题0.29-0.49 42% 0.06%

用Rasch Model 分析： 题项难度 最难：3.15；最易：-2.97 说明：>3：太难；<-3：太易 题项是否切合Rasch模型（0.5与1.5之间）：除Q51（1.84）外，其余均切合。 题项与量度的相关度：Q7（-0.01） 其余题项均为正数，其中较好的（>0.4）的题项有44道。

试题质量分析-2 题目改良警告系数 (Item MCI) 狮岭镇 云山中学 题目改良警告系数类别 (Item MCI Type) 狮岭镇 云山中学 >0.5 (异常情况严重): 1题:Q7 2题:Q7,Q8 0.3-0.5:(注意\修正) 13题 18题 0.0-0.3(正常): 61题 56题 题目改良警告系数类别 (Item MCI Type) A型题: 39小题(52%) 51小题(67%) B型题: 2小题(0.02%) 17小题(22%) C型题: 12小题(0.16%) 0 D型题: 22小题(29%) 8小题(10%) 题目鉴别系数 (Item Disc. Index) >0.4 53小题(71%) 59小题(77.5%)

结论与改良建议 结论: 总体上该试题题目的学生答题表现较符合统计推算, 处于正常水平; A型题占50%以上, D型题分别是29%(农村学校)和10%(市区学校), 题目鉴别系数较高(70%以上),有一定的区分度, 试题的信度较高(0.94/0.96), 试题质量属优秀。 建议: 1) 对于市区学生,增加有一定难度的题目; (8小题(10%)) 2) 修正一些题目: C型题(农村学校,12小题),--试题拙劣、答对率偏低,而且含异质成份，必须修正 B型题(市区学校,17小题).--试题容易度，但含异质沙石，需修正

学生学习能力分析 学生总体表现： 个别学生表现情况： 学生对知识点的掌握情况： 学生能力图、孩子图：最近发展区 学生能力图、变量地图 改良警告系数、意料之外的学生表现、 学生能力图 学生对知识点的掌握情况： 学生能力图、孩子图：最近发展区

学生总体表现 学生能力图

学生总体表现 变量地图（或称学生—题项地图） 可以了解： 题项的平均难度及不同难度的分布情况 学生平均能力及学习能力 强弱不同的学生的分布情况 （可用于小组学习）

个别学生表现情况 改良警告系数 能力类型 （注意：C型学生有34人） （学生改良警告系数和学生能力散点图） 意料之外的学生表现 可了解学生每题所选的答案（或所得的分数）与其学习能力是否相符

学生对知识点的掌握情况 学生能力图 孩子图 了解每个孩子的最近发展区 1) 培养学生的自主学习能力 2)提高教学的针对性 3)有利于分层教学

唏！你去年80 分， 今年70分， 怎么越读越倒退啊 ？ 学生分数与实际能力-原始分数和罗氏分数互换表 唏！你去年80 分， 今年70分， 怎么越读越倒退啊 ？ 80分 25 25

学生学习能力分析结论 根据学生能力图，A型学生点46%以上，表明近一半学 生学习能力表现良好，稳定性高。32%的市区学生学习表 现高，但稳定性低，较粗心大意。农村学生C、D型学生 比例高出市区学生一半。特别是农村D型学生占28%，表 明了农村学生学力不足，学习表现弱，稳定性差。这些学 校的老师要注意保底和个别辅导。 同时，根据学生改良警告系数、意料之外的学生表现、 学生能力图，表明了部分学生的表现与实际能力不符，教 师需关注和跟踪，根据孩子图的分析，加强学生对知识点 的理解与掌握，提高综合能力。

教师反馈-1 教师1: 这项软件对教学有很大的辅助作用，它能够 准确统计出试题的难度和学生的现有水平，为我们 改进教学提供更加的科学和理性的反馈。 教师2: 从当时的不理解（一个一个小分的输入）到 现在渴望能掌握它和应用它了。

教师反馈-2 教师3: 我认为掌握科学的分析方法是我们成为现 代型教师的要素，掌握科学的统筹方法，会令我们 在平时的教学中更加有自信；在分析学生的情况中， 我们教师不会只是出现空洞的“XX同学，你进步 了！”或者“XX同学，你退步了！”而是和学生一 起站在平等的位置，采用朋友式的关系讨论学生在 学习中的问题，这也令学生能体现到受关注、受重 视，从而帮助建立学生的自我价值的实现。

教师反馈-2 教师4: 作为一线教师，平时教学离不开测验和考试，测验和 考试又离不开数据的统计和分析;但是由于各种原因，大 部分一线教师没有系统学过教育统计学和缺乏必要的统计 知识，难以利用现代电子计算机技术和运用优秀的统计分 析软件包对测试成绩作出全面、准确的统计分析。使学生 的考试结果中蕴藏的大量信息白白浪费 ，或者对考试结 果做出不够正确的解释。统计分析软件Rasch Model和 Sp-Xpress让我们大开眼界，相对其他分析软件, Sp- Xpress操作相对简单，输出的数据可以解决很多平时教学 的疑问，让教师更清楚学生的能力和试卷的难度。

存在问题与困惑 问题： 操作：SP-Xpress操作方便，但Rasch Model编程较复杂，经几次培 训才能明白。（一题多选如何统计？） 图表分析：如何选择与分析 数据专有名词较多：多用 畏难情绪：工作量（班额大、学生多；烦琐 希望： 能否有中文说明书？ 能否有自动生成质量报告？

Q & A

3/18/2017 4:20 AM 谢谢聆听 Thank You! © 2007 Microsoft Corporation. All rights reserved. Microsoft, Windows, Windows Vista and other product names are or may be registered trademarks and/or trademarks in the U.S. and/or other countries. The information herein is for informational purposes only and represents the current view of Microsoft Corporation as of the date of this presentation. Because Microsoft must respond to changing market conditions, it should not be interpreted to be a commitment on the part of Microsoft, and Microsoft cannot guarantee the accuracy of any information provided after the date of this presentation. MICROSOFT MAKES NO WARRANTIES, EXPRESS, IMPLIED OR STATUTORY, AS TO THE INFORMATION IN THIS PRESENTATION.