初中英语人机听说测试的实践与思考 衢州市教育局教研室 蒋国补 2019年 3月 20 日.

Presentation on theme: "初中英语人机听说测试的实践与思考 衢州市教育局教研室 蒋国补 2019年 3月 20 日."— Presentation transcript:

1 初中英语人机听说测试的实践与思考 衢州市教育局教研室 蒋国补 2019年 3月 20 日

2 内容提要 一、实施初中英语人机听说测试的意义 二、衢州市人机听说测试实施情况介绍 三、面临的问题和困难 四、几点思考

3 一、实施人机听说测试对初中英语教学的影响
突破英语教学中口语评价瓶颈，完善了初中英语评价体系 （缺失 痛点 夙愿） 2. 促进英语课堂教学改革，极大改变哑巴英语的现状 改革最早的学科：JEFC 功能教学理念、情境引入课堂; 2003基本普及小学英语; 新课标:强调语言的人文性和工具性 核心素养：基本品格和必备能力 诟病最多的学科:费时多，收效少；哑巴英语（评价的积极作用：反拨 导向） 3. 顺应省厅关于学科分项能力等级性评价改革的潮流 4. 加速推进英语信息课堂,逐步实现精确、个性、自主和选择性教学改革目标 (加速技术的推进和融合；大数据累积和运用) 对初中英语教学将会产生积极影响，具有深远的意义！

4 二、 衢州市初中英语人机测试的实施情况 期待 犹豫 渴求 担忧 希望
按照市教育局文件衢州市在2019年正式实施初中英语人机测试，分值30分；从 2016年秋季入学新生开始，我们就着手准备相关工作。教研室主要承担着试题方 案制定、教师培训、课堂教学的改革和推进、命题队伍建设以及测试命题(市县两 级)等项工作。近三年的实施历程,喜忧参半，个中体验更是酸甜苦辣，五味俱全。 一路走来可以用5个词来概括，这既是五个不同的阶段，也是五种不同的心情： 期待 犹豫 渴求 担忧 希望

5 1、期待 (争取落地,积极的心态)

6 2、犹豫（选择） 测试方式(怎么考)？ 二种方式：听说结合在一起(真实,贴近生活,语用特征) 测试题型(考什么)？ 朗读类：（模仿）朗读；
听力和口语分开测试(易于把握实施,平稳过渡) 测试题型(考什么)？ 朗读类：（模仿）朗读； 回答类：情景反应(free talk)或问题回答（根据对话或短文独白）； 叙述类：信息转述，情景描述或口头作文； 关注点:说的比重;试题的开放度;机评效果 分值权重？ 试卷难度？(结合中考情况)

7 衢州试题的思路 听说结合 (落后地区用猛药，否则不足以改变原有的惯性思维) (课堂成效) 衔接过渡 (后三题从原来的听力测试改编而成)
听说结合 (落后地区用猛药，否则不足以改变原有的惯性思维) (课堂成效) 衔接过渡 (后三题从原来的听力测试改编而成) 延伸拓展 (考试要求逐步提高) 衢州题型方案:

8 模仿朗读—题型概览： 第一题 模仿朗读（共5分）
第一题 模仿朗读（共5分） 听以下短文一遍，然后模仿朗读。你有50秒钟的准备时间，当听到“开始录音”的信号后，立即在50秒钟内朗读短文，当听到要求“停止录音”的信号时，应立即中止朗读。 Hello, everyone. My name is Li Daming and my English name is David. I’m twelve years old and I’m from Beijing. Beijing is the capital of China. This is Lingling and her English name is Lucy. She’s my friend. She’s from Beijing too. (材料选用课本, 模仿环节也让学生有一个复习回顾、环境适应和心理准备的过程)

9 信息辨析—题型概览： 第二题 信息辨析 （共5小题，每小题1分，共5分）
听下面5段小对话，每段对话仅播放一遍, 播放前你有5秒钟的阅题时间，每段对话播放后有一个问题, 请根据听到的问题和括号内的提示, 选择正确的信息并作答。 当听到“开始录音”的信号后，立即在8秒钟内口头回答；当听到 “停止录音”的信号时，应立即中止答题。 （停顿00'5''） 1. What does Steven want to be? (a doctor/a teacher/a policeman） （停顿00‘8’‘） (今后选项将改为关键信息) 录音稿 1. W: Are you going to be a teacher, Steven? M: No, I want to be a doctor like my father.

10 回答问题—题型概览： 第三题 回答问题。（5小题，每小题2分，共10分）
听下面两段较长对话，每段对话播放两遍, 播放前你有10-15秒钟的阅题时间，每段对话播放后有2-3个问题, 请根据听到的问题和括号内的提示, 选择正确的信息并作答。当听到“开始录音”的信号后，立即在15-20秒钟内口头回答；当听到“停止录音”的信号时，应立即中止答题。 听第一段较长对话，回答第6-7两个问题。现在你有10秒钟的阅题时间。 6. How often does the woman go jogging? （once a week/twice a week/three times a week） 7. What does the man like doing? (playing tennis/going jogging/walking the dog) （停顿00'10'',播放录音两遍）  播放第6个问题，录音时间8秒） 播放第7个问题，录音时间8秒） (今后不提供选项信息,直接回答问题) M: You’re really fit, Lucy! Do you do a lot of sports? W: Yes, I do. I play tennis and I swim, and I go jogging in the park. M: How often do you go jogging? W: Once during the weekdays and then once again at the weekend. M: What about swimming? W: Well, in summer I go to the sports center every Sunday with my dad. What sports do you do, then? M: I like walking the dog. W: That isn’t really a sport! M: No, but it’s good exercise -- for me and for my dog. 6. How often does the woman go jogging? 7. What does the man like doing?

11 第四题 信息转述及询问—题型概览： 第二节 询问信息（2分） 第一节 信息转述（8分）
第一节 信息转述（8分） 你将听到一篇关于Fraser Island的介绍，播放两遍。请根据所听到的内容，记录下面句子空白处所缺的信息，并参照提示，在50秒内转述该内容，包含下列句子。 现在，你有15秒钟的时间阅读下面内容。 （停顿00'15'',播放录音两遍） * Fraser Island is in Australia and… * It is about 120 kilometers long and _____kilometers wide. * It is a very _____ island because it is completely made of sand. * It is the largest sand in the world and _____ grows on the island. * Sometimes the sandy rocks are so _____ that they turn the sea brown.w 下面你有50秒的准备时间。你的介绍可以这样开始：Fraser Island is in Australia and… （停顿 50 秒，录音时间50秒） 第二节 询问信息（2分） 你希望了解更多相关信息，请根据以下提示提问两个问题。每个问题有25秒钟的准备时间和8秒钟的提问时间。 请你准备第一个问题。 11. 它是澳大利亚最大的岛屿吗？ （停顿 25 秒，录音时间8秒） 请你准备第二个问题 12. 你去过那里几次了？ （今后逐步采用思维导图形式作信息提示;用提问代替陈述设题;分值权重也将做适当调整）

12 Fraser Island is in Queensland，Australia，about 200 kilometers north of Brisbane. It is about 120 kilometers long and 240 kilometers wide. It is a very interesting island because it is completely made of sand. In fact，it is the largest sand island in the world. Nothing grows on the island. The sandy rocks have different colors. Sometimes the rocks are so brown that they turn the sea brown.w

13 3、渴求(培训了解,熟悉考试,教学提升) * 对评测机理的了解 (专家讲座:朱奇峰 刘舒 王志 王厢波 王卫华 郝云标 曹 东 冯晓林等)
* 对评测机理的了解 (专家讲座:朱奇峰 刘舒 王志 王厢波 王卫华 郝云标 曹 东 冯晓林等) * 对考试流程和测试方式的了解 (参观学习,模拟训练,仿真模考) * 教学改进(老师)和训练指导(学生) (基于人机测试背景下的英语听说课研讨, 落实在课堂) * 命题的研讨和实践 (成立命题小组,专家指导,全市模考命题)

14 命题的实施 命题: 两两分组 等值设题(等值量表：对照语料库词频表；课本话题和词 子母分题 交互审题 合卷制作 试听预考（时间 内容 难易）
句要求；文本长度和结构；选项难易相当等), 子母分题 交互审题 合卷制作 试听预考（时间 内容 难易） 结果：各套试题均分与均值差距 <0.4 分

15 Ladies and gentlemen, this is the service center of Wal-Mart. Now Mr
Ladies and gentlemen, this is the service center of Wal-Mart. Now Mr. Smith is looking for his granddaughter, Betty Smith. She got lost when he was shopping on the second floor. Betty is about four feet tall with long brown hair. If anyone sees her, please call us at Betty Smith, if you hear this, please come to our office as soon as possible. Your grandpa is waiting for you. Ladies and gentlemen, attention, please. This is the service center of Wal-Mart. Now Mrs. Smith is looking for her grandson, Peter Smith. He got lost when she was shopping on the third floor. Peter is thin, about four feet tall, and he is wearing a white T-shirt with a big star on it. If anyone sees him, please call Mrs. Smith at or come to our service center. Thank you.

16 2018年9月衢州市英语听说能力测试成绩分析表 序号 试卷名称 考生人数 平均分 得分率 模仿朗读 信息辨析 回答问题 信息转述及询问 总分
柯城 5,449 4.22 4.20 8.95 7.63 25.01 0.834 2 江山 6,139 3.99 4.08 8.84 7.07 23.99 0.800 3 龙游 3,650 3.95 4.05 8.79 6.97 23.77 0.792 4 常山 2,962 3.94 4.00 8.60 6.71 23.26 0.775 5 开化 3,155 3.93 6.70 23.23 0.774 6 衢江 3,360 3.77 8.56 6.45 22.77 0.759 合计 24,715 4.07 8.76 7.00 23.83 0.794

17 201809衢州一模01 201809衢州一模02 201809衢州一模03 201809衢州一模04 201809衢州一模05 201809衢州一模06 201809衢州一模07 201809衢州一模08 八套平均分 考生数 平均分 常山 515 22.86 474 23.59 481 23.70 518 23.50 374 22.17 405 23.47 94 23.20 101 23.67 江山 974 23.71 905 24.06 908 24.19 976 24.34 720 23.15 779 24.26 420 23.91 456 24.24 开化 615 22.54 573 23.77 551 23.49 594 24.05 355 22.13 381 23.85 41 18.11 45 20.02 柯城 978 24.55 896 24.76 904 24.80 960 25.08 610 25.31 657 25.56 213 25.71 231 25.46 龙游 568 516 24.47 525 23.52 24.22 521 23.46 565 23.95 187 22.52 200 23.05 衢江 572 22.34 532 22.64 529 23.12 564 23.66 406 22.19 430 22.69 160 22.42 167 22.50 总计 4222 23.45 3896 23.98 3898 23.94 4180 24.16 2986 3217 24.11 1115 23.53 1200 23.83

18 4、困惑(担忧) * 人机评测的局限性(与预期的差距) * 机房设施不足(量和质:硬件和网速) * 操作技术和运用能力(老师) * 训练途径和效果提升(学生) * 试卷等值(命题) * 训练app的使用 etc. 引发了对测试公平的关注: 上学期末部分学校写信给市局领导,表达了对英语人机测试公平性的担忧(高 中优质教育资源的激烈竞争）；加上英语高考事件所引发对考试权威的质疑。局 里安排了一次面向全市的，关于人机考试可行性的调研和评估。（存有变数）

19 2.对于我市中考英语实施人机对话测试您的观点是（）？ (老师 家长 学生三者的问卷情况）
选项 小计 比例 有必要 5359 90.8% 没有必要 249 4.22% 等等再说 294 4.98% 本题有效填写人次 5902 选项 小计 比例 有必要 2839 79.01% 没有必要 490 13.64% 等等再说 264 7.35% 本题有效填写人次 3593 选项 小计 比例 有必要 538 57.36% 没有必要 189 20.15% 等等再说 211 22.49% 本题有效填写人次 938

20 3.目前你校在应对英语人机测试中所面临的最大困难是（）？
选项 小计 比例 教学资源 338 36.03% 试卷命题 122 13.01% 机房设施 340 36.25% 其它 138 14.71% 本题有效填写人次 938 4.你对实施英语听说能力人机对话测试最担心的是（）？ 选项 小计 比例 试卷等值 105 11.19% 机评的合理性 654 69.72% 试卷难度 133 14.18% 考试组织 46 4.9% 本题有效填写人次 938

21 5.经过上一次全市模拟测试后你认为目前英语人机对话测试还存在那些问题？
选项 小计 比例 试卷等值 415 44.24% 机评科学性 701 74.73% 机房设施 500 53.3% 考试组织 212 22.6% 其它 77 8.21% 本题有效填写人次 938 *农村家庭和留守儿童平常没有手机或电脑训练。 *公平性，答题时相互干扰。 *由于场次多，测试时间早晚拖得时间过长。 *如何上辅导人机对话课。 *训练不够。 *学生训练模仿的机会不多，班级人数多，课堂渗透不够。 *不公平，易泄题。 *城乡差异大，教育不公平。 *家长的配合程度。 *建立统一考试中心。 *人工评卷与机评的差异性。 *学生平时训练的配套练习没跟上。 Etc.

22 5、希望 好事能够做好

23 三、实施过程中所面临的问题和困难 人机测试的技术运用 测试组织和试卷等值(考试批次,等值标准) 评分细则和标准制定 训练设施和资源保证
专业提升和技术运用 城乡教育差距的扩大(师资,设备,环境等) 关于校园app使用的争议

24 人机测试的技术运用 分析 定标 建模

25 （1）测试原理：如何用人工智能分析一段语音
语音的特征主要可分为三类：语音的完整性；语音的音段质量(流畅性)；语法和语义(准确性)。 通过语音转文字技术(识别技术)，分析语音完整性特征。 通过语音模型分析技术(音频模型比对)，分析音段质量及韵律节奏特征。 通过深度神经网络技术，分析语法及语义的特征。 通过语音转文字技术 完整性特征 通过语音模型分析技术 音段质量特征 通过深度神经网络技术 语法、语义特征

26 （1）测试原理：如何用人工智能分析考生得分数据
通过人工智能技术对专家打分数据进行分析，算出每个特征权重： 举例：原文：I like dogs. （总分4分） 录音 专家打分 特征提取 评分模型 录音1 录音2 录音3 录音4 4 单词正确，语调正确 4=4*（1*0.75+1*0.25） 1 单词错误，语调正确 1=4*（0*0.75+1*0.25） 3 单词正确，语调错误 3=4*（1*0.75+0*0.25） 单词错误，语调错误 0=4*（0*0.75+0*0.25） 建立评分模型 得分=满分 *（单词*0.75+语调*0.25）

27 （2）人机测试的运用情况 连读，弱化 语言纠错 存在的问题 语音筛选 语音识别的宽容度

28 （3）人机测评的特点(权威声音) 朗读类测试 完整度角度：(评分权重是最高的)
遇到长难单词、生词时，切记不要漏读，按照自然拼读法朗读，或用接近的单词替换； 每句的语速要控制好，不要抢读，不要漏读。 准确度角度： 宁可加音，不要漏音（注意单词结尾的辅音）； 元音一定要发准确并饱满； 如果连读、弱化没有把握，不要强求； 如果有单词读错了，立刻纠正，不要等句子读完再读一遍。 流畅度角度： 相对平均的语速和节奏； 不要一个单词一个单词的读； 不要浪费感情，常常适得其反； 其他因素基本不重要。

29 问答类测试 (信息比对：不涉及语义及语流) 描述类测试 (关键信息的比对) 关键单词要读清楚；
问答类测试 (信息比对：不涉及语义及语流) 关键单词要读清楚； 不要追求流畅，可以一个一个单词读，关键信息发音尤其要注意； 询问题尽量在答题前写出答案； 回答时，有把握的题目简答即可，注意一定不要涉及错误答案。 描述类测试 (关键信息的比对) 按原文内容转述，词汇、句型、句子结构以及先后顺序尽量和原文一致； 水平好的学生不要用超纲的同义词汇，不要用新的叙述结构； 水平一般或较弱的学生可直接朗读。

30 2.测试组织和等值命题

31 考试场次：上午，下午各二场，晚上一场；场次越多，命题压力越大(压缩) （2）试题等值 等值量表的制定
（1）组织形式 考试场次：上午，下午各二场，晚上一场；场次越多，命题压力越大(压缩) （2）试题等值 等值量表的制定 选项设置: 难易,谐音,相同信息回避, 中文名使用；数字；答案设置等. How many times have you been to Beijing? (four/three/two) How often does the woman go jogging? （once a week/twice a week/three times a week） What does the man like doing? (playing tennis/going jogging/walking the dog) (3) 县(市区)的命题压力: 命题任务和考试组织（人员，经费，平台和实施）

32 3.评分细则和标准制定 表述模糊，难以细化

33 模仿朗读评分标准 回答问题评分标准 分值 标准 5 能连贯地朗读，语篇完整，语音、语调正确，有节奏感。 4
朗读尚连贯，语篇尚完整，语音、语调和节奏尚好。 3 朗读不够流畅，语篇不够完整，语音、语调和节奏等有错误，但不影响理解。 2 不能连贯朗读，语篇不完整，语音、语调和节奏等错误很多，影响理解。 1 只读出短文中的一两个句子，语音、语调很差。 没有朗读或说一些与考试内容无关的话。 （注意：只允许考生朗读短文一次，但可以重复个别句子一次。） 回答问题评分标准 分值 标准 1 信息正确，内容完整，语音正确。 0.75 关键信息正确，内容不够完整，有个别语法或语音错误，但不影响理解。 0.5 关键信息正确，内容不完整，有较大的语法或语音错误。 信息错误，或不回答，或不用英语回答。

34 4. 训练设施和资源保证 5. 专业提升和技术运用 6. 城乡教育差距的扩大(师资,设备,环境等)

35 7.APP训练软件的使用 （1）用还是不用 （2）如何规范地使用

36 四、几点思考 立足实际，确保评价改革的顺利实施 (教育理想与教育现实） 把握契机，实现英语教学的有效突破（评价改革与听说课堂）
助推教研，加强命题研究和加快题库建设 （由省里牵头，共同完成） 加快信息化时代教育变更，推动教育组织形式和管理模式的变更创新，以信息 化推进教育现代化。（选自《中国教育现代化2035》2.13）（app使用）

37 立足实际，确保评价改革的顺利实施 (教育理想与教育现实）
把握契机，实现英语教学的有效突破（评价改革与英语教学） 助推教研，加强命题研究和加快题库建设 （由省里牵头，共同来做） 加快信息化时代教育变更，推动教育组织形式和管理模式的变更创新，以信息 化推进教育现代化。（选自《中国教育现代化2035》2.13）

38 愿中考英语改革能真正促进素质教育落地！ 谢谢指导！