试题标注结果统计及分析 南京大学-nlp组 2015.06.07
标注体系 试题及选项 求解目标:以题为单位,answer type 问句模式: 以选项为单位,question type 时间 地点 术语 多实体、单实体、判断、流程、其他 问句模式: 以选项为单位,question type 事实、因果、比较、关联、图表计算、其他 时间 地点 术语 课本知识点 思维导图知识点 图片类型(可选)
标注样例
标注结果及分析 南大10人参加标注 28套北京高考及各区模拟试题 共515道选择题,515*4=2060个选项
求解目标标注结果统计 判断 386 单实体 83 多实体 36 流程 9 其它 1
求解目标标注结果分析 与题面的关联分析(基于lasso特征选择模型的关键字提取算法)
问句模式标注结果统计 事实:349 因果:120 比较:100 图表计算:32 关联:19 其他:2
问句模式(标注错误) 问句模式为“其它”的题: 按照约定,上述题面不需要单独标问句模式,这里应该是误标
问句模式标注结果分析 与题面的关联分析:
时间词标注 数量:251 我们将时间词整理为9类,识别优先级如下: cycle:周期类 period:时间段 season:季节(包括部分节气) timep:不同粒度的时间点 cond:有条件的时间 stage:某期间或某时期 frame:一天中的某时段 ref:虚拟指代的时间 other:其他
时间词分析 cycle 规则: 表达式中包含"每" 数量:5 例子:
时间词分析 period 规则: 数量:42 例子:
时间词分析 season 规则: 数量:29 例子: 特殊: 表达式中包含"春"“夏”“秋”"冬"中的至少一个 夏季,春,秋冬,春季,冬季,秋冬季 特殊: 夏至日 冬夏之交
时间词分析 timep 规则: 数量:116 例子: 特殊: 表达式中包含"年"“月”“日”中至少一个,并且有数字(中文或阿拉伯数字) 包含“时”,并且前一个字符为数字 包含“点”,并且前一个字符为数字 包含“:”或":"(时分秒) 包含"/"(年月日) 数量:116 例子: 特殊: 年复一年 此日后20天 3、4月 近20年来 2300万年前
时间词分析 cond 规则: 表达式以“时”或“后”结束 数量:11 例子: 特殊: 2小时后 此时
时间词分析 stage 规则: 数量:10 例子: 特殊: 图示时期 甲时期 (上述两个是否应该算入ref虚拟指代时间词中?)
时间词分析 frame 规则: 数量:9 例子: 表达式包含这些词中的某一个: [u"傍晚",u"早晨",u"昼",u"夜",u"上午",u"中午",u"下午",u"晚上",u"夜晚",u"黎明",u"深夜",u"午间",u"日出",u"日落"] 数量:9 例子:
时间词分析 ref: 规则: 表达式包含“某”“该”“当”“此”中的一个 数量:6 例子:
时间词分析 other 没有被分到上述8类的其它时间表达式 数量:23 例子:
地点词统计 数量:1019 8类,识别优先级如下: lonlat:包含经纬度的地点 ref:虚拟指代的地点 adregion:行政区域,国家、省、市、县等等 station:XX站 special:XX平原、高原等,包括特例"公园" area:XX区 direction:包含方位词 other:其它
地点词分析 lonlat 规则: 数量:36 例子: 包含"°"或者“北纬”“南纬”“东经”“西经” 90ºE 乌鲁木齐(44°N,88°E) (20°, 127°) 北纬35°~40° 西经170°附近 北纬50°
地点词分析 ref 规则: 数量:215 例子: 包含“甲”“乙”“丙”“丁”中至少一个 或,包含①②③④⑤⑥中至少一个 或,包含字母 或,包含“某”“图示”“该”“此”“图中”“图+<数字>”中至少一个 数量:215 例子:
地点词分析 adregion 规则: 数量:322 例子: 特殊: 以“省”“市”“国”“县”“自治区”结尾 一个手工编辑的地名过滤列表(仅适用于目前收集的地名) 数量:322 例子: 海口 北京市 江苏省 荷兰 特殊: 苏、皖、浙、闽四省 我国 江苏省和陕西省 两省 各省 我国部分城市
地点词分析 station 规则: 以“站”结尾 数量:11 例子:
地点词分析 special 规则: 数量:204 例子: 特殊: [u"平原",u"高原",u"流域",u"海域",u"山脉",u"山",u"山系",u"盆地",u"河",u"江",u"谷地",u"三角洲",u"岛",u"板块",u"山地",u"洲",u"洋",u"湖",u"海",u"海峡",u"湿地",u"板块",u"草原",u"渔场",u"角",u"岭",u"峰",u"山区",u"丘陵",u"瀑布",u"港",u"公园"] 以上面的词中的某一个结尾 数量:204 例子: 特殊: 与其他洋流交汇的海域 沿海 日本近海 云南山区
地点词分析 area 规则: 数量:61 例子: 特殊: 以“区”结尾 我国两个地区 沿线地区 途经地区 地震重灾区 Ⅰ区 同纬度大陆东岸地区
地点词分析 direction(该类型比较杂乱) 规则: 数量:89 例子: 包含“东”“南”“西”“北”“中部”“中心”“沿岸”中的某一个词,并且不在排除列表中(一些包含这些词的地名,例如“西双版纳”) 数量:89 例子: 向北 位置偏北 东北 东南季风的迎风坡 自南向北 南极 南半球 南水北调中线 东亚 西北太平洋洋面 地中海沿岸 城市中心 欧洲中部 秦岭北坡和南坡 东、西两侧
地点词分析 other: 规则:不属于上述7类 数量:91 例子: 近地轨道 火星 地面 北京市专业气象台 陆地 广东石门谷(比较常见,地名+地名) 中缅天然气管道沿线 印度洋水汽通道上(比较常见,地名+“上”) 快速公路交汇处 背风坡 肯斯瓦特大型水利枢纽 暖温带 城市外围 京津冀 山麓地带 日界线附近 低纬度
术语标注 记: T的大小:1547 A的大小:19031 A与T交集的大小:632 A与T的交集占T的比例:40.85% T:手工标注的术语集合(文件term_tag.txt) A:之前收集的术语集合 (另外,T中不属于A的术语在文件term_diff.txt中) T的大小:1547 A的大小:19031 A与T交集的大小:632 A与T的交集占T的比例:40.85% A与T的交集占A的比例:3.32%
术语标注 手工标注并且不属于收集的术语集合的术语:
思维导图知识点标注结果 标注存在的问题: 标注不规范,有同学从每页上方的章节标题开始标,应该是从思维导图树状图的的根节点开始标 有一些非思维导图的知识点,例如“读图”“读表” 错字、漏字 共出现35个不标准的根知识点
思维导图知识点分布 符合规范的标注统计结果(只统计根知识点的分布情况):
思维导图知识点分布 不同出现频率的知识点的分布:
思维导图知识点标注结果分析 未出现过的根知识点: 旅游与区域发展 宇宙 工业地狱的形成与发展 世界主要国家
思维导图知识点标注分析 与题面的关联分析:
课本知识点 课本知识点总条数:921 按照课本划分:
课本知识点标注结果 按照章划分,出现频率前10为:
课本知识点标注结果 没有节信息的知识点标注条数:59,占总数的6.4% 按照节划分,出现频率前10为:
课本知识点标注结果分析 与题面的关联分析:
图片类型 共出现144个图片标注 共出现107种不同的图片标注 存在的问题: 有的同学用逗号或顿号分隔了一个标注,有的是描述同一张图,有的是描述不止一张图,这里没有统一 统计的时候,按整条标注作为一个图片类型
图片类型分布 经过抽象,我们依据标注结果将图片主要可分为如下几类: 示意图:27 地形图:15 分布图:10 经纬:10 等值线图:8 地图:8 柱状图:7 曲线:7 统计图:6 折线图:4 剖面图:4 过程:3 其他:35
图片类型 其他类型举例: 表格 照片 时间图 循环图 交通图 线路图 结构图 散点图 轨迹图 检测图 天气图 饼图 趋势图 ...
后续工作 Web-UI annotator Question representation