试题标注结果统计及分析 南京大学-nlp组 2015.06.07.

Presentation on theme: "试题标注结果统计及分析 南京大学-nlp组 2015.06.07."— Presentation transcript:

1 试题标注结果统计及分析 南京大学-nlp组

2 标注体系 试题及选项 求解目标：以题为单位，answer type 问句模式: 以选项为单位，question type 时间 地点 术语
多实体、单实体、判断、流程、其他 问句模式: 以选项为单位，question type 事实、因果、比较、关联、图表计算、其他 时间 地点 术语 课本知识点 思维导图知识点 图片类型（可选）

3 标注样例

4 标注结果及分析 南大10人参加标注 28套北京高考及各区模拟试题 共515道选择题，515*4=2060个选项

5 求解目标标注结果统计 判断 386 单实体 83 多实体 36 流程 9 其它 1

6 求解目标标注结果分析 与题面的关联分析（基于lasso特征选择模型的关键字提取算法）

7 问句模式标注结果统计 事实：349 因果：120 比较：100 图表计算：32 关联：19 其他：2

8 问句模式（标注错误） 问句模式为“其它”的题： 按照约定，上述题面不需要单独标问句模式，这里应该是误标

9 问句模式标注结果分析 与题面的关联分析：

10 时间词标注 数量：251 我们将时间词整理为9类，识别优先级如下： cycle：周期类 period：时间段
season：季节（包括部分节气） timep：不同粒度的时间点 cond：有条件的时间 stage：某期间或某时期 frame：一天中的某时段 ref：虚拟指代的时间 other：其他

11 时间词分析 cycle 规则： 表达式中包含"每" 数量：5 例子：

12 时间词分析 period 规则： 数量：42 例子：

13 时间词分析 season 规则： 数量：29 例子： 特殊： 表达式中包含"春"“夏”“秋”"冬"中的至少一个
夏季，春，秋冬，春季，冬季，秋冬季 特殊： 夏至日 冬夏之交

14 时间词分析 timep 规则： 数量：116 例子： 特殊： 表达式中包含"年"“月”“日”中至少一个，并且有数字（中文或阿拉伯数字）
包含“时”，并且前一个字符为数字 包含“点”，并且前一个字符为数字 包含“：”或":"（时分秒） 包含"/"（年月日） 数量：116 例子： 特殊： 年复一年 此日后20天 3、4月 近20年来 2300万年前

15 时间词分析 cond 规则： 表达式以“时”或“后”结束 数量：11 例子： 特殊： 2小时后 此时

16 时间词分析 stage 规则： 数量：10 例子： 特殊： 图示时期 甲时期 （上述两个是否应该算入ref虚拟指代时间词中？）

17 时间词分析 frame 规则： 数量：9 例子： 表达式包含这些词中的某一个：
[u"傍晚",u"早晨",u"昼",u"夜",u"上午",u"中午",u"下午",u"晚上",u"夜晚",u"黎明",u"深夜",u"午间",u"日出",u"日落"] 数量：9 例子：

18 时间词分析 ref： 规则： 表达式包含“某”“该”“当”“此”中的一个 数量：6 例子：

19 时间词分析 other 没有被分到上述8类的其它时间表达式 数量：23 例子：

20 地点词统计 数量：1019 8类，识别优先级如下： lonlat：包含经纬度的地点 ref：虚拟指代的地点
adregion：行政区域，国家、省、市、县等等 station：XX站 special：XX平原、高原等，包括特例"公园" area：XX区 direction：包含方位词 other：其它

21 地点词分析 lonlat 规则： 数量：36 例子： 包含"°"或者“北纬”“南纬”“东经”“西经” 90ºE
乌鲁木齐（44°N,88°E） (20°, 127°) 北纬35°～40° 西经170°附近 北纬50°

22 地点词分析 ref 规则： 数量：215 例子： 包含“甲”“乙”“丙”“丁”中至少一个 或，包含①②③④⑤⑥中至少一个 或，包含字母
或，包含“某”“图示”“该”“此”“图中”“图+<数字>”中至少一个 数量：215 例子：

23 地点词分析 adregion 规则： 数量：322 例子： 特殊： 以“省”“市”“国”“县”“自治区”结尾
一个手工编辑的地名过滤列表（仅适用于目前收集的地名） 数量：322 例子： 海口 北京市 江苏省 荷兰 特殊： 苏、皖、浙、闽四省 我国 江苏省和陕西省 两省 各省 我国部分城市

24 地点词分析 station 规则： 以“站”结尾 数量：11 例子：

25 地点词分析 special 规则： 数量：204 例子： 特殊：
[u"平原",u"高原",u"流域",u"海域",u"山脉",u"山",u"山系",u"盆地",u"河",u"江",u"谷地",u"三角洲",u"岛",u"板块",u"山地",u"洲",u"洋",u"湖",u"海",u"海峡",u"湿地",u"板块",u"草原",u"渔场",u"角",u"岭",u"峰",u"山区",u"丘陵",u"瀑布",u"港",u"公园"] 以上面的词中的某一个结尾 数量：204 例子： 特殊： 与其他洋流交汇的海域 沿海 日本近海 云南山区

26 地点词分析 area 规则： 数量：61 例子： 特殊： 以“区”结尾 我国两个地区 沿线地区 途经地区 地震重灾区 Ⅰ区
同纬度大陆东岸地区

27 地点词分析 direction（该类型比较杂乱） 规则： 数量：89 例子：
包含“东”“南”“西”“北”“中部”“中心”“沿岸”中的某一个词，并且不在排除列表中（一些包含这些词的地名，例如“西双版纳”） 数量：89 例子： 向北 位置偏北 东北 东南季风的迎风坡 自南向北 南极 南半球 南水北调中线 东亚 西北太平洋洋面 地中海沿岸 城市中心 欧洲中部 秦岭北坡和南坡 东、西两侧

28 地点词分析 other： 规则：不属于上述7类 数量：91 例子： 近地轨道 火星 地面 北京市专业气象台 陆地
广东石门谷（比较常见，地名+地名） 中缅天然气管道沿线 印度洋水汽通道上（比较常见，地名+“上”） 快速公路交汇处 背风坡 肯斯瓦特大型水利枢纽 暖温带 城市外围 京津冀 山麓地带 日界线附近 低纬度

29 术语标注 记： T的大小：1547 A的大小：19031 A与T交集的大小：632 A与T的交集占T的比例：40.85%
T：手工标注的术语集合（文件term_tag.txt） A：之前收集的术语集合 （另外，T中不属于A的术语在文件term_diff.txt中） T的大小：1547 A的大小：19031 A与T交集的大小：632 A与T的交集占T的比例：40.85% A与T的交集占A的比例：3.32%

30 术语标注 手工标注并且不属于收集的术语集合的术语：

31 思维导图知识点标注结果 标注存在的问题： 标注不规范，有同学从每页上方的章节标题开始标，应该是从思维导图树状图的的根节点开始标
有一些非思维导图的知识点，例如“读图”“读表” 错字、漏字 共出现35个不标准的根知识点

32 思维导图知识点分布 符合规范的标注统计结果（只统计根知识点的分布情况）：

33 思维导图知识点分布 不同出现频率的知识点的分布：

34 思维导图知识点标注结果分析 未出现过的根知识点： 旅游与区域发展 宇宙 工业地狱的形成与发展 世界主要国家

35 思维导图知识点标注分析 与题面的关联分析：

36 课本知识点 课本知识点总条数：921 按照课本划分：

37 课本知识点标注结果 按照章划分，出现频率前10为：

38 课本知识点标注结果 没有节信息的知识点标注条数：59，占总数的6.4% 按照节划分，出现频率前10为：

39 课本知识点标注结果分析 与题面的关联分析：

40 图片类型 共出现144个图片标注 共出现107种不同的图片标注 存在的问题：
有的同学用逗号或顿号分隔了一个标注，有的是描述同一张图，有的是描述不止一张图，这里没有统一 统计的时候，按整条标注作为一个图片类型

41 图片类型分布 经过抽象，我们依据标注结果将图片主要可分为如下几类： 示意图：27 地形图：15 分布图：10 经纬：10 等值线图：8
地图：8 柱状图：7 曲线：7 统计图：6 折线图：4 剖面图：4 过程：3 其他：35

42 图片类型 其他类型举例： 表格 照片 时间图 循环图 交通图 线路图 结构图 散点图 轨迹图 检测图 天气图 饼图 趋势图 ...

43 后续工作 Web-UI annotator Question representation