Wentao Ding Linfeng Shi Jiajie Yu NP in WikiAnswers-OQA Wentao Ding Linfeng Shi Jiajie Yu
数据集情况 14450个问题(来自于人类用户) 36608个NP(其中789个实体?) Without Entity Annotation NP: CoreNLP (The Shift-Reduce Constituency parser) Entity Annotation: AIDA (+lexicon识别mention) Without Entity Annotation 168个基本结构,高频(10次及以上,下同)36个 369细分结构,高频82个 With Entity Annotation 168个基本结构,高频36个 369个细分结构,高频82个
符号说明 名词符号 其他符号 NP=名词短语 NN=一般名词(含符号,外语字)/ NN+=连续的名词序列 NUM=数值(包括量词短语) TM=时间 -$:所有格 其他符号 VB=动词/动词短语,VBG=现在分词,VBN=过去分词 ADJ=形容词(比较级/最高级/短语) ADV=量词(比较级/最高级/短语) IN=介词 DT=冠词/前置限定词 CC=连词(连词短语) 句首句尾的符号一律清除
基本结构(无实体) 模式 数量 比例 说明 NN 22134 58.8% 连续的名词序列 ADJ NN 5306 14.5% (a) Political cartoonist NP PP 4803 13.1% NP [of/with/on NP] NP NN 625 1.7% [NCAA] [division] NP S 604 1.6% 从句 名词+句子(错误率高) NN CC NN 362 1.0% N1 ”and”/”or” N2 NP CC NP 335 0.9% 同上 NP NP 308 0.8% [political cartoonist] [Thomas Nast] NN ADJ NN 292 One’s ADJ 252 0.7% 只有形容词,可能错 NP VB 241 NP [to ] 错误率高 [[JD] [been nominated for]] NP ADJ NN 179 0.5% 类似NN ADJ NN EX 164 0.4% “There” DT 85 0.2% 只有冠词,可能错 模式 数量 比例 说明 NP ADJ 80 0.2% Screen wash pump on [[vauxhall astra] [not working]]? NN ADJ 68 类似上类, [egg] [white] VBG NN 58 Developing country VBN NN 51 0.1% Developed country NN PP 49 类似NP PP ADJ NN CC NN 41 ADJ NP 类似ADJ NN NN NP 38 类似NP NP NN S 36 类似NN S NP ADVB 类似NP ADJ NP PP PP 34 可能错 NP PP S 30 类似NP S ADV 29 只有副词,可能错 WP 23 Wh-代词 ADV NN 21 ADV ADJ NN 20 ADJ NN
细分结构(无实体) 模式 数量 比例 模式 数量 比例 模式 数量 比例 NN 9376 25.6% NN+ 2960 8.1% NN$ 167 0.5% NP NN 480 1.3% NP NN+ 72 0.2% NP NP 308 0.8% PN 6565 17.9% PN NN+ 90 NN PN 49 0.1% PN NN 443 1.2% PN$ 501 1.4% NP PP 4799 13.1% NN PP ADJ NN 3932 10.7% NUM ADJ NN 77 ADJ NN+ 778 2.1% ADJ NN$ 108 0.3% ADJ PN 83 ADJ NUM 35 ADJ NP 41 模式 数量 比例 NUM 558 1.5% NN NUM 66 0.2% PN NUM 122 0.3% NUM NN 512 1.4% NUM NN+ 90 NUM PN 63 PN$ NN 416 1.1% PN$ ADJ NN 75 PN$ NN+ 57 ADJ 248 0.7% NP S 602 1.6% NP CC NP 335 0.9% NN CC NN 153 0.4% PN CC PN 82 NP VB 240 EX 164 NP ADJ NN 158 DT 85 NP ADJ 78 VBG NN 55 模式 数量 比例 PN ADJ NN 47 0.1% ADJ PN NN 45 NN CC NN+ 42 NUM PN NN NN ADJ 41 NN+ NUM VBN NN 38 NN S 36 NP ADVB NP PP PP 34 NP PP S 30 ADV 29 NN NP 26 NUM CC NUM 24 WP 23 ADJ NN CC NN NUM ADJ NN+ NP NN$ 21 ADJ NUM NN 20 NP PN