空间元素抽取及其 关系识别 施林锋 2019.01.17
ISO-Space再认识 Place vs Path Spatial Entity Place:泛指一般的地理实体、行政区划 指代:it,there,here Path:泛指一般的路径,区域之间的边界 Road,river,Route 66 两者没有明确的区分,Guideline中提到 ‘at’ ‘in’ both Place && Path Only ‘take’ or ‘follow’ Path Spatial Entity 泛指除了Place和Path以外的和空间相关的对象 占据空间中的某个区域;参与到某个具体的Link中 通常是移动的或者有潜在移动可能的 [John] arrived at the [car] The [tower] toppled when it was struck by lightning. Place:id,dimension(line,area,point),form(nam,nom),elevation,modify,countable,dcl
ISO-Space再认识 Motion vs Nonmotion_event 都是TimeML定义的事件,通常情况下为动词 每个Motion都至少关联一个MLink John [biked] from Virginia to Oregon. I [spent] a few days in Colon for looking for a boat to Colombia.
模型优化 Double Embedding Convolutional neural network 为了体现任务的特殊性,训练一个领域相关的词向量 词向量由两部分构成 通用词向量:Glove 或 Google word2vec 领域词向量:SpaceEval训练数据 + word2vec Convolutional neural network 有效的提取句子的局部特征 结合RNN,丰富最终的特征表示
实验结果 10 experiments Average F1 ± std Method F1 Origin (CNNs-BiLSTM-CRF) 72.64 ± 0.37 Origin + CNN 73.11 ± 0.27 Origin + Double Embedding 72.91 ± 0.38 Origin + CNN + Double Embedding 73.08 ± 0.64
后处理 哪里可以改进 Place和Path,和上下文更无关些,部分实际存在地点 可以直接通过地名检索的方式得到,且模型可能不会 预测 Motion, Nonmotion event, Spatial entity都是强上下文 依赖,情况复杂,后处理设计规则容易导致规则泛化 性差的情况 一些简单的断言:如果句子中只有一个Spatial Entity, 则可以断定为错误预测
后处理 – Place & Path 模型预测结果 + Geonames地名词典 方法 Without-Tune 73.11 ± 0.27 Tune 73.37 ± 0.33 模型预测结果 + Geonames地名词典 提高Place和Path的召回率 Geonames约有1100w地点(加上alternames约2500w) 方法 枚举n-gram(枚举对象是模型预测tag为O的token) 检索Geonames词典(Hash [Bloom filter] 或 Lucene) 根据feature class判断Path(T, H, R)或Place(其他) E.x. The Vosges Mountains and the Black Forest are … 模型没有预测出Black Forest是一个空间实体 通过Geonames做出补充标记 问题 Geonames中有不少特殊地点,”We, Lucky, …” 引入一个common words列表,新的地点必须满足不出现 在列表中 T: mountain, hill H: stream, lake, river R: road, railroad
To Do 关系识别 QSLink OLink Mlink Q&A
模型示意图 Boston is north of New York …… Word Representation … BiLSTM CNN 字向量表示 通用词向量 领域相关词向量 + Word Representation LSTM Forward Backward … BiLSTM Filter_1 Filter_2 CNN B-PLACE O I-PLACE CRF 模型示意图