Representation Learning of Knowledge Graphs with Hierarchical Types

Presentation on theme: "Representation Learning of Knowledge Graphs with Hierarchical Types"— Presentation transcript:

1 Representation Learning of Knowledge Graphs with Hierarchical Types
Ruobing Xie, Zhiyuan Liu, Maosong Sun 2016/05/22

2 Outline Introduction Method Experiments Summary

3 Outline Introduction Method Experiments Summary

4 What is knowledge graph?

5 知识图谱：抽取世界的知识，对世界进行结构化建模
将世界上具象的事物与抽象的概念表示为实体 利用实体之间的关系构造知识网络，形成知识图谱 意义：知识推理、QA、搜索等

6 write 知识图谱的基本构成单元：三元组

7

8 Hierarchical types 定义 重要性
1、Entity可能有多个type（一条路径），type之间有层次信息，每一个节点作为sub-type 2、Entity在不同的triple中可能表现出不同的type属性

9 Outline Introduction Method Experiments Summary

10 Translation-based method
Project entities and relations into a continuous low-dimensional vector space Consider relations as translating operations between head and tail entities TransE 1、实体与关系表示为低维空间中的向量 2、基于假设：triple中实体关系之间使用h+r=t进行表示

11 Enhanced energy function
与以前transE相比增加了矩阵 1、Entity在不同的triple中可能表现出不同的type属性，通过矩阵进行映射 2、矩阵表示当前relation下entity应该属于的type的映射矩阵 3、各个type对应的映射矩阵是基于层次结构的

12 Hierarchical type encoders
Recursive Hierarchy Encoder (RHE) Weighted Hierarchy Encoder (WHE) 将层次结构中的节点看做sub-type RHE：通过子类的矩阵连乘 WHE：通过子类的矩阵加权和

13 Hierarchical type encoders
物理意义 RHE：层层递进，先映射到粗粒度空间（比如莎士比亚->人），然后映射到细粒度空间（比如->作者） WHE：平衡子类的权值

14 Objective Formalization
Margin-based score function with negative sampling 训练目标 Margin-based：希望正例得分比负例得分低gama

15 Type constraints Soft type constraints in training (STC)
improve the probability of selecting entities which have the same types when negative sampling Type constraints in evaluation (TCE) remove all candidates which don’t follow the type constraints in evaluation Type信息不仅可以帮助构建映射矩阵，也可以作为类别限制使用 STC：在训练中，negative sampling选取负例时进行类别限制，提高同类别被选作负例的概率 TCE：测试时除去不符合类别限制的候选实体

16 Soft type constraints William Shakespeare The Great Wall
STC原因：我们发现之前KC等任务中，错误的通常都是同类词 STC： 1、在训练中，negative sampling时选取负例，选择和替换前的entity同类的负例，这样能够将本来意思相近，容易混淆的实体学习得更加精确 2、当然，这样可能同类词的聚类现象就不那么容易了，需要平衡，所以我们提出STC，按照一定比例提升 William Shakespeare Jane Austen

17 Outline Introduction Method Experiments Summary

18 Datasets FB15k: A typical KG dataset extracted from Freebase (Bordes et al., 2013) FB15k+: A new dataset based on FB15K with low-frequency relations

19 Evaluation results on entity prediction
0、任务，knowledge completion，给出头实体和关系，预测尾实体 1、hierarchical type信息作为映射矩阵能够提升 2、type信息作为type constraints也能提升

20 Evaluation results on entity prediction with TCE
1、包括baseline的方法使用TCE都得到提升 2、我们的方法仍然是最佳，进一步证明方法的鲁棒性

21 Evaluation results on long-tail distribution
1、在任何频次段上都比baseline高 2、在长尾低频段效果更加突出

22 Outline Introduction Method Experiments Summary

23 Summary We encode hierarchical type information into knowledge representation learning Type information, either in form of projection matrices or type constraints, could provide significant supplements for KRL It works especially in long-tail distribution

24 Thanks