知识表示学习（知识表征）

1 知识表示学习的定义

知识表示学习是将知识库中的知识表示为低维稠密的实体向量，即Embedding。知识图谱是由实体和关系组成，通常采用三元组的形式表示，【head(头实体)，relation(实体的关系)，tail(尾实体)】，简写为(h，r，t)。知识表示学习任务就是学习h，r，t的分布式表示（也被叫做知识图谱的嵌入表示(embedding)）。

2 知识表示学习的方法

目前，知识表示学习方法从实现形式上可以分为两类：基于结构的方法和基于语义的方法。基于结构的嵌入表示方法包括TransE，TransH，TransR&CTransR，TransD等，这类方法从三元组的结构出发学习知识图谱的实体和联系的表示；基于语义的嵌入表示方法包括LFM, DistMult, ComplEx, ANALOGY, ConvE等，这类方法从文本语义的角度出发学习KG的实体和联系的表示。

2.1 基于结构的方法

Trans系列模型汇总

1.     TransE, NIPS2013, Translating embeddings for modeling multi-relational data

2.     TransH, AAAI2014, Knowledge graph embedding by translating on hyperplanes

3.     TransR, AAAI2015, Learning Entity and Relation Embeddings for Knowledge Graph Completion

4.     TransD, ACL2015, Knowledge graph embedding via dynamic mapping matrix

5.     TransA, arXiv2015, An adaptive approach for knowledge graph embedding

6.     KG2E, CIKM2015, Learning to represent knowledge graphs with gaussian embedding

7.     TransG, arXiv2015, A Generative Mixture Model for Knowledge Graph Embedding

8.     TranSparse, AAAI2016, Knowledge graph completion with adaptive sparse transfer matrix

Trans系列模型的详解

   

2.2 语义匹配模型

2.2.1 LFM（Latent Factor Model）

LFM利用基于关系的双线性变换，刻画实体和关系之间的二阶联系。协同性较好，计算复杂度低。

Jenatton R, Roux N L, Bordes A, et al. A latent factor model for highly multirelational data. NIPS. 2012: 3167-3175.

2.2.2 DistMult

DistMult将LFM中关系的表示矩阵限制为对角矩阵，这种简化极大降低了模型的复杂度，模型效果反而得到显著提升。

Yang B, Yih W, He X, et al. Embedding entities and relations for learning and inference in knowledge bases. arXiv preprint arXiv:1412.6575, 2014.

2.2.3 ComplEx

为了更好的对非对称关系建模，ComplEx将DistMult中的实体和关系的表示扩展到复数向量空间中，即向量的每一维是复数，而不再是实数。得分函数如下，Re(x)是取x的实部：

Trouillon T, Welbl J, Riedel S, et al. Complex embeddings for simple link prediction. International Conference on Machine Learning. 2016: 2071-2080.

2.2.4 ANALOGY

ANALOGY对知识图谱中的类比关系进行建模，例如：太阳系中的太阳之于行星正如原子系统中的原子核之于核外电子。得分函数同LFM：

Liu H, Wu Y, Yang Y. Analogical inference for multi-relational embeddings. Proceedings of the 34th International Conference on Machine Learning-Volume 70. JMLR. org, 2017: 2168-2178.

2.2.5 ConvE

ConvE利用卷积神经网络捕获实体间的语义关联（W是卷积核（多个），W是映射矩阵）：

Dettmers T, Minervini P, Stenetorp P, et al. Convolutional 2d knowledge graph embeddings. AAAI. 2018.

 

3 评测数据集

3.1 WordNet：是最著名的词典知识库，拥有极高准确率的本体知识，主要用于词义消歧。其主要定义了名词、动词、形容词和副词之间的语义关系。例如名词之间的上下位关系（如："猫科动物”是“猫”的上位词），动词之间的蕴含关系（如："打鼾"蕴含着"睡眠"）等。

3.2 Freebase：Freebase 将 WordNet 与  Wikipedia  二者的知识结合，即利用WordNet的本体知识补充 Wikipedia中实体的上位词知识，从而获取大规模高质量、高覆盖的知识库。其数据基于RDF三元组模型，底层采用图数据库进行存储。

3.3 YAGO：YAGO 是一个综合型知识库，整合了 Wikipedia、WordNet 以及 GeoNames (全球地理数据库)等数据源，特别是将维基百科中的分类体系与 WordNet 的分类体系进行了融合，构建了一个复杂的类别层次结构体系。

4 评测方法

4.1 链接预测

知识图谱中的链接预测指预测含有普通关系的三元组中丢失的头实体或尾实体。预测结果是候选实例根据损失值排名的清单，而不直接给出最匹配的实例。

评测标准通常使用以下两种：

•  MRR：所有正确实例排名的倒数的平均值；

•  Hits@N：正确实例的排名中不大于 N 的比例。

4.2 三元组分类：

知识图谱中的三元组分类示一个二分类问题，其是判断给定的三元组是否是知识图谱中真实存在的。

评测标准通常使用评测标准使用准确率(Accuracy)、精确率(Precision)、召回率(Recall) 和F-score值。

合智互联客户成功服务热线：400-1565-661