第四范式NeurIPS 2020 常识图谱嵌入的智能化

这项钻研受神经架构搜查（NAS）的启示，提出将 Interstellar 作为一种处置相关门路中消息的循环架构。此外，该钻研中的新型混合搜查算法打破了 stand-alone 和 one-shot 搜查方法的局限，并且有宿愿运行于其余具备复杂搜查空间的畛域。

视频链接：

常识图谱嵌入（Knowledge Graph Embedding）目前在学习常识图谱（KG）中的常识表白上具备很强的才干。在以往的钻研中，很多上班关键针对单个三元组（triplet）建模，但是对 KG 而言，三元组间的长链依赖消息在一些义务上也很关键。

在第四范式、香港科技大学这篇被 NeurIPS 2020 会议接纳的论文中，钻研者基于由三元组组成的相关门路（relational path）提出 Interstellar 模型，经过搜查一种递归神经网络，来处置相关门路中的短链、长链消息。

论文链接：

代码链接：

首先，该钻研经过一组模拟试验剖析了用繁多模型对不同义务中相关门路建模的难度，并由此提出经过搜查的形式对不同义务针对性地建模。为了提高搜查效率，该钻研提出了一种混合搜查算法（hybrid-search algorithm），在链接预测（link prediction）和结点婚配（entity alignment）义务上，能高效地搜查到具备更好成果的模型。

背景引见

常识图谱嵌入（KG Embedding）旨在把图谱中的结点（entities）和相关（relations）映射到一个低维空间，同时保管图中的关键性质。在目前学术畛域，一些上班基于单个三元组(s,r,o)建模，如 TransE、RESCAL、DistMult、RotatE、ConvE、SimplE 等，它们在链接预测义务（即给定头结点 s 和相关 r ，预测尾结点 o ）上体现良好，而在结点婚配义务（即给定两个 KG，预测哪些结点有相反含意）上功能普通。另一类基于相关门路的上班，如 IPTransE、Chains、RSN 等则在结点婚配义务上体现更好。

钻研人员观察到，相关门路蕴含多种关键消息，如单个三元组的短链消息、多个相关的复合、多个三元组之间的长链消息等等。基于此，该钻研提出 Interstellar 模型，经过搜查的形式来依据不同义务，有针对性地对相关门路启动建模。

动机

为了验证不同模型对不同义务的拟合才干不同，钻研人员设计了一组模拟试验。Countries 数据集有 S1-S3 三个不同义务，预测难度逐个增大，须要模拟的预测门路逐突变长。为此钻研者基于先验常识（prior knowledge）设计了 4 类形式 P1-P4，区分用于建模单个三元组、延续的两个三元组、多重相关的复合，以及全递归衔接。直观上看，P4 的建模才干更强，但在有限的样本上，样本复杂度雷同关键，选用更能拟合数据法令的模型能够取得更好的成果。

如下表所示，在 S1 这个便捷义务上，基于单个或两个三元组的模型 P1 和 P2 体现更好，在 S2 上 P1-P3 均优于 P4，而在 S3 上，递归模型 P4 因为能模拟更长门路而胜出。由此咱们可以得出， 相关门路上的建模应该是模型相关的，假设咱们能够经过搜查的形式把专家的先验常识融入到建模才干中，那么针对不同义务，模型就可以智能地找到更优解。

疑问定义与搜查空间

首先，钻研者将 Interstellar 定义为一个递归式地处置相关门路的模型，在每一个递归步中，模型关注到一个三元组，消息在三元组之内、之间以不同形式穿越。与传统 RNN 不同，这里的每一步有两个输入，同时因为须要思索常识图谱相关的畛域常识，单纯地经常使用 RNN 对其建模是不适合的。为了应用好常识图谱畛域的先验常识，同时使模型可以实用于不同义务，受神经网络搜查技术（Neural Architecture Search）的启示，该钻研把建模疑问定义为搜查疑问，来自顺应地对不同义务建模。

经过对常识图谱嵌入畛域相关模型的总结，该钻研提出上图的搜查空间，应用运算单元 O_s 来处置结点嵌入 s_t ，用 O_r 来处置相关嵌入 r_t ，用 O_v 来输入向量 v_t 从而预测下一个结点 s_t+1 。详细而言，该钻研在 macro-level 搜查不同单元间的衔接形式（connections）和复合形式（combinators），在 micro-level 搜查激活函数（activation）与权重矩阵（weight matrix）。

搜查算法

该钻研的指标是更快地在搜查空间中找到能在验证集上到达更好功能的模型，这可以经过 bi-level 优化形式来定义。为了求解这个优化疑问，学术界目前有两类方法。一类是 stand-alone 算法，对每个模型独自训练参数 F 至收敛，这样可以失掉准确的功能评价 Μ ，但训练代价较高；另一类是 one-shot 算法，建设一个蕴含一切网络的超网络（supernet），不同模型在超网络中采样，同时可以参数共享，这样的评价形式更高效，但不总能保障牢靠性。钻研人员观察到在 Interstellar 的建模上，one-shot 形式并无法靠。

为了处置这些疑问，该钻研提出 Hybrid 搜查算法，在 macro-level 驳回 stand-alone 形式，给定 α_2 ，从 Α_1 中采样不同的 α_1 ，训练模型参数至收敛，拿到对 α_1 的牢靠评价；在 micro-level 驳回 one-shot 形式，给定 α_1 ，从 Α_2 中采样不同的 α_2 ，同时让不同 α_2 对应的模型在超网络中共享参数，减速训练评价的环节。二者结合，即保障了搜查准确性，又保障了搜查效率。

试验结果

在搜查成果上，该方法在结点婚配和链接预测义务中，都能针对不同数据义务搜查到更好的模型，这得益于 Interstellar 上正当的搜查空间和高效的搜查算法。

在搜查效率上，Hybrid 算法能够比随机搜查（Random）、强化学习（Reinforce）、贝叶斯优化（Bayes）算法更快地失掉更好的模型，同时下图中的两条虚线（示意独自的 one-shot 算法）标明其在这个疑问上功能并不好。在搜查期间上，Hybrid 算法和调参（如 learning rate、batch size 等参数）期间是相当的，说明这个搜查方法代价并不高。在新的疑问中，先搜查模型再启动调参是一个不错的选用。