面向介绍的汽车常识图谱构建

背景

1、引言

常识图谱的概念，最早由 Google 在2012 年提出， 旨在成功更智能的搜查引擎，并在2013年之后开局在学术界和工业级遍及。目前，随着人工智能技术的高速开展，常识图谱已宽泛运行于搜查、介绍、广告、风控、智能调度、语音识别、机器人等多个畛域。

2、开展现状

常识图谱作为人工智能的外围技术驱能源，能缓解深度学习依赖海量训练数据、大规模算力的疑问，它能够宽泛适配不同的下游义务，且具备良好的解释性，因此，环球大型互联网公司都在踊跃部署本企业的常识图谱。

例如2013年Facebook颁布Open Graph，运行于社交网络智能搜查；2014年百度推出的常识图谱，关键运行于搜查、助理、及toB商业场景；2年阿里推出的商品常识图谱，在前端导购、平台控制和智能问答等业务上起到关键作用；腾讯于2017年推出的腾讯云常识图谱，有效助力于金融搜查、实体危险预测等场景；美团于2018年推出的美团大脑常识图谱，曾经在智能搜查介绍、智能商户运营等多个业务中落地。

3、指标及收益

目前，畛域图谱关键集中在电商、医疗、金融等商业畛域，而关于汽车常识的语义网络及常识图谱构建缺少系统性的指点方法。本文以汽车畛域常识为例，围绕车系、车型、经销商、厂商、品牌等实体及相互相关，提供一种从零搭建畛域图谱的思绪，并对搭建常识图谱中的步骤及方法启动了详细说明，以及引见了基于本图谱的几个典型落地运行。

其中，数据源驳回汽车之家网站，汽车之家是由导购、资讯、评测、口碑等多个板块组成的汽车服务类平台，在看、买、用等维度积攒了少量的汽车数据，经过构建常识图谱把以汽车为外围的内容启动组织和开掘，提供丰盛的常识消息，结构化精准描写兴味，支持介绍用户冷启、召回、排序、展现等多个维度，给业务优化带来成果。

二、图谱构建

1、构建的应战

常识图谱是实在环球的语义表示，，其基本组成单位是【实体-相关-实体】，【实体-属性-属性值】的三元组（Triplet），实体之间经过相关相互结合，从而构成语义网络。图谱构建中会面临较大的应战，但构建之后，可在数据剖析、介绍计算、可解释性等多个场景展现出丰盛的运行价值。

构建应战：

收益：

2、图谱架构设计

技术架构关键分为构建层、存储层及运行层三大层，架构图如下：

3、详细构建步骤及流程

依据架构图，详细构建流程可分为四步：本体设计、常识失掉、常识入库，以及运行服务设计及经常使用。

3.1 本体构建

本体（Ontology）是公认的概念汇合， 本体的构建是指依据本体的定义，构建出常识图谱的本体结构和常识框架。

基于本体构建图谱的要素关键有以下几点：

依照常识的笼罩面来看，常识图谱可以划分为通用常识图谱和畛域常识图谱，目前通用常识图谱已有较多案例，例如Google的Knowledge Graph、微软的Satori和Probase等，畛域图谱则为金融、电商等详细行业图谱。通用图谱更器重广度，强调融合更多的实体数量，但对准确度的要求不高，很难借助本体库对公理、规定及解放条件启动推理和经常使用；而畛域图谱的常识笼罩范围较小，但常识深度更深，往往是在某一专业畛域上的构建。

思索对准确率的要求，畛域本体构建多偏差于手工构建的方式，例如代表性的七步法、IDEF5方法等[1]，该类方法的外围理想是，基于已有结构化数据，启动本体剖析，将合乎运行目的和范围的本体启动演绎及构建，再对本体启动优化和验证，从而失掉初版本体定义。若想失掉更大范围的畛域本体，则可以从非结构化语料中补充，思索手工构建环节较大，本文以汽车畛域为例，提供一种半智能本体构建的方式，详细步骤如下：

上述方法可有效应用BERT等深度学习的技术，更好地捕捉语料间的外部相关，经常使用聚类分档次对本体各模块启动构建，辅以人工干预，能够极速、准确的成功初步本体构建。下图为半智能化本体构建示用意：

应用本体构建工具[2]，可以启动本体概念类、相关、属性和实例的构建，下图为本体构建可视化示例图：

本文将汽车畛域的顶层本体概念划分为三类，实体、事情及标签体系：

1）实体类代表特定意义的概念类实体，包括词汇实体和汽车类实体，其中汽车类实体又包括组织机构和汽车概念等子实体类型；

2）标签体系代表各个维度的标签体系，包括内容分类、概念标签、兴味标签等以物料维度描写的标签；

3）事情类代表一个或多个角色的主观理想，不同类型事情间具备演化相关。

可以导出不同类型的Schema性能文件，其中owl.xml结构性能文件如下图所示。该性能文件可间接在MYSQL、JanusGraph中加载经常使用，成功智能化的创立Schema。

3.2 常识失掉

面向不同类型的数据源，常识抽取触及的关键技术和须要处置的技术难点有所不同。

3.2.1 结构化常识转模

结构化数据是图谱最间接的常识起源，基本经过初步转换就可以经常使用，相较其余类型数据老本最低，所以普通图谱数据优先思索结构化数据。结构化数据或许触及多个数据库起源，通常须要经常使用ETL方法转模，ETL即Extract（抽取）、Transform（转换）、Load（装载），抽取是将数据从各种原始的业务系统中读取进去，这是一切上班的前提；转换是依照预先设计好的规定将抽取的数据启动转换，使原本异构的数据格局可以一致同来；装载是将转换完的数据按方案增量或所有导入到数据仓库中。

经过上述ETL流程可将不同源数据落到两边表，从而繁难后续的常识入库。下图为车系实体属性、相关表示例图：

车系与品牌相关表：

3.2.2三元组抽取

除了却构化数据，非结构化数据中也存在着海量的常识（三元组）消息。普通来说企业的非结构化数据量要远大于结构化数据，开掘非结构化常识能够极大拓展和丰盛常识图谱。

三元组抽取算法的应战

疑问1：单个畛域内，⽂档内容和格局多样，须要⼤量的标注数据，老本⾼

疑问2：畛域之间迁徙的成果不够好，跨畛域的可规模化拓展的代价⼤

模型基本都是针对特定⾏业特定场景，换⼀个场景，成果会发生显著降低。

处置思绪，Pre-train+ Finetune的范式，预训练：重量级底座让模型“⻅多识⼴”充沛利⽤⼤规模多⾏业的⽆标⽂档，训练⼀个统⼀的预训练底座，增强模型对各类⽂档的表示和了解能⼒。

微调：轻量级⽂档结构化算法。在预训练基础上，构建轻量级的⾯向⽂档结构化的算法，降低标注老本。

针对⽂档的预训练⽅法

现无关于⽂档的预训练模型，假设文本较短的类型，Bert可以齐全编码整篇⽂档；⽽咱们实践的⽂档通常⽐较⻓，须要抽取的属性值有很多是超越1024个字的，Bert进⾏编码会形成属性值截断。

针对长文本预训练方法优势和无余

Sparse Attention的⽅法经过优化Self-Attention，将O(n2)的计算优化⾄O(n)，⼤⼤提⾼了输⼊⽂本⻓度。只管普通模型的⽂本⻓度从512优化到4096，然而照旧不能齐全处置截断⽂本的碎⽚化疑问。百度提出了ERNIE-DOC[3]经常使用了Recurrence Transformer方法，通常上可以建模⽆限⻓的⽂本。因为建模要输⼊一切的⽂本消息，耗时⾮常⾼。

上述两种基于⻓⽂本的预训练⽅法，都没有思索⽂档特性，如空间(Spartial)、视觉(Visual)等消息。并且基于⽂本设计的PretrainTask，全体是针对纯⽂本进⾏的设计，⽽没有针对⽂档的逻辑结构设计。

针对上述无余这里引见一种⻓⽂档预训练模型DocBert[4],DocBert模型设计：

使⽤⼤规模（百万级）⽆标注⽂档数据进⾏预训练，基于⽂档的⽂本语义(Text)、版⾯消息(Layout)、视觉特色(Visual)构建⾃监视学习义务，使模型更好地理解⽂档语义和结构消息。

1.Layout-Aware MLM：在Mask语⾔模型中思索⽂本的位置、字体⼤⼩消息，成功⽂档规划感知的语义了解。

2.Text-ImageAlignment：融合⽂档视觉特色，重建图像中被Mask的⽂字，协助模型学习⽂本、版⾯、图像不同模态间的对⻬相关。

3.TitlePermutation：以⾃监视的⽅式构建题目重建义务，增强模型对⽂档逻辑结构的了解能⼒。

4.SparseTransformer Layers：⽤Sparse Attention的⽅法，增强模型对⻓⽂档的处置能⼒。

3.2.3 开掘概念，兴味词标签，关联到车系、实体

除了却构化和非结构化文本中失掉三元组，汽车之家还开掘物料所蕴含的分类、概念标签和兴味关键词标签，并建设物料和车实体之间的关联，为汽车常识图谱带来新的常识。上方从分类、概念标签、兴味词标签来引见汽车之家所做的内容了解局部上班以及思索。

分类体系作为内容描写基础，对物料启动粗粒度的划分。建设的一致的内容体系更多的是基于人工定义的方式，经过AI模型启动划分。在分类方法上咱们咱们驳回了被动学习，关于比拟难分的数据启动标注，同时驳回数据增强，反抗训练，以及关键词融合方式提高分类的成果。

概念标签粒度介于分类和兴味词标签之间，比分类粒度更细，同时比兴味词关于兴味点描写愈加完整，咱们建设了车视线、人视线、内容视线三个维度，丰盛了标签维度，细化了标签粒度。丰盛且详细的物料标签，愈加繁难搜查介绍基于标签的模型优化，且可用于标签外展起到吸援用户及二次引流等作用。概念标签的开掘，结合在query等关键数据上驳回机器开掘方式，并对概括性启动剖析，经过人工review，拿到概念标签汇合，驳回多标签模型分类。

兴味词标签是最细粒度的标签，映射为用户兴味，依据不同用户兴味偏好进可以更好的启动行共性化介绍。关键词的开掘驳回多种兴味词开掘相结合的方式，包括Keybert提取关键子串，并结合TextRank、positionRank、singlerank、TopicRank、MultipartiteRank等+句法剖析多种方法，发生兴味词候选。

开掘进去的词，相似度比拟高，须要对同义词启动识别，须要优化人工的效率，因此咱们也经过聚类启动智能化语义相似识别。用于聚类的特色有word2vec，bert embding等其他人工特色。而后经常使用聚类方法，最后经过人工改过咱们离线发生了一批高品质的关键词。

关于不同粒度的标签还是在物料层面的，咱们须要把标签和车建设起关联，首先咱们区分计算出题目\文章的所属标签，而后识别出题目\文章内的实体，失掉若干标签-实体伪标签，最后依据少量的语料，共现概率高的标签就会标志为该实体的标签。经过以上三个义务，咱们在取得了丰盛且海量的标签。对车系、实体关联上这些标签，会极大丰盛咱们的汽车图谱，建设了媒体和用户的关注车标签。

3.2.4人效优化：

随同着更大规模的训练样本，如何取得更好的模型品质，如何处置标注老本高，标注周期长成为亟待处置的疑问。首先咱们可以经常使用半监视学习，应用海量未标注数据启动预训练。而后驳回被动学习方式，最大化标注数据的价值，迭代选用高消息量样本启动标注。最后可以应用远程监视，施展已有常识的价值，觉察义务之间的相关性。例如在有了图谱和题目后，可以用远程监视的方法基于图谱结构NER训练数据。

3.3 常识入库

常识图谱中的常识是经过RDF结构来启动表示的，其基本单元是理想。每个理想是一个三元组(S, P, O)，在实践系统中，依照存储方式的不同，常识图谱的存储可以分为基于RDF表结构的存储和基于属性图结构的存储。图库更多是驳回属性图结构的存储，经常出现的存储系统有Neo4j、JanusGraph、OritentDB、InfoGrid等。

图数据库选用

经过JanusGraph 与 Neo4J、ArangoDB、OrientDB 这几种干流图数据库的对比，咱们最终选用JanusGraph 作为名目的图数据库，之所以选用 JanusGraph，关键有以下要素：

Janusgraph引见

JanusGraph[5]是一个图形数据库引擎。其自身专一于紧凑图序列化、丰盛图数据建模、高效的查问口头。图库schema 构成可以用上方一个公式来表示：

janusgraph schema =vertex label+edge label+property keys

这里值得留意的是property key通罕用于graph index。

为了更好的图查问性能janusgraph建设了索引，索引分为Graph Index，Vertex-centric Indexes。Graph Index蕴含组合索引(Composite Index)和混合索引(Mixed Index).

组合索引仅限相等查找。（组合索引不须要性能外部索引后端，经过主存储后端支持(当然也可以性能hbase，Cassandra，Berkeley))

举例：

.(, .).().().() .().(, ).(, ) 名字为小明年龄30的节点

混合索引须要ES作为后端索引以支持除相等以外的多条件查问（也支持相等查问，但相等查问，组合索引更快）。依据能否须要分词分为full-text search，和string search

JanusGraph数据存储模型

了解Janusgraph存储数据的方式，有助于咱们更好的应用该图库。JanusGraph 以邻接列表格局存储图形，这象征着图形存储为顶点及其邻接列表的汇合。顶点的邻接列表蕴含顶点的一切入射边（和属性）。

JanusGraph 将每个邻接列表作为一行存储在底层存储后端中。 （64 位）顶点 ID（JanusGraph 惟一调配给每个顶点）是指向蕴含顶点邻接列表的行的键。每个边和属性都存储为行中的一个独自的单元格，准许有效的拔出和删除。 因此，特定存储后端中每行准许的最大单元数也是JanusGraph 可以针对该后端支持的顶点的最小器数。

假设存储后端支持key-order，则邻接表将按顶点 id 排序，JanusGraph可以调配顶点 id，以便对图启动有效分区。 调配 id 使得经常独特访问的顶点具备相对差异小的 id。

查问服务

Janusgraph启动图搜查用的是gremlin言语，咱们提供了一致的图谱查问服务，外部经常使用不用关心gremlin言语的详细成功，驳回通用的接口启动查问。咱们分为三个接口：条件搜查接口，以节点为中心向外查问，和节点间门路查问接口。上方是几个gremlin成功的例子：

输入：

轩逸销量最高，为45767

输入

发现小明和这两篇文章之间有个节点“10万左右”

三、常识图谱在介绍的运行

常识图谱中存在少量的非欧式数据，基于KG的介绍运行有效应用非欧式数据优化介绍系统准确度，进而让介绍系统能到达传统系统所不可到达的成果。基于KG的介绍可以分红以三类，基于KG表征技术（KGE）、基于门路的方法、图神经网络。 本章将从KG在介绍系统中冷启、理由、排序三方面的运行和论文启动引见。

3.1 常识图谱在介绍冷启动的运行

常识图谱能够从user-item交互中建模KG中暗藏的高阶相关,很好地处置了因用户调用有限数量的行为而造成的数据稠密性，进而可以运行在处置冷启动疑问。这一疑问业界也有相关钻研。

Sang 等[6]提出了一种双通道神经交互方法，称为常识图增强的残差递归神经协同过滤（KGNCF-RRN），该方法应用KG高低文的常年相关依赖性和用户项交互启动介绍。

（1）关于KG高低文交互通道，提出了残差递归网络（RRN）来结构基于高低文的门路嵌入，将残差学习融入传统的递归神经网络（RNN）中，以有效地编码KG的常年相关依赖。而后将自关注网络运行于门路嵌入，以捕捉各种用户交互行为的多义。

（2）关于用户名目交互通道，用户和名目嵌入被输入到新设计的二维交互图中。

（3）最后，在双通道神经交互矩阵之上，经常使用卷积神经网络来学习用户和名目之间的复杂相关性。该方法能捕捉丰盛的语义消息，还能捕捉用户与名目之间复杂的隐含相关，用于介绍。

Du Y等[7]提出了一种新的基于元学习框架的冷启疑问处置方案，包括collaborative-aware meta learner和knowledge-awaremeta learner，捕捉用户的偏好和实体冷启动常识。collaborative-aware metalearner学习义务旨在聚合每个用户的偏好常识表示。同样，knowledge-aware metalearner学习义务要在全局泛化不同的用户偏好常识表示。在两个learner的指点下，MetaKG可以有效地捕捉到高阶的单干相关相关和语义表示，可以轻松顺应冷启动场景。此外，作者还设计了一种自顺应义务，可以自顺应地选用KG消息启动学习，以防止模型被噪声消息搅扰。MetaKG架构如下图所示。

3.2 常识图谱在介绍理由生成的运行

介绍理由能提高介绍系统的可解释性，让用户了解生成介绍结果的计算环节，同时也可以解释item受欢迎的要素。用户经过介绍理由了解介绍结果的发生原理，可以增强用户对系统介绍结果的信念，并且在介绍错误的状况下对错误结果愈加宽容。

最早可解释介绍是以模板为主，模板的好处是保障了可读性和高准确率。然而须要人工整顿模板，并且泛华性不强，给人一种重复的觉得。起初开展不须要预设的free-form方式，并且加以常识图谱，以其中的一条门路作为解释，配合标注还有一些结合KG门路的生成式的方法，模型当选用的每个点或边都是一个推理环节，可以向用户展现。最近Chen Z [8]等人提出一种增量多义务学习框架ECR，可以成功介绍预测、解释生成和用户反应集成之间的严密单干。它由两大局部组成。第一局部，增量交叉常识建模，学习介绍义务和解释义务中转移的交叉常识，并说明如何经常使用交叉常识经过经常使用增量学习启动降级。第二局部，增量多义务预测，论述如何基于交叉常识生成解释，以及如何依据交叉常识和用户反应预测介绍分数。

3.3 常识图谱在介绍排序的运行

KG可以经过给item用不同的属性启动链接，建设user-item之间interaction，将uesr-item graph和KG结分解一张大图，可以捕捉item间的高阶咨询。传统的介绍方法是将疑问建模为一个监视学习义务，这种方式会疏忽item之间的外在咨询(例如凯美瑞和雅阁的竞品相关)，并且不可从user行为中失掉协同信号。上方引见两篇KG运行在介绍排序的论文。

Wang[9]等人设计了KGAT算法，首先应用GNN迭代对embedding启动流传、降级，从而能够在极速捕捉高阶咨询；其次，在aggregation时经常使用attention机制，流传环节中学习到每个neighbor的weight，反响高阶咨询的关键水平；最后，经过N阶流传降级失掉user-item的N个隐式表示，不同layer表示不同阶数的衔接消息。KGAT可以捕捉更丰盛、不特定的高阶咨询。

Zhang[20]等人提出RippleNet模型，其关键思维是兴味流传：RippleNet将用户的历史兴味作为KG中的种子汇合(seed set)，而后沿着KG的衔接向外裁减用户兴味，构成用户在KG上的兴味散布。RippleNet最大的优势在于它可以智能地开掘从用户历史点击过的东西到候选东西的或许门路，不须要任何人工设计元门路或元图。

RippleNet将用户U和名目V作为输入，并输入用户U单击名目V的预测概率。关于用户U，将其历史兴味V_{u}作为种子，在图中可以看到最后的终点是两个，之后始终向周围分散。给定itemV和用户U的1跳ripple汇合V_{u_{}^{1}}中的每个三元组\left( h_{i},r_{i},t_{i}\right)，经过比拟V与三元组中的节点h_{i}和相关r_{i}调配相关概率。

在失掉相关概率后，将V_{u_{}^{1}}中三元组的尾部乘以相应的相关概率启动加权求和，失掉用户U的历史兴味关于V的一阶照应，用户兴味由V_{u}转移到o_{u}^{1}，可以计算失掉o_{u}^{2}、o_{u}^{3}...o_{u}^{n}，进而计算失掉U关于item V的特色可以被计算为融合他的一切阶数照应。

四、

综上，咱们关键围绕介绍，引见了图谱构建详细流程，对其中的艰巨和应战做出了剖析。同时也综述了很多关键的上班，以及给出了详细的处置方案，思绪以及倡导。最后引见了包括常识图谱的运行，特意在介绍畛域中冷起、可解释性、召回排序引见了常识图谱的作用与经常使用。

援用：

[1] Kim S，Oh S G．Extracting and Applying Evaluation Criteria for Ontology Quality Assessment［J］．Library Hi Tech，2019.

[2]Protege: ​​

[3] Ding S , Shang J , Wang S , et al. ERNIE-DOC: The Retrospective Long-Document Modeling Transformer[J]. 2020.

[4]DocBert，[1] Adhikari A , Ram A , Tang R ,et al. DocBERT: BERT for Document Classification[J]. 2019.

[5]JanusGraph，​​

[6] Sang L, Xu M, Qian S, et al. Knowledge graph enhanced neural collaborative filtering with residual recurrent network[J]. Neurocomputing, 2021, 454: 417-429.

[7] Du Y , Zhu X , Chen L , et al. MetaKG: Meta-learning on Knowledge Graph for Cold-start Recommendation[J]. arXiv e-prints, 2022.

[8] Chen Z , Wang X , Xie X , et al. Towards Explainable Conversational Recommendation[C]// Twenty-Ninth International Joint Conference on Artificial Intelligence and Seventeenth Pacific Rim International Conference on Artificial Intelligence {IJCAI-PRICAI-20. 2020.

[9] Wang X , He X , Cao Y , et al. KGAT: Knowledge Graph Attention Network for Recommendation[J]. ACM, 2019.

[10]Wang H , Zhang F , Wang J , et al. RippleNet: Propagating User Preferences on the Knowledge Graph for Recommender Systems[J]. ACM, 2018.