多言语商品常识图谱技术构建方法和运行 Shopee

Shopee 是一家服务于环球多个市场的电商平台，努力于为消费者提供愈加方便，安保，极速良好的消费体验。Shopee 深耕多种不同的言语和市场，在这种国内化的服务平台上，须要处置多言语和混合言语的复杂语料。我团体的上班关键聚焦于电商平台商品无关的图谱以及图谱算法的构建，也宿愿经过本次分享能给大家带来一些收获。其中就蕴含了：商品常识图谱在多元市场的构建阅历，商品常识图谱最新的停顿以及新的运行，以及如何构建技术模型和技术框架来成功满足电商复杂运行的诉求。

首先分享一下常识建模相关的内容。

1、Knowledge Ontology

从上图中可以看到，消费者经常使用 Shopee 电商 App，可以经过火类选项，找到详细分类下的商品，启动阅读和购置。分类体系是商品图谱中用来治理商品消息的十分关键的本体层。商品图谱的本体层，关键蕴含商品的分类和每个分类下详细的属性，经过这样的分类和属性的组合，来示意整个商品图谱中每一个商品实体的详细消息。

电商分类是一个树状的结构，从最粗的粒度到最细的粒度，不同的分类中有不同的深度。以移动电子类为例，在其上方又可以细分出可穿戴类的电子产品，在可穿戴类中又包括了挪入手表等等。关于细分品类，咱们会梳理出大家关心的属性项和属性值。以 T-shirt 为例，消费者敌对台或许会比拟关注 T-shirt 的品牌、材质等消息，这里的品牌、材质是属性项（Attribute Type)。咱们会梳理出品牌、材质这些属性项对应的详细属性值（Attribute Value），比如材质外面蕴含纯棉 Cotten、真丝 Silk 等。

经过类目（category），属性项（Attribute Type），属性值（Attribute Value）这样一个组合体，就可以构建出商品常识图谱的本体层。用这样的本体来表白一切详细商品实体的消息。

2、Knowledge Ontology - Ontology and Entity

在这个图中，上方是本体，上方是每个商品的实体。当然在商品实体里，也会有不同的粒度。比如咱们日常在买物品的时刻看到的一个页面，其实是一个 item，这是商品维度。当咱们选用了一个详细的型号去购置，就是选用了一个 SKU Model，这是最细粒度的商品消息。这样一个本体体系和商品实体的组合，就可以成功大规模商品消息的结构化治理和示意。

3、Knowledge Ontology - Uplift All in One

随着经济的开展，电商为了满足迅速变动的市场需求也在不时地演化，电商平台的本体层也不是原封不动的。

Shopee 树立初期，在各个言语市场有着自己的本体分类和设计。起初咱们发现，一致的一套愈加无利于多言语语料和多言语市场之间商品的互通，和商品消息在不同言语之间高效的转化，所以咱们把不同言语之间的本体汇总成了 Global-Category-Tree 这样环球一致的体系。就可以在雷同的分类体系，雷同的属性体系上方，用不同版本的言语去治理一切市场的商品实体消息。

4、Knowledge Ontology - Uplift Continuously

在图谱本体方面，咱们遇到的外围痛点是，本体如何与时俱进的去迭代变卦。随着市场的开展，会不时涌现出新的品类、新的项和值。然而新品、新项和新值关于存量的语料来说是比拟少的，那么如何能及时的捕捉到它们呢？这个技术的思维就要从 New Phrase Mining 开局。个别 NER 模型在 OOV 疑问的体现上，并不能很好地满足咱们的运行诉求，咱们的外围理想是引入 MINER 模型，去缓解和改善 OOV 的疑问。关键思维是：以 SpanNER 为基础模型，引入 information bottleneck 层，借助互消息的方式变革指标函数，协助模型去优化对高低文的捕捉才干。从而优化模型的泛化才干。经过这样不时去开掘新的品类词、属性项、属性值的技术，成功了 Span level accuracy 优化 4.5%+，Value level recall 优化 7.4%+，成果还是比拟可观的。基于这样一套不时开掘的思绪，就可以协助智能介绍本体层的调整倡导，联合线上成果评价，基于新的语料去不时启动开掘的迭代和循环。

1、Challenges

在日常的常识失掉上班中，咱们也遇到了比拟多的应战，比如在处置商品语料的时刻，会遇到各种各样的言语，甚至是各种复杂言语的混合体。同时还要处置细粒度的分类，分类体系可以到达上千类。在这样的细粒度分类之下，不同的分类有不同的语料特色，分类联合属性项维度能够到达 10K+ 的不同组合。再联合每个项上方不同的属性值，全体能够到达 260K+ 量级的规模。在这样的规模下，全体服务的精度还要维持在 90% 之上。

面对这样的应战，咱们须要更好的技术思绪，基于有限的开发人员和研发期间，能够极速照应线上服务迭代的诉求，保证线上服务的成果，所以咱们须要有一套 Scalable Technique Structure 来照应咱们的运行诉求。

2、Item Category Classification

首先引见下商品分类相关的 task 和处置打算。商品分类疑问的外围指标就是了解商品的分类消息，并且优化和保证其准确性。同时还须要把分类的服务提供应商家商品颁布的系统，保证系统的效率及稳固性。详细的疑问可以拆分为几个 task：

① 如何对新发的商品做精准的介绍。

② 存量的商品牵引到新的分类体系下。

③ 及时捕捉和批改存量商品消息中的失误。

随着电商平台的开展，商品消息的表白也在不时变动来吸援用户的关注，这关于模型而言就是一个应战，不只有构建一个精准的模型，还要不时地迭代更新坚持它的成果。

为了应答消息分类，须要设计一套模型的架构。这样的模型架构咱们有好多种，比如说第一种就是把每个商品做一个粗粒度的分类，或许分到最粗的几十大类，在每个大类下有更细粒度的分类，这样每个子模型须要去分类的类别量是比拟小的，分类成果也会比拟精细。第二种是愈加 end-to-end 的框架，咱们间接把商品消息输入，去找到它经常使用的最细粒度的分类。

这两种架构各有其优缺陷。第一种的缺陷就是须要治理的模型是很多的，以一个言语市场为例，须要治理的模型就有几十个。再联合十多个言语市场，治理的模型量就到达上百量级。第二种模型愈加端到端，然而在一些细分品类上的成果就或许各有错落，并且在细粒度品类的优化上也会同时影响其余品类的成果。这两种体系咱们会依据实践成果做更迷信的选用。

无论哪种体系，底层都依赖了文本类的分类方法和图文联合多模态的方法。经常出现的文本类模型有 Fasttext 和 BERT 等等。多模态部分咱们在对比各种模型后，选用基于 Align-before-fuse 做商品类图文消息的综合识别，最终找到适宜的分类。Align-before-fuse 模型的外围理想是先经过 Image-Text Contrastive Learning，Image-Text Matching 和 Masked Language Modelling 做预训练，再经过 Momentum Distillation 减轻脏数据的影响，从而成功比拟好

随着模型的开发上线和运行，咱们在各个市场的关键品类上方的精度可以维持在 85%~90%+。同时也能允许不同的颁布体系的高频率调用。

第二个义务就是对类目体系做变卦之后如何极速的照应，把商品转化到新的品类上。这里的业务背景是随着市场的开展，很多新品的涌现以及品类的壮大。假设不时用比拟粗的分类方式，是不利于下游电商系统散发和客户消费体验的，须要启动细化的拆分。对技术就比拟有应战，由于新的分类是不能间接拿到自然的训练语料的，所以上班的重点就是如何能够智能化地构建训练语料，更新并且照应新的分类体系的要求。

上图展现了数据开掘的流程和思绪，外围理想是基于 Keywords-Mining 和 OOD-Detection 的方法，去开掘有变动的或许新兴品类的关键词，基于关键词去做智能化样本的构建。比如开掘出新兴品类的关键词之后，存量的商品或许市场上的商品能够被这样的关键词命中，且具有较高的口头度，那么就可以参与到训练语料当中，成为新品类的训练样本。关于低口头度或许有多种或许的数据语料，再启动繁难的人工核验，就可以极速的构建训练样本，协助模型高效地迭代。

以上图的案例为例，原始的 Global Category Tree 有两个分类，在拓展到 20+ 的细粒度的分类之后，无论文本模型还是多模态模型在多个不同的市场都可以到达 90%+ 的精度，可以高效地照应分类调整疑问。

第三个义务是如何对分类失误的商品去捕捉和批改。这里的业务背景是错放的商品消息无论是抵消费者还是平台都带来了各种各样的负面影响。比如参与额外的物流老本，影响商家的销量，参与对商品管控的难度。技术上的难点是，这类错放商品，关于模型原本也是较为艰巨的案例，分类模型对这些数据较难精准地捕捉

为了处置这个疑问，咱们构建了识别错放商品的模型 Detection，再联合识别进去的错放的商品做批改 Correction 的上班，找到一个更适宜的分类。在 Detection 这个模型中，外围理想是基于 CrossEncoder with multi-task learning，对 Shopee 语料库启动预训练，而后做分类。经过对商品消息和分类消息做拼接，识别出在各个分类层上能否属于失误的分类。关于错放的商品，经过召回和排序的方式，找到最凑近或许口头度最高的分类。外围理想是基于 Sentence-BERT using Siamese Network Structures 和 Triplet Contrastive Learning 优选出可信度最高的一个或多个分类，并启动批改。

这外面须要去处置或标注的存疑语料的规模是十分大的，那么如何经过只标识大批的数据就成功模型的优化呢？在这个疑问之上，咱们启动了数据语料优选的上班，可以了解为经过被动学习的方式，去学习语料的置信度，在经过三到四种模型，经过投票和优选的方法，学到哪些数据预料是意外值。在采样的时刻对 centorid>

联合以上这些上班，识别商品能否类目错放的服务能够到达 98% 以上的精度。搜查查问相关的 badcase 在重点品类上增加了 50% 左右。

3、Item Attribute Recognition

接上去引见商品属性新增的识别。从上图可以看出，输入商品的消息之后，属性识别基于四种不同的思维：第一种是基于 String-match Model；第二种是基于 Rule-based Model，比如 Warranty Duration: 1 year，这种是合乎语料的特色和规定；第三种是基于 NER model 去做属性的识别；第四种是基于Image model，视觉和多模态相关的模型。

基于这四种不同的识别思绪，从商品消息中失掉到多种或许的属性项和值。关于这些识别到的属性项和值，去做一层属性值整合，联合各种消息优选出置信度较高的项和值。比如学习起源的置信度等等。在学习出了置信度较高的属性值之后，还须要联合属性值之间的相关，补充出商品消息之外推理出的商品常识。

放开集属性值通常会有很多不同的表白，NER 模型比拟适宜去捕捉商品消息表白中已有的值。所以咱们把商品消息属性的识别做了从 NER 模型到 MRC 模型的转换。经过 MRC 的处置思绪，咱们宿愿能够经常使用 Wordpiece tokenizer 去缓解 OOV 的疑问，并且经过 LaBse PLM 去处置 multi-lingual 的一些疑问，经过 MRC+CRF 成功文本属性和商品属性的识别抽取义务。

识别和抽取出了少量的属性值之后，会发现它的表白各种各样，会存在拼写失误或同义词的现象。就像三星这个案例，都是蓝色，然而会有 “blue” 和 “biru” 不同的表白，咱们须要对这些词做归一，这样才干更好地照应下游的运行，并把一切的商品消息转化到规范的消息层，繁难下游系统更高效地理解。

接上去咱们还须要对这些消息做一层歧义的了解，由于咱们发现从商品中抽出的消息会有抵触。比如商品题目消息外面色彩是 “red”，在概略消息里色彩是 “yellow”，“silver” 既可以标识色彩又可以示意材质，“red” 有或许是白色也有或许是红米品牌消息。遭到 promat approach 的启示，咱们把这一疑问转化成了一个 generation task。基于 T5 的模型，上图是全体的流程图，重点是将数据转换成 Template 的格局，做 Encoder 和 Decoder，最终输入想要识别项对应的值。经过对比经常使用发现 T5 的体现还是不错的，相较于其余的模型有比拟大的优化。

当识别出商品的消息之后，还可以应用这些消息做一些推理。比如保修类型是不保修，那保修期间这一项自然就是 None 了。这种推理可以经过开掘常识图谱的关联属性去成功。

以此类推，不只可以经过关联属性去补全商品消息，商品图谱蕴含商品和商品间的相关，商品和属性之间的相关，这些相关之间也可以去做一系列的消息的补全，咱们也在此基础之上构建了图谱这样一集体系。

接上去引见常识融合的部分，分为本体融合，实体融合和消息融合。

1、Ontology Fusion

本体层融合可以了解为商品本体，比如 Shopee 的商品分类体系和市场上其它分类体系，它们之间可以做映射和关联，蕴含类目的映射、属性项的映射、属性值的映射。外围理想是有很多原子化的技术模块做撑持，比如在类目的映射关联上，可以基于商品的分类消息汇总到分类体系的映射相关。属性项可以联合相近词，同义词等等，在分类上方再去构建项和值的关联映射相关，这样的关联相关也会联合实践的条件做精度和条件上的限度。

2、Entity Fusion

重点引见下实体层的融合，在电商层面可以了解为商品之间相关的识别和了解。比似乎款商品、相似商品或相关商品。

在不同相关的基础算法上，有一些经典的思绪，经常出现的是基于图文相似度的婚配来找到它们的相关。更进一步的是基于商品图谱做商品消息属性项更细粒度的婚配，可以愈加业务可解释地去拆解进去商品之间婚配相关的详细要求。比如咱们想要知道两个商品能否满足品牌分歧、材质分歧、色彩分歧，还是想要更细粒度或许更粗粒度，这样就更繁难业务去定制化经常使用。

在基于图文相似的婚配上，关键是构建了基于召回排序的框架和方法。联合商品消息做 Embedding 构建，基于图文的 Embedding 去做检索召回和精排，来成功基于相似度的同款相关构建。

在这个基础之上，还宿愿构建愈加精准的基于图谱的属性维度的同款相关，那么就降生了一个概念：Standard Product Unit(spu) ，就是规范产品节点。从上图可以看出，在每个产品的细粒度分类之下，可以定义商品相关最关注的那些项和值。比如图上的 Apple iPhone 13 Pro 代表了一系列的产品节点，无论任何商家在任何地点售卖的 Apple iPhone 13 Pro 都是同一款产品。当然，这个产品节点还刻有更细粒度。当咱们积淀出这样的产品节点之后，就可以衔接一切合乎这个产品定义的商品，来成功一个产品粒度的商品聚合。

这样的长处是愈加可解释，繁难用户敌对台外部运营的经常使用，以及定制不同粒度的聚合体。

全体的框架如上图所示，触及到定义的细化以及基于定义的分类，属性的抽取，在基于定义的要求联合抽取进去的属性做商品维度的聚合。咱们把一切的模块衔接起来，就可以成功 SPU 数据资产的消费。最终不只消费出一切的产品节点而且去衔接好一切的商品消息，并且还可以把商品的消息汇到产品维度去成功最终消息层的常识融合。

所以咱们就构建出了如上图所示的常识图谱，会有各种各样的产品节点以及对应的分类消息、属性消息，以及各个商品实体的衔接。

接上去再繁难引见下咱们一系列的常识运行。

常识运行的服务比拟宽泛，比如协助运营了解市场，做商品挑选，商质量量校验；协助商家在颁布的时刻做类目的智能化识别，多少钱介绍，物流消息补全；协助消费者介绍高性价比的优惠会场，以及对搜查介绍做各种智能化撑持。

最后引见下对未来常识图谱上班的展望。

从之前的图谱的图可以看进去，咱们的商品图谱不只是可以衔接到商品和商品属性分类等等这样的消息，还可以进一步拓展和用户、商家以及各个市场平台更高维度的消息的关联，并且成功消息之间精准的互通和推理，基于这样的补全去做更宽泛的业务运行。

在的 AIGC 时代，少量新技术的降生冲击着大家的思维，不时有各种各样的大规模言语模型降生。随着 chatGPT 大模型的打破，AI 的开展曾经抵达了必定的阶段。chatGPT 的成功证明了，咱们假设有足够量的数据和足够大的模型是能够成功较好的常识推理的。在这样的背景之下，做图谱相关上班的人和咱们的上班又面临着怎么的开展机会和应战呢？

关于大模型而言，它能给图谱提供的协助成果并不是特意好，并不能到达端到端的需求。特意是在垂直畛域，各个公司都有自己的运转形式和业务规范。如上图所示，咱们做一个商品细粒度识别，在这个例子中，准确率大略到达 50%，还没有到达 end-to-end 的商业运行的诉求，还须要去做细粒度的子模型的构建。并且大模型的计算在现有的算力消耗上也并不是高性价比的选用，垂直畛域的模型依然存在长处。然而大模型可以辅佐咱们对垂直畛域模型的优化，比如关于训练数据的增强、样本生成，能够协助垂直畛域模型极速优化。

在大模型的潮流下，咱们也须要思索常识图谱能起到什么样的作用。其实的大模型依然存在着一些疑问，比如大模型或许会提供非实时但看似正当的预测，以及在推理才干上对较为复杂的逻辑推理和数学推理还存在提高的空间。常识图谱其实是在推理才干上具有一些长处的，所以未来咱们可以去探求，能否可以将常识图谱的结构与现有的方法论做联合，并且与大模型的训练方法做联合。

从的运行过去看，New Bing 曾经在用搜查引擎去补充和增强 chatGPT-4 的成果了，在必定水平上也增加了常识型的失误。举个例子，关于共同的业务常识，咱们是不是可以借助零微调的技术将常识图谱的常识表白作为 prompt 去揭示 GPT 大模型，来生成更合乎业务场景的答案。当然这只是一些浅层的思绪和运行，我置信随着关于模型了解的不时深化，还会有更好的联合方法。