神经 符号 从常识图谱角度看认知推理的开展

在过去十年的人工智能浪潮中，以深度学习为代表的人工智能技术已基本成功了视觉、听觉等感知智能，但依然不可很好地做到思索、推理等认知智能。因此，具有推理、可解释性等才干的认知智能钻研毫无不懂将越来越遭到注重，成为未来人工智能畛域关键的开展方向之一。

钻研人员的嗅觉无疑是最敏锐的。例如，ACM图灵奖取得者约书亚·本吉奥(Yoshua Bengio)在NeuIPS 2019的特邀报告中明白提到，深度学习须要从系统1(System 1)到系统2(System 2)转化。

注：这里所说的System 1和System 2是指认知迷信中的双通情通常，其中System 1示意直觉的、极速的、无看法的、非言语的、习气的认知系统，这也是目前深度学习技术长于的事情；System 2则示意慢的、有逻辑的、有序的、无看法的、可用言语表白以及可推理的系统，这是未来深度学习须要着重思索的钻研方向。

1 神经系统和符号系统的特点

从更微观的角度来看人工智能，System 1对应的是神经(Neural)学派， System 2则对应符号(Symbolic)学派，Bengio所提的System 2关于深度学习的想法与“神经+符号”的人工智能指标基本分歧。

沿着这一点追溯，咱们可以发现另一位ACM图灵奖得主马文·明斯基(Marvin Minsky)早于1986年在《心智社会》(The Society of Mind)一书中就分明地论述了人工智能和认知心思学（即System 1和System 2）之间的相关，并深化剖析了人工智能中的神经系统和符号系统各自的特点和联合的或者，如图1所示。

从微观再到详细，以数据的对象、存储以及运行来说，无论是神经系统还是符号系统，数据建模的目的都是求解给定输入疑问的答案，如图2所示。但不同之处在于，神经系统长于处置非结构化的数据（如文本等）。

目前的干流模型以端到端为主，经常出现的运行场景无机器翻译、语音识别、便捷疑问智能问答（如，姚明的身高是多少？）等；而符号系统关键以结构化的数据库为主，且通常允许结构化的查问、推理引擎等，能够成功复杂疑问的求解（如，美国是农业出口大国，为什么还要出口咖啡？）。

值得一提的是，ACM图灵奖取得者莱斯利·瓦利安特(Leslie Valiant)曾精辟地指出：神经系统并重对数据特色的学习环节，而符号系统蕴含的必定是一个搜查环节，后续少量面向符号系统的钻研实质上努力于各种高效的搜查算法。

神经系统和符号系统各自的特点还可以经过两个计算机视觉畛域运行中的例子来体会：图3(a)的例子示意经典的手写体识别，关于给定可观察的手写数字和比拟符样本汇合，在经过训练后，少量神经系统的模型可以很好地识别各类手写体（即视觉档次的泛化认知才干），但却很难成功符号常识的认知泛化（即关于未出如今训练样本中的比拟符样例，难以启动求解判别）。

雷同，在图3(b)的视觉问答例子中，神经系统可以轻松应答便捷的视觉问答场景（如，图中有几只长颈鹿？），但是假设须要回答更复杂的疑问（如，图中生物和斑马有哪些独特属性？），则必定借助外部的符号常识（如常识图谱）启动认知推理，才干成功求解环节。

综上所述，“神经+符号”系统无疑是人工智能的理想模型。咱们可以总结出一个完美的“神经+符号”系统的特点和优点：

1.可以轻松处置目前干流机器学习长于的疑问；

2. 关于数据噪音有较强的鲁棒性；

3. 系统的求解环节和结果容易被人了解、解释和评估；

4. 可以很好地对各类符号启动操作；

5. 可以无缝地利用各种背景常识。

但是，成功“神经+符号”的无机联兼并不容易。多年来，各个畛域的人工智能钻研者对此启动了少量钻研。常识图谱作为近年来抢手的人工智能钻研方向，从早期的常识库、专家系统，到谷歌公司在2012年正式提出常识图谱，其开展历程也可以看作神经系统和符号系统各自的开展缩影，其中包括“神经+符号”联合的屡次尝试，如图4所示。

2 “神经+符号”的联合

笔者从常识图谱畛域的钻研视角对目前的上班梳理总结后发现，“神经+符号”的联合上班关键可以分为两类：

神经助力符号(neural for symbolic)这类方法的特点在于将神经网络的方法运行在传统符号系统的疑问求解，通常关键用来处置浅档次的推理疑问。

例如驳回常识图谱示意学习(knowledge graph embedding)[1]、图神经网络(Graph Neural Networks，GNN)[2]等技术启动常识图谱的补全，其特点是用统计推理替代逻辑归结；还有驳回循环神经网络(Recurrent Neural Network,RNN)、图卷积神经网络(Graph Convolutional Network，GCN)等技术启动多跳智能问答[3]，也是相似的上班，如图5所示。

此外，Swift Logic[3]、神经通常证实机[4]、逻辑张量网络[5]等上班也属于“神经”助力“符号”的尝试，其关键思维是改良神经网络的方法，将其运行到常识图谱畛域的深层推理场景，进而优化成果。

符号神经(symbolic for neural)这类方法的特点在于将符号的方法运行在神经网络的训练环节中。例如，经常使用逻辑规定在深度神经网络中启动数据的编审(data curation)[6]；将常识图谱运行在远程监视、少样本、零样本的模型和场景中[7,8]，如图6所示。

最近有一类钻研叫做可解释的人工智能(explainable AI)[9]，其关键思维是应用常识图谱中的理想或规定，对神经网络训练环节中的行为启动解释，进而提高神经网络的可解释性。值得一提的是，清华大学唐杰等人最新提出的认知图谱[10]，就是“神经+符号”与“System 1+System 2”在可解释人工智能方面的尝试，旨在用符号常识的示意、推理和决策来处置深度学习求解环节的黑盒疑问。

3 总结与展望

以上的钻研现状标明，“神经+符号”的联合仍逗留在仅以一方为主，并到另一方疑问的适用或迁徙，成功“神经+符号”真正无机联合的系统还任重道远。如何在神经和符号之间取得一个奇妙的平衡，将是权衡模型价值的关键，其范围触及了目前简直一切干流的人工智能钻研，如图7所示。

未来关于“神经+符号”的钻研中或者触及到的关键疑问和应战包括：

1. 常识的示意：建模多模态、时空、事情等非结构化数据的符号常识表白；

2. 推理的适用性和效率：将神经的方法用来成功深层推理或减速传统符号推理的效率；

3. 人在回路和可解释性：将专家或用户的反应参与系统思索并确保系统求解环节的可解释性。