基于常识的神经符号结合的团圆推理钻研

一、以轻量级算子为外围的文本团圆推理

1、基于文本常识的团圆推理型浏览了解

浏览了解是在给定一段文本以及相应疑问的基础上，从中抽取或许计算出疑问的答案。除了文本抽取之外，还包括数值计算、比拟、排序等一些复杂逻辑推理疑问。

在给定一段文本和疑问之后，经过 Semantic Parser 解析成一段可口头的程序从而取得答案。该方法的可解释性比拟强，但存在的疑问也比拟清楚，十分依赖少量的逻辑表白式或许程序作为标注数据来训练监视模型。

在给定一段文本和疑问之后，会经过 Encoder 启动编码后输入到 Reasoning Module 推理模块，再输入到不同的专家系统后给出相应的答案。该方法的性能体现会更优，但可解释性会弱一些，同时也缺乏间接做团圆推理的模块。

咱们的疑问可以形象为：在给定文本 P 和疑问 Q 的条件下，求解一个概率模型来失掉答案。首先将疑问概括为一组关系的算子，并且经过神经网络模块去模拟这种算子的口头。将这样一个端到端的模型拆分红两个局部，第一局部基于文本 P 和疑问 Q 来预测所触及到的算子，第二局部依据算子再进一步推理出答案。

OPERA 模型架构如图，它关键蕴含一个高低文的 Encoder、一个轻量级的算子推理模块以及 MOE 的预测模块，同时蕴含很多专家分类器。

算子模块关键蕴含以下三个局部：

在 DROP 数据集上的试验结果标明，该方法比之前方法有清楚优化。

二、基于常识的一致团圆推理：程序生成

在面对结构化或许是混合结构化的混合异构数据中做推理和了解，咱们提出了基于常识的一致的团圆推理来启动程序生成的方法，即 UniRPG-2: Unified Knowledge-Grounded Numerical Reasoning as Program Generation，该上班为宣布于 EMNLP2022 上的 UniRPG 的进一步裁减。

1、基于异构常识的团圆推理型浏览了解

该框架是面向异构常识的语义解析推理方法，不只能够处置例如 TAT-QA 数据这样 single-turn 的对话，也能够处置 PACIFIC 这样 multi-turn 这样的多轮问答。该体系架构的长处是可解释性更强，它能够生成一个逻辑表白式或许程序，经过对程序的口头来失掉答案，从而成功逻辑推理。另一方面，关于异构常识的通用性更强。体系架构图如下：

模型架构如图，它可以处置纯文本、纯结构化的表格或许两者异构的数据。在 encoder 阶段，关于异构数据会先启动 structure-aware knowledge reader 做一个表征，拆分为 lower layers 和 higher layers，并做 mask 掩码操作，能够失掉异构消息中同行或许同列的前后文消息。在 decoder 阶段，pointer 可以经过 attention 机制订位输上天位，同时经过 prediction vocab 模块去生成算子，从而生成一个可口头的 program。

3、试验结果及可解释性剖析

经过在 DROP、TAT-QA、PACIFIC 数据集上的测试，模型有良好的体现，同时具有很好的可解释性。如下图的热力求所示，纵坐标中的不同 token，实践对应了横坐标中输入文本的不同局部。

三、基于大模型的零样本&少样本推理现状

1、大模型时代的语义解析

这里罗列两个程序的生成和逻辑推理的详细案例。比如提问 chatGPT：将“现任美国总统的妻子是谁”这句话解析成 logic form，再比如提问：Python 版本的快排的成功。经过 ChatGPT 的反应来看，现有的大模型可以很好的处置程序的生成和逻辑的推理。

在常识推理方面，小模型和大模型之间有清楚的差异。基于 supervised learning 小模型通常须要外部语料库或许常识图谱启动检索，或许少量的人工标注才干启动训练。而大模型可以间接去掉检索器，仅依赖外部的常识，且无需精调。

在原始的问答模型基础上，引入人工输入的推理步骤，可以使大模型先输入推理逻辑，再得出相应的答案。

在 CoT 的基础上，将思想链的人造形容言语转换为思想程序，能够在推理上体现得更好。

5、优化推理才干的影响起因猜想

① 经过指令微调能够协助大模型更好的了解人造言语，优化推理成果；

② 代码预训练能够协助大模型学习人类处置疑问的方法以及处置疑问的环节，从而优化推理才干；

③ 大模型参数到达必定量级的时刻，模型的推理才干会成功跃迁。

未来大模型或许开展的方向：

目前大模型依然存在不少的理想失误，怎么结合外部的常识图谱做可信大模型的钻研，从而补偿理想性失误。

（2）大模型推理的安保疑问：怎么在法律法规、品德规范的条件下去做基于人类规定常识的可控解码。

（3）大模型推理才干是如何取得的，或许须要结合动物学、神经迷信等交叉学科启动探求推