评价及落地场景下基于常识图谱的缓解战略探求 大模型幻觉的原因

针对大模型落地运行的疑问，行业内广泛的做法是应用大模型启动问答，但在实践运行中，这种方法往往成果不佳，很多疑问的答案并不具备实践参考价值。作为算法人员，咱们须要深化了解疑问的起源，关于大模型发生的幻觉疑问，咱们须要明白其定义，是客观的还是客观的，并讨论如何给出一个可口头的处置打算。在业务运行中，除了提供答案，咱们还需给出一个概率值来评价答案的牢靠性。此外，关于图谱技术，虽然如今有一种观念以为图谱曾经过期，但实践上图谱和大模型之间存在一些联合点，我将这些联合点总结为若干条战略，这些战略可以协助咱们更好地将大模型和图谱技术联合运行。

一、大模型用于行业问答的成功和应战

首先，让咱们深化讨论大模型行业问答的成功和应战。

1、大模型在常识治理中的外形

在处置行业问答时，了解现有产品的性能至关关键。以 360 企业云盘为例，它为咱们提供了一个明晰的流程，咱们对少量文档启动分类整顿后，可以运用 360 智脑大模型成功许多义务，比如将撰写的周报转化为文字方式，或许经过提各种疑问就能轻松地失掉答案，这也有助于咱们在共事之间传递关键消息。

此外，咱们还可以经过上行 PDF 文件，而后在输入框针对这个文件的相关内容提问，例如提出对文章启动总结，系统就能极速地启动总结，协助咱们提高上班效率。此外，系统还能够应用搜查战略为用户提供相关的文件介绍，例如当用户上行一个文章后，系统会介绍与之相关的文件，并协助用户查找这些文件。其中值得留意的是，如何找到相关文件是其中的一个关键点，这正是图谱在其中施展的作用，系统预先构建了文档之间的关联相关和事情，从而协助用户极速找到所需内容。

在实践业务中，许多客户都宿愿能面向他们的文档资源，极速地构建问答机器人。比如，有一个文档，须要公布到自己的小程序、网页或群众号的问答机器人，这时只有要将公布的内容及时上行到云盘，经过云盘易于了解的总结性回答、及时识别高低文、智能内容降级等性能，就能够极速地启动常识内容的问答。举个例子，上图是咱们曾经对接的拱墅区政策咨询，只有要将相关的文件降级到云盘，就可以间接征询相关的消息了，比如指点思维是什么等。

咱们还可以将性能启动模块化，使系统可重复经常使用，满足团体和专业场景的常识问答性能。首先创立为一个常识号，而后启动问答性能的数据治理、训练、公布、婚配测试以及数据集治理等一系列操作。经过这种方式，成功了复用并提高效率，为业务流程带来了更好的灵敏性。

2、大模型如何成功文档问答

在讨论大模型如何成功文档智能时，咱们发现其面前存在六种关键环节：语料库预备、疑问输入、向量检索、计算向量相似度、Prompt 优化、结果前往。

语料库的预备关键在离线环境下启动，关键是将与行业相关的少量常识或语料上行至向量数据库，贮存为向量化文本。

预备好语料文件后，会启动 chunk 处置，将文档切分为小块。随着技术不时开展，大家关于高低文长度的需求在增长，从之前的 2K、4K、8K 到如今的 192K 或 200K。但是并不是 chuck 越大越好，在真正的大模型运行中，4K 到达很高的精度就很不错了。在成功 chunk 处置后，须要对切分后的疑问文本启意向量化操作，BGE、M3E 等嵌入模型都是不错的选用。成功这一步后，就曾经失掉带有向量的语料片段了，将其参与到向量数据库中，例如 Faiss 等。成功这些步骤后，语料库就预备好了。

当一个 query 来到后，用上一步骤雷同的嵌入模型对 query 启动处置，将输入的疑问转变成带有向量的提问。

将 query 转变成的向量，放入提早预备好的语料生成的向量数据库中检索，经过计算 query 与 vector 的相似度，可以得出婚配结果。值得留意的是，这里所做的是 QD 婚配，而不是 QQ 婚配。QD 婚配存在一个很大的疑问，即 Q 通常很短，例如大家做相似度通经常常使用的是几十字的 query 启动训练。但实践在正式场景下，QQ 基本上就是 100 字对 100 字，而 QD 会变成 100 字对上 300 字、 字、500 字，这个时刻召回的准确性就是一个须要去优化的疑问。

向量相似度可以驳回 L1、L2 或余弦相似度，比如驳回余弦相似度，须要设置一个阈值，通常在 0.8 或 0.9 左右，而后婚配出 TopN 条语义最相关的 Facts。

将婚配出的 TopN 条 Facts，和用户的疑问一同作为 Prompt 输入给模型。为了提供尽或许真实的回答，须要确保疑问的回答是准确的，假设不可回答疑问，咱们宿愿模型应该明白指出这一点。在 prompt 的设置中，须要留意每一个关键的细节，例如，一个便捷的换行符“\n”或许会对结果发生很大的影响，因此，须要确保其准确性和分歧性。

经过高低文组装的 Prompt，就可以失掉在有记忆交互下生成的内容，这样的结果更精准且缓解了幻觉疑问。

在处置大模型常识库问答时，整个流程的六个步骤每一步都有或许造成误差累积，因此要提高全体准确率，须要关注每一个阶段的细节，尽或许提高每个阶段的准确率，即使只是将每个阶段的准确率从 0.8 提高到 0.98，那么全体就是从 0.8 的 6 次方到 0.98 的 6 次方，准确率会有清楚的优化。

3、大模型文档问答理想疑问

第一个疑问是文档板式复杂，特意是表格、图片、单双栏状况等，处置起来相当艰巨。比如金融场景中的研报，触及到公司称号、公布期间、k 线图等。此外，在处置 PDF 文件时，如需识别图表中的线，则须要启动断裂和兼并处置，这个时刻就须要一个文档版式模块来处置这类疑问。

第二个疑问是模型执著己见，在处置下游义务时不可充沛关注检索到的常识，尤其是当检索到的常识与 LLMs 的参数知知趣抵触，还是会跳出回答。

第三个疑问是畛域 embedding 的去噪疑问，现有的通用 embedding 如 BGE、M3E 在特定畛域上性能并不高。在特定畛域中，假设没有足够的数据启动去噪处置，embedding 的性能将会遭到限度。此外，相似度的控制也是一个应战，如何挑选 top k 结果是一个关键疑问，选用适合的阈值和 k 值是关键，过严或过松的挑选或许造成召回率过低或召回少量有关内容。

最后，大模型在处置文档时只关注扫尾和开头部分，而疏忽两边内容。这种“lost in middle”的现象在文本长度较长时尤为清楚。因此，为了提高模型的性能，咱们须要尽量将关键消息放在文本的前后部分。

下面一切的疑问都是幻觉疑问，为了详细说明幻觉疑问，这里举一个例子。在安保畛域的常识问答中，提问“海莲花组织是什么？”，咱们知道海莲花是一个 APT 组织，但大模型给出的答案却是“海莲花是一个出如今中国互联网的奥秘组织，涉嫌违法立功，称号中的海代表陆地。”，这个答案在言语上毫无破绽，但实践上却与理想不符，这就是幻觉疑问的体现。

发生以上幻觉的关键要素就是不足训练数据，由于安保畛域的数据是很少的，而且很多的日志数据并不如文本数据那么规范化，这就造成安保畛域大模型的幻觉疑问愈加清楚。

为了处置这个疑问，咱们可以引入安保常识库，当咱们须要回答关于海莲花的疑问时，可以从常识库中启动召回。经过检索，咱们了解到海莲花组织是一个具备西北亚背景的组织，同时为了确保模型在回答疑问时不会发生幻觉，须要一个大型模型来判别能否应回答疑问，假设模型不可找到正确答案，应该间接通知用户不可回答，因此，须要参与一个拒答环节来规避此类幻觉，以确保模型不会胡言乱语。

当面临新的数据不足疑问时，可以经常使用图谱生成的方式来处置，经过联合安保常识图谱，咱们可以观察到优化结果，例如海莲花的高度组织化等。

二、什么是幻觉？从哪儿来？如何评价

在咱们落地场景中最间接的一个幻觉就是语境抵触性幻觉。在多轮对话中，经常会发生前后语境不分歧的状况，比如，前面提到了某个话题，但在后续对话中突然转换到了另一个话题，造成之前的消息被疏忽或忘记，这或许会引发用户的困惑，降落对话的连接性和用户体验，这种疑问通常出如今问答场景中，当答案与疑问语境不婚配时。例如上图中咱们宿愿大模型针对以色列和哈马斯的抵触启动总结，answer 结果就清楚发生了语境抵触。

另外一个幻觉就是与理想相抵触的幻觉，指的是 LLM 生成的内容不虔诚于既定的环球常识。例如，关于葡萄牙的三任国王的疑问，回答失误地将 Castile 的女王 Urraca 列入其中；关于月球散步的第一团体的疑问，回答失误地提到了查尔斯·雷德伯格，实践上，第一个在月球散步的人是阿姆斯特朗。

当咱们深化钻研大模型的训练流程时，会发现数据疑问是最为关键的。在预训练阶段，咱们不可控制数据的起源，由于网上充溢了随机网页内容，很多内容或许并不准确，咱们不可齐全荡涤这些数据，只能尽量让言语愈加迟滞。此外网页内容又有很多包括故事性质的内容，这些造成存在一些造成幻觉的训练数据，使得大模型将虚伪的相关性作为理想常识，由于LLM 倾向于必需测试样本，LLMs 容易复制甚至加大这种幻觉行为。

大模型有时会高估自己的才干，这关键是由于它们在预测 next token 的概率时，实质上是在处置数据散布的疑问，关于十分大的 LLMs 来说，正确答案和失误答案的散布熵或许是相似的，LLM 在生成失误答案时和生成正确答案时雷同自信。

在 SFT 阶段，幻觉疑问被引入得最为清楚，有疑问的对齐环节或许会误导大模型发生幻觉，假设 LLM 在预训练阶段没有取得相关的先决常识，在训练指令的时刻一个失误的对齐环节，会促使 LLM 发生幻觉。

比如上图右下角的两个圈，左边是咱们经过预训练取得的参数化常识，左边是 SFT 数据，两边部分是两者的交加，假设SFT 数据落在了两边这一块，那么它是正确的，假设右侧的 SFT 数据自身没有学过，而你却通知它某些消息，那就相当于是在诈骗模型。举个例子，假定这是一个金融模型，你问它中国某部法律是在什么时刻公布的，而它之前从未见过这方面的数据，即使你的 SFT 数据很美丽，但假设你教它撒谎，那么你和它的答案都会发生疑问，因此，SFT 数据的品质须要尽或许准确。

LLM 驳回的生成战略，如如今经常出现的 top-k、top-p 等方法，其实是一种部分最优解，不能确顾全局最优。这象征着搜查空间变小了，因此或许引发幻觉疑问。

从数据端和解码端来看，无论是数据的生成还是解码环节，都或许造成模型发生幻觉。因此，咱们须要对模型启动细心肠评价和调整，以确保其能够准确地处置常识并防止幻觉疑问。

要评价大模型的体现，关键在于如何制订一个牢靠的目的来权衡其输入。目前有一些方法可以成功这一目的，其中一种是基于生成理想陈说评价，将幻觉视为一种生成特色，相似于流利性和连接性，并对 LLM 生成的文本启动评价，检查一个 query 前一个查问的答案与下一个查问的两个答案之间能否存在包括相关，相似于人造言语推理（NLI）中的三元组疑问。此外，还可以启动基于问答对的评价，比拟两个答案之间能否存在堆叠。

为了更好地评价大模型的幻觉疑问，曾经发生了一些基准测试，如 TruthfulQA 和各种其余的基准测试，其中清华大学的 Atlas 经常使用了常识图谱来评价大模型的幻觉疑问。

三、缓解大模型幻觉的战略

1、战略 1：结构高品质微调数据和拒答

假设 LLM 在预训练阶段没有取得相关的先决常识，在训练指令时是一个失误的对齐环节，会促使 LLM 发生幻觉。这就要求咱们加工整顿数据，在经过编辑的指令数据上启动微调的 LLM 能体现出更高的真实性和理想性水平。此外，还可以经过参与拒答环节，驳回以老实为导向的 SFT，即在 SFT 数据中引入一些老实样本，老实样本指的是抵赖自己无能的回答，如“对不起，我不知道”，学会拒绝回答特定疑问以缩小幻觉。

关于拒答数据配比的疑问，咱们在实践中发现，激励拒答疑问的数据到达千级以上就能够比拟好地构成一个拒答的看法。假设拒答数据过多，会形成大模型对任何疑问都说不知道。

2、战略 2：强化阶段引入老实对齐

4、战略 4：外挂常识库增强，缓解幻觉

外挂常识增强触及到几个关键疑问：何时启动外挂、外挂的频率以及详细的外挂方式。一种经常出现的做法是在接纳到 query 后，先启动检索，而后将检索结果输入到大言语模型中生成答案，这种一次性性的外挂方式在某些状况下是有效的。但是，在经常使用 GPT4 等模型时会发现，模型关于某些疑问的回答不够确定或准确，这时驳回迭代的方式启动外挂，在失掉模型的初步回答后，再次将疑问或模型的回答作为输入，启动屡次迭代，而后对生成答案启动预先干预，比如再应用常识图谱（KG）等工具对答案启动检索和批改，可以提高答案的准确性和牢靠性。

在选用外挂机遇时，可以思索三种方式：在模型生成答案前、生成答案环节中以及生成答案后启动外挂。同时，咱们还须要思索经常使用何种常识库或工具启动外挂，如搜查引擎、API 代码口头器等。在选用详细的外挂方式时，须要依据生成式模型和纠正模型的特点启动权衡和选用。

最后分享一些总结性看法。

1.什么是大模型幻觉，应该如何看待

（1）大模型幻觉的分类维度各不一样。

（2）有的场景须要幻觉【创作等】，有的场景不须要【如医疗、法律】。

2.大模型的幻觉跟多样性是怎样的逻辑相关?鸡生蛋、蛋生鸡?

多样性是形成幻觉的关键要素，由于生成多样，所以幻觉。

3.大模型幻觉的发生都有哪些要素?

数据、训练方式、解码方方面面都有。

4.大模型的幻觉能不能解?

（1）无基本解，只能缓解，并且要跟详细业务场景做区分；

（2）现有的 RAG 并没有触及大模型自身，都是治标不治标。

5.大模型知不知道自己知不知道?

不知道，实质上都是概率。

6.在大模型背景下，常识图谱应该找到自身定位

做好结构化数据，施展好常识治理、网络结构化特性。

Q1：关于 OpenAI 失掉 embedding 可以粗疏讲一下吗？扭转 embedding 的方式优化成果的范围大略在多少？对全体照应速度有优化吗？

A1：OpenAI 的 embedding 是经过 API 接口失掉的,你可以依据提供的文档编写相应的代码间接调用 OpenAI 的接口；详细准确度优化的范围取决于数据集、模型架构以及embedding 品质，咱们在 RAG 场景做了一些对比，自己结构了一些 QD 对和 QD 的负样本，在测试样本大约是在几千的场景下，召回侧有 30% 的优化；调用 OpenAI 的 embedding 的话是有限速的，关于一些自有模型，假设你的整个服务部署在性能较好的显卡上，处置速度会有清楚优化，可以到达毫秒级别。

Q2：幻觉发生惹起的失误大略占比是多少？以及您经常使用战略优化之后带来的优化是多少？

A2：这个占比其真实不同场景下会有所差异，假设不经常使用 RAG（问答对生成），很多占比的内容或许都是胡言乱语，齐全不知所云。但假设你将其放在 RAG 场景下，就会发现其中大约有 30% 的内容是跳出你的回答的，参与拒答后，在某个极其场景的状况下，咱们整个流程的准确率从 25% 大幅优化到了 95%，这是一个相当大的优化。

Q3：你刚说到那个大模型是一个紧缩器，我了解的就是说假设模型反向去学习自己生成的一些常识，就有点像缩略图的一个缩略图，它最终是不是会变得有些含糊？业界是怎样看待这个疑问的，或许有没有一些相关的钻研。

A3：我以为假设生成的内容在之前的训练数据中发生过，那么它会强化了数据散布，使其更容易记住，愈加明晰地留在记忆中，不会变得含糊。但是，假设生成少量之前未知的内容，并少量追加到数据集中，这或许会干预模型的数据散布，造成其输入变得模棱两可。

Q4：在将业务流程转化为常识图谱的环节中，特意是关于如何将示例图转化为常识图谱，节点的变动如何处置的疑问，您在这方面能否有一些阅历可以分享呢？

A4：我前几年其实也不时在做事理图谱，每一个节点就是一个举措，每一个流程被固定成一个事情短语并为其排序。这实质上是一个生成和转发的相关，整个生成环节是须要人工构建的。在通用畛域，比如说游记的案例，咱们先把事情抽进去，而后把事情的相关抽进去，最后拉出一条边。这种物品在通用畛域和特定场景中都很好用，但由于咱们的 case 须要处置 agent 的疑问，其业务场景十分固定，在这种状况下，人工破费一些期间来构建它以确保 100% 的准确性就足够了。

Q5：为了处置大模型的幻觉疑问，咱们发现它实践上不可从基本上处置，由于你之前参与了一个前置的拒答模型。在我看来在文档总结或问答环节中，没有什么疑问是这个模型不可回答的，我想了解这个拒答模型的成功方式以及它是如何判别大模型不可回答疑问的。

A5：这是分红两个维度去解。第一个就是问一些确定性的，就比如说问一些海莲花这种特定场景的安保场景，由于他有个安保图谱，当问一个实体的时刻，你会发现就是由于这个模型在这个场景是没有见过这些物品的。依照大模型没有见过这物品问海莲花的时刻，它或许就会答错，那怎样去做呢？咱们先用刚才图谱的方式去结构正负样本，这是 KG 场景。而后另外一个场景就是去做一个 summary 的拒答，比如咱们树立一个关于原政策的常识库，并确定每个库大抵能够问哪些疑问。而后，经过生成相关内容，当用户征询范冰冰是谁时，系统可以间接拒答。

Q6：启动文档问答时，您设置了一个前置的搜查增强环节，触及到文本召回方面，您在 PPT 中也提到了这个阈值确实很艰巨，我十分想知道您能否有详细的处置打算。在我自己的通常中，我不只在文档上，还包括图像上设置相似性阈值时，目前驳回的方法是打标并观察，例如，当阈值设置为 0.7 时，其准确率是多少？假设阈值设为 0.6，就须要经过一个十分繁琐的尝试环节，简直就像一个流水线工程。所以，我想知道能否有更智能化的方法来处置这个疑问。

A6：首先，这个 case 确实不好处置，咱们团队也遇到过相似的疑问。关于阈值的疑问，咱们更倾向于深化钻研。详细来说，咱们尝试在 rank 前面接多个 rank，比如在您与某个段落 p1 启动比拟后，p1 可以启动分解。由于 QD 之间不可看到，所以它们不可紧缩到一个空间上，为了处置这个疑问，咱们会启动 query 改写并参与其中。在选用一个段落 p 之后，咱们还会将其底下的句子启动比拟，当在 QD 婚配上的值域较低时，经过下一个 rerank，对应的句子分数会提高。经过这种方式，可以缩小这种疑问，但详细成果如何很难说，由于在算法优化环节中，咱们经常会遇到捉襟见肘的状况，为了处置文本切割和比拟的疑问，咱们做了很多上班，包括各种花式的切割方法，虽然如此，依然存在许多应战须要克制。