基于预训练模型的金融事情剖析及运行

一、金融事情剖析的关键义务

金融事情剖析的关键义务可以分为三块：

① 第一块为非结构化数据默认解析。金融畛域的消息与互联网消息相比有着其共同之处。金融畛域的消息经常是以非结构化的方式存在，并且有一些比拟不凡的文件格局，比如 PDF，这关于从文件或数据中抽取洁净准确的数据提出了比拟大的应战。PDF 格局是一种排版打印的格局，并不像其余文件类型那样段落明显。PDF 更多是为了服务排版，所以文件里只存在一些位置消息。要从非结构化数据中解析出准确的格局语义明晰的文本是比拟有应战的。而且当文档中格局语义不清楚时，对事情剖析就会带来噪音，而这些脏数据会对模型的训练和推理形成很多搅扰。所认为了提高模型准确度，应该先做好非结构化数据的解析。

② 第二块是事情语义的了解，这是技术上比拟关键的一局部。这里关键触及到事情的检测，事情要素的抽取和事情相关的抽取。

③ 在对事情的了解的基础之上，就引入了义务中比拟关键的第三块模块，事情的图谱剖析，它包括事情链的剖析和事情预测。

为了成功上述义务，引入两个比拟关键的体系。首先是金融事情体系，一个金融事情体系蕴含了金融畛域的相关主体，这些主体也有不太一样的运行场景。为了更好地允许这些主体和场景，须要建设相应的事情体系，这外面触及到很多畛域常识，须要畛域专家提供相应的常识作为输入。从而协助咱们把这集体系构建的更完善更迷信，能够笼罩相应场景。当然除了专家常识外，也会须要技术启动演绎学习，这样也能够提供完整的场景化的可裁减的事情体系。

由于引入专家常识关键是针对场景中比拟关键的事情。关于一些中长尾的事情，关键还是基于学习的一些技术来处置。有了金融事情图谱，咱们把事情提取技术结合在一同，经过事情抽取，事情相关的分类，学习事情的示意后，就可以结构图来启动剖析和预测。

经过明白义务和技术的加持，咱们就可以对资讯或文档启动处置并演绎回答很多疑问。比如，哪个公司出现了什么类型的事情，事情中触及了哪些要素，例如通用要素期间、地点、人物，或许与事情类型相关的要素，比如，事情“公司股票发行”，就蕴含要素发行多少钱、发行量等等。除此之外咱们还可以关注这些消息，比如民众对这个事情的评价（情感剖析）。以及出现了某类事情后，对企业未来会出现什么的预测。假设可以回答上述疑问，那么对很多场景都是很有价值的。

上方咱们来看一个详细例子。

上图将金融事情体系分为两级，第一级有五类，关键依照详细对象作区分，比如企业类事情，股票类事情，行业和微观类事情，债务类事情和基金类事情。针对不同的事情对象定义了不同的事情类型。这些都是金融畛域中最经常出现的对象。第二级里咱们是将每种对象进一步细分。比如一个企业外面经常出现的事情类型，比如股东减持等（可参考上图）。以股东减持这类事情为例，它所蕴含的事情元素有减持的期间，减持的股东，减持时的买卖多少钱等消息。定义一个完整，对场景有针对性的事情体系是事情剖析能达成目的的关键前提，事情体系定义的粗疏水平将选择最终事情剖析能到达的事情消息细粒度的水平。

事情图谱属于图，蕴含节点和边。在事情图谱中，事情节点可以是事情，也可以是事情中的实体，比如公司。边就是事情和事情的相关，也可以是事情和实体间的相关或实体和实体之间的相关。

咱们来看一个例子。上图是一篇引见亚马逊公司收买 iRobot 公司的资讯。这篇资讯报道中一共形容了四个事情，其中两个是收买事情，区分出当初不同的期间。另两个区分为创立公司的事情和协作的事情。这些事情是由其出现的期间顺序衔接起来的。除了事情，这篇资讯也蕴含其余实体和期间，这些实体和期间之间也由相应的相关相连。

这样看来一个非结构化的网页消息，经过解析出文档中的文本和段落、对段落启动语义剖析，抽取事情实体和相关，咱们就可以结构事情图谱。也就是将非结构化数据转化成结构化的消息。有了却构化的消息，就更容易启动对消息的了解和处置。这样的消息可以运行于搜查、问答等消息失掉场景，或许是金融畛域的危险监控、量化投资等业务场景中。

事情链是一种不凡的事情图谱，是事情图谱的简化形式。它关键关注的是一个介入者出现的一系列事情和事情之间的相关。从上图可以看出左侧的事情图谱可以简化成左边的两个事情链。事情链中只蕴含简化节点，其余元素都可看作事情链的属性消息。这种简化对事情图谱的落地运行是有协助的。事情图谱的相关和节点简化后，模型对图谱的学习和处置都只针对一种节点，和事情间的一种相关，降落了这种疑问的复杂度。只管有所简化，但事情中的关键消息还是会保管上去，比如事情类型，事情主体等消息。

上方来看一个事情链是如何启动预测。

上图是一个事情链的预测模型。它关键由三局部组成，第一局部是事情示意，这里有事情，历史事情和最终咱们想预测的文本中的事情。历史事情和要预测的事情，它们示意的触发词和事情元素拼接起来之后可以更好的捕捉历史消息。将事情的高低文示意和历史示意结合起来就进入到第二局部，事情的序列示意，这里用到了一个 LSTM 的网络结构，它可以捕捉事情和事情之间的时序相关，将事情先后顺序消息融入到事情示意中来。最后蕴含期间顺序相关的事情示意会被输入给灵活网络中，这个网路可以用来对候选事情和给定的资讯中的事情启动预测。比如候选事情类型有几十种，那么咱们就依据资讯中曾经见到的事情类型来预测哪一个事情或许是这个主体未来会出现的比拟大的事情类型。结果是给出事情类型的散布。

这里须要强调的一点是，这个模型的预测结果并不是预测这个公司未来必定会出现的事情，而是给出这样一些辅佐消息来为剖析、预测、研判提供依据。

上方所讲到的事情链和事情预测，是对还没出现的状况启动预测和判别。事情预测其实也能够对曾经出现的事情提供一些有用的协助。

上方咱们看另一个例子。这个例子是依据曾经出现的事情提供一些有用的协助。

这种基于事情库的事情问答，可以允许人造言语对事情的搜查。咱们首先在语料库启动抽取，建设结构化事情库，每种类型事情会建设一个表，表中的各个字段示意不同的事情元素，结合 NL2SQL 的技术可以把查问语句转化成数据库的查问语句。这样咱们就可以在刚刚建设好的表格中查找到准确的事情类型。这和咱们目前市面上通用的搜查引擎来搜查事情的体验是不一样的。搜查引擎前往的结果是这个事情类型的很多种资讯，即使找到，看到的结果也是一篇完整报道而不是详细事情的详细消息。经过基于事情库的事情问答，咱们可以更精准的针对事情启动问答搜查。

经过上图的例子可以看到事情剖析在详细场景下可以如何启动剖析。企业的股价动摇是市场关注的重点。基于事情的股价动摇也是事情剖析中 NLP 和金融畛域结合的一个场景，它可以成功市场消息和股价动摇变模。上图是模型中给出两个特色，一类是表征详细企业的，另一类是表征企业与企业之间相关。咱们引入事情剖析可以抽取事情类型以及介入事情的不同公司。抽取出的事情类型和公司可以提供的两类消息，一个是事情的示意，它可以成为一个特色，与企业特色融合。企业与事情的相关可以结构企业间的关联相关模块。再添加既有的特色，比如针对企业的技术目的或企业相关图谱。将两者结合咱们可以结构出具备企业消息和相关消息的图谱。依据这个图谱咱们运用 Graph Attention Network 捕捉企业之间的相关对企业股价动摇表现的影响。将股价波举措为模型学习的目的来训练模型，咱们失掉的模型网络结构可以到达对公司从资讯产业类图谱、企业相关图谱这样的特色失掉企业未来特色的一个判别，同时经过 Attention 模型的剖析，也可以知道动摇关键来自于哪些模块，是事情类型的模块还是事情相关的模块。并且企业之间相关的建模也可以剖析这种影响在相关企业之间是如何启动流传的。这在金融畛域中也可以叫做动量溢出的成效。

综合前面咱们引见的各种事情剖析的技术和场 景。咱们总结出了完整的事情剖析框架。（如下图）

① 首先，它可以搜查某个事情或某主体的各类事情。

② 其次，它可以提供经过产业链搜查某公司同行业的相关各类事情，可以是产业链或公司链。

③ 这个框架还可以依据某公司的搜查结果预测未来或许出现的事情。

这个框架的好处是，它基于预训练模型，有迁徙学习的才干，可以允许 zero-shot/few-shot 训练，冷启动快。并且这种体系化的方法才干比拟片面，能允许丰盛的场景。

不是一切的场景都须要框架中的一切模块，可以依据需求将模块拆分进去独自经常使用。

金融事情剖析技术中比拟关键的两块内容区分为事情检测和事情抽取。

事情检测义务的目的是从文本中抽取出事情并启动分类。通常是抽取触发词启动事情检测，但也有些方法是无触发词抽取的事情检测。这类疑问的应战是触发词的标注，或许出现语义迁徙、事情拆分、事情定义变动等疑问时须要咱们从新标注数据。这类疑问在实践场景中经常会出现。咱们只管有一套自己 的事情检测打算，然而运行到不同畛域或面对不同客户需求时，它们的事情体系都有很大差异，如何结合已有的模型和数据更好的去允许事情体系的变动是咱们目前面对的最大应战。目前驳回的方法是基于揭示词和预训练模型的事情检测。依据事情类型的 Prompt 咱们可以更好的去做数据迁徙或 few-shot 场景的模型训练。

上图展现了基于触发词的模型和方法。依据事情类型的 Prompt，模型的输入可以启动 token 级别的标注，这样可以抽取相应事情的触发词。假设依据的 Prompt 启动触发词变换的话，对应的事情类型和触发词可以启动相应的变动。经过在地下数据集上的数据对比，可以看出在全量数据中，咱们的模型的表现比以往方法有比拟大的优化，即使在 few-shot 状况下，咱们的模型表现也要优于其余模型。

事情抽取义务是事情检测义务配置的裁减。它不只识别出事情类型和触发词，还可以提取出事情中的相应元素。这对事情剖析要求消息比拟完整的场景有着较大的作用。上图中的例子，可以抽取出更细粒度的消息。事情抽取的应战包括定义完整的事情体系中，事情元素会比拟多，数据的标注须要畛域专家来成功，老本比拟高，难以裁减到很多的事情类型。咱们目前的处置打算是应用预训练模型和 Prompt，基于 生成式的方法在标注数据更少的场景下也能有不错的模型性能，具备更高的数据应用率和灵敏性，更容易裁减到新的事情类型。

事情抽取义务是事情检测义务配置的裁减。它不只识别出事情类型和触发词，还可以提取出事情中的相应元素。这对事情剖析要求消息比拟完整的场景有着较大的作用。上图中的例子，可以抽取出更细粒度的消息。事情抽取的应战包括定义完整的事情体系中，事情元素会比拟多，数据的标注须要畛域专家来成功，老本比拟高，难以裁减到很多的事情类型。咱们目前的处置打算是应用预训练模型和 Prompt，基于生成式的方法在标注数据更少的场景下也能有不错的模型性能，具备更高的数据应用率和灵敏性，更容易裁减到新的事情类型。

上图中是一个基于模板的生成式事情抽取方法。这个抽取方法定义了几个关键的概念。首先在抽取前咱们要预先定义模板，有了模板后，可以在训练时提供应模型，在定义新事情时有些元素与之前事情无关联，这些消息也可以预先提供应模型。经过这种方法，模型可以在大批数据下学习新的事情类型。

只管上方方法可以在必定水平上处置事情抽取疑问，然而也还有很多改良的空间。比如目前方法触发词和事情元素的咨询较弱；推理时须要轮询一切事情类型，计算量大推理期间长；事情检测和事情要素抽取模块驳回 Pipeline 组织，存在失误流传。

咱们依据上方提出的疑问，改良了模型，提出了另一个基于触发词检测增强的生成式事情抽取方法。

（Ge Shi, Yunyue Su, Yongliang Ma and Ming Zhou (2023). A Hybrid Detection and Generation Framework with Separate Encoders for Event Extraction. In Proceedings of the 17th Conference of the European Chapter of the Association for Computational Linguistics: Main Volume. Association for Computational Linguistics.）

在这个方法中，事情检测模块提供了事情触发词的消息。在输入中咱们会标注触发词，并且依据事情类型消息选用相应的模板。这种输入和事情模板前面组合在一同后，就可以形成事情检测模块的示意。这种示意会给入话题模型，最终失掉填充后的模板。这个模型和上一个模型的不同是这个模型多了一个触发词的示意，同时也会将高低文消息结合起来。这样处置刚才说的第一种疑问，触发词和触发词抽取元素之间的咨询不多的疑问。这个模型就可以结构两者之间的显示相关。同时经过触发词输入，咱们可以得悉触发词的相关事情类型。这样咱们可以将不相关的事情类型过滤掉。事情检测模块只会针对相关的事情类型启动事情抽取。最后事情检测模块和事情抽取模块可以形成一个端到端的联结训练。这种模型就可以处置前文提到的另外两个疑问。

TDE-GTEE 模型在地下数据集 ACE 和 ERE 上都到达了 SOTA 水平。在试验中咱们用了全量数据。为了验证此模型在大批样本下的表现，咱们也经过对事情检测模块做了一些调整比如经常使用基于 Prompt 的方式交流原先的多分类方式。在 zero-shot/few-shot 上模型也可以到达很好的效果。咱们置信这个模型可以在实践场景上失掉宽泛的运行。

事情剖析技术在金融畛域运行宽泛，场景也很多。一个完善涵盖事情剖析体系框架将为金融畛域的消息了解提供强有力的技术允许。

澜舟科技在金融事情剖析畛域中提出的 TDE-GTEE 等方法可以到达 SOTA 水平，在少样本和零样本场景下也有很好的表现。咱们将在金融事情剖析畛域继续推动技术提高和落地产品化。

Q1：能否有专门针对事情图谱的数据库，传统的图数据库如 Neo4j 能否适宜存储和治理事情图谱？

A1：是有专门针对事情图谱的数据库，有些数据的提供商有提供这类数据库。比如澜舟科技，蚂蚁个人等公司，也会在其公司外部构建自己的数据库。Neo4j 是可以用来启动事情图谱的存储和治理。依据经常使用场景不同，在复杂场景下，Neo4j 更适宜来启动存储和治理。假设简化成事情链，事情的示意可以更灵敏，咱们做的是将数据从文本中抽取进去生成事情链作为模型的训练数据启动训练。训练中不触及图谱的运算。

Q2：股票动摇剖析的效果该如何评价？

A2：关键有两种方式。咱们在详细模型的结构和评价的环节中，更多是依赖于股票市场的消息。可以了解为量化买卖中的回测，咱们运用历史数据启动训练和评价。另外一种就是在真实场景中，咱们会用人工来判别，比如依据企业的资讯和股票量价买卖的技术目的预测未来一个月的股价动摇。咱们会详细去看这一个月能否真的会出现股价动摇。假设动摇出现，会去剖析对应的事情类型，对应的股价的量价消息等元历来判别能否存在强因果相关。