神经规则引擎让符号规则学会变通

2019年04月11日 来源:

导语:本文介绍了一种神经规则引擎(Neural Rule Engine),可以从规则中学习知识,同时又通过神经络来泛化知识,这与人类学习知识的方式有异曲同工之妙。

雷锋按:本文原作者为深度好奇研究组,原发表于公众号“深度好奇AI”(deeplycurious)。雷锋(公众号:雷锋)已获授权转载。

论文题目:Generalize Symbolic Knowledge With Neural Rule Engine

论文地址:(请戳此处)

目前的自然语言处理任务中,神经络模型在学术界占据了绝对的优势,然而,基于符号知识的规则系统仍然在工业界大有用武之地。人类语言是一种非常复杂的现象,为了更好地构建语言智能系统,可以将神经络和符号知识融合使用,集成二者的优势。

近两年来,神经符号学习(Neural Symbolic Learning)成为一个非常热门的方向,不少优秀的科研工作把符号知识引入神经络模型,增强了模型的学习能力和可解释性,在一些经典的NLP任务上都取得了不错的效果。与这种融合方式相反,近日,深度好奇的研究者们提出了一种全新的融合策略——利用NN模型来改进规则的效果。NN模型的优点是灵活性高、泛化能力强、鲁棒性好,如果将NN模型的这些优势赋予规则系统,会产生出怎样的火花呢?

本文介绍了一种神经规则引擎(Neural Rule Engine,NRE),NRE可以从规则中学习知识,同时又通过神经络来泛化知识,这与人类学习知识的方式有异曲同工之妙。

具体来说,NRE由神经模块络(Neural Module Networks)构成,其中的每一个模块代表了规则中的一种操作,而模块的实现形式既可以是神经络,也可以是符号算法。并且,给定少量的标注样本,可以使用强化学习来微调(Finetune)学习效果。实验证明,NRE可以大幅提升规则的召回率(Recall),同时还能将精确率(Precision)维持在较高的水准。

举个具体的规则例子,对于一个判断案件类型的分类任务来说,案件内容如下:

“2003年12月21日中午12时,东浦村张某与王某某二人到临西县游玩,被三名男子跟踪,后用刀威逼,抢走一只。”

根据经验来看,如果案件表述中有“跟在.*后面|跟踪”,一般属于“尾随作案”,但是如果其中有“事主.*跟随”的话就不是。所以,针对“尾随作案”类别,可以写一条规则:

“跟在.*后面|跟踪@@事主.*跟随”

其中“@@”左边蓝色的是正规则,也就是句子中必须匹配上的内容,“@@”右边红色的是负规则,也就是句子中不能包含的内容。

由于正则表达式是有限状态机的一种,所以可以定义一些操作(Action)来解析正则表达式规则,比如:

用预先定义好的操作来表示规则,如下图所示:

每一条规则都可以被拆解成树状结构,拆解的过程依赖于Rule Parser。由于整个系统的设计既考虑了符号性又考虑了神经络的特性,所以对于规则的拆解上既可以用符号算法来实现也可以用Neural Rule Parser来实现。由于树状结构可以转变成逆波兰表达式(Reversed Polish Notation)的形式(如下图):

因此可以采用一个Seq2Seq的神经络模型来实现对规则的拆解。具体如下:

给定一条规则,鉴于同时预测模块和模块所需参数较为困难,所以可以采取分步的方式来预测。第一步先预测操作序列,第二步根据规则和已经预测出来的操作来预测每个操作所对应的参数。为了让预测的结果更加可靠,在训练阶段,我们加入了微调(Finetune)过程,对于预测出来的操作序列根据在真实事例上的表现用强化学习来进行模型的调整。

得到rule parsing的结果后,即可对模块进行组装。在本文中,Find模块和And_Ordered模块都采用了神经络的设计。

Find模块Find(x)模块是用来查找句子中匹配x部分的内容,可以用正则表达式的匹配来实现,也可以用神经络来实现。神经络的Find模块如下:

对于每一个句子来说,Find(x)操作就是在句子中找到x,x可以是一个字、一个词或者是一个N-gram。无论用神经络实现还是用正则表达式的match(x)来实现,任务都可以看作是对句子做序列标注,也就是对句子中的每一个单位都标注“是否匹配”的标签。具体来说,对于句子中的每一个单位,先获取到它滑动窗口的上下文,并令上下文和要查找的x都通过相同的编码器(Encoder),之后用评价函数来对二者的相似程度进行打分,最后根据每个位置的所有分数来判断当前位置的标签。

And_Ordered模块And_Ordered模块可以采取如下设计:

And_Ordered操作是用来判断两个输入之间是否满足一定的距离关系。通常来说,输入就是子节点给出的标记结果,如r0和r1。为了让神经络更容易判断输入之间的距离,我们可以引入距离标记d0和d1。结合句子原文,And_Ordered模块可以判断出两个子节点的输入是否满足距离关系。

模型训练在训练过程中,模块和Neural Rule Parser都采取了预训练+微调的策略。在训练时,先对数据和规则进行训练集/验证集/测试集的划分,为了避免数据泄漏,各部分之间不能混用。训练模块的时候,先根据数据随机生成各个模块的训练样本,在训练到一定程度时,把训练集中的规则真实应用于训练集中的数据,按照数据的真实标签采用强化学习的方式对模块进行微调。对于Neural Rule Parser也按照类似策略,依前文方式进行训练。

Neural Rule Engine (NRE)NRE集合了上述的组件:NN/算法实现的模块深圳百度推广公司
,NN/算法实现的Rule Parser。NRE的整体架构如下图所示:

对于给定的一条事例和一条规则,NRE先将规则拆解成由模块组成的树状结构,之后根据树状结构将规则应用于具体的语句上进口报关行
,从而给出匹配后的结果档案管理系统

实验论文在中文案情分类(Chinese crime case classification)任务和SemEval-2010 relation classification任务上进行了实验。实验结果如下:

NRE在中文案情分类数据集上的结果

NRE在关系分类数据集上的结果

上面的结果显示,RE的Precision很高,但是Recall相对较低。而第二组Baseline是传统意义上的序列模型,并不能处理好正则表达式,特别是正则表达式除了局部的匹配还需要考虑有层级关系的全局匹配,传统的序列模型很难处理好这些情况。NRE则能带来Recall接近翻倍的效果,同时Precision仍维持在较高的水平。需要关注的是,微调(Finetune)对NRE来说是至关重要的,因为NRE在预训练阶段是单纯地在训练各个模块,而微调是让规则在真实场景中调整的关键。

同时,由于NRE可以充分利用神经络和符号二者的优势,为了探究规则的泛化性从何处而来,我们还进行了额外的实验。我们通过对不同部分分别采用神经络和符号算法,从而得到了混合的模型(见下表)。随着神经络的介入,NRE整体的Recall表现会更好,而Precision在合理的范围内有所下降。实际上,这是因为神经络的灵活性所带来的优势,弥补了规则匹配的僵硬。

神经络和符号算法的不同组合,其中“_”左边是神经络的实现,右边是算法实现,“P”是“Find_Positive”,“N”是“Find_Negative”,“A”是“And_Ordered”,“S”是“Rule Parser”。

另一方面,研究模型给出的结果可以发现,Find模块带来了巨大的泛化能力。传统的正则表达式是对样式进行匹配,而NRE在一定程度上是对语义进行匹配。如下述两图的中英文案例所示,查找“pushed into”会合理地找到“put inside”,而像“进入室内”被“入室”整体匹配上更能说明NRE对词语的查找会超越样式本身。

与此同时,用Neural Rule Parser对规则进行拆解也是对规则本身进行修正。比如下图中的“落水管”和“不锈钢管”被合并成为了“管”,而且“打墙洞”中的“洞”被删去。

总结

我们提出了一种全新的学习策略来对符号规则进行改进,神经规则引擎(Neural Rule Engine)使得规则获得了神经络带来的灵活性、鲁棒性和泛化能力,同时又保持了规则的精确性和可解释性。

NRE包含了Rule Parser和一系列操作模块,它们既可以是定制化的神经络,又可以是符号算法。对于一条给定的规则,NRE先对规则进行拆解,使其成为操作序列,之后根据操作序列来装配模块,最终给出预测结果。此外,我们还提出了分步的训练方法使得构建NRE成为可能,即先对模块和Rule Parser随机生成数据进行预训练,之后根据真实的样本标注用强化学习进行微调,从而得到具有泛化能力的规则表示。

实验表明NRE可以大幅提升规则的Recall,同时还能维持较高的Precision。NRE不仅是一种新的神经符号学习范式,同时也为现有的工业应用带来了一种高效的改进,它可以被用来对已有的规则系统进行升级,或者在训练数据不大的情况下快速开发出神经规则系统。

雷锋版权文章,未经授权禁止转载。详情见转载须知。

相关文章
  • 英首相卡梅伦贺猴年秀中文称中英关系不断增强
    英首相卡梅伦贺猴年秀中文称中英关系不断增强

    卡梅伦称,我们不仅庆祝中国农历火猴年的到来,而且这也是中英关系不断增强的重要时刻。他在致辞中总结了中英两国团结协作的成果:教育上,有数万名中国留学生在我们的大学中学习;经济上,中英双边贸易在五年内增长逾一倍;城市中,来英国访问的中国游...

  • 四川泸州12米大空调公交双环线开行
    四川泸州12米大空调公交双环线开行

    四川:泸州12米大空调公交双环线开行12米长公交亮相泸州8月30日,从泸州市公交公司获悉,273路冷暖12米大空调公交车双环线于当日开行。此次开行的273路公交车车身长度为12米,比泸州市现有公交车的长度有所增加。该线路起止站点为城北大驿坝,双环线运行,线...

  • 美女聘收银员盗高档酒落网还要民警帮她拍靓照
    美女聘收银员盗高档酒落网还要民警帮她拍靓照

    美女聘收银员盗高档酒 落还要民警拍靓照美人计丘天 漫画闽南1月30日讯 1月23日,漳州市区新华北路一餐馆,走进一个面目清秀的女孩。她自称叫张某娜,前来应聘收银员。见女孩年轻秀丽,挺撑门面的,餐馆负责人也没细查其身份,当即应允聘请。然而才做3天,1...

  • 人民日报楼市调整更趋健康市场开始回归理性
    人民日报楼市调整更趋健康市场开始回归理性

    目前,房地产行业正进入调整期,市场开始回归理性。面对新常态,房地产企业开始重新思考市场趋势,探索自身转型路径。房企负责人热议新常态及自身转型 楼市调整更趋健康(新常态新亮点·关注楼市走势(下))目前,房地产行业正进入调整期,市场开始回归理性。...

  • 洪灏市场情绪亢奋主板不跌也得盘热点资讯
    洪灏市场情绪亢奋主板不跌也得盘热点资讯

    基金经理的大盘股持仓增加了约5%,很好地解释了中小盘股的持仓减少了约5%的现象,引证这次的反弹更多是由于存量资金轮动而并非新资金流入市场而形成。经济在复苏,共识却期望政府推出强劲刺激政策 世事如棋,中国似乎一夜之间就成为全球投资者追捧的市场...

  • 杭州毛源昌告了嘉兴毛源昌
    杭州毛源昌告了嘉兴毛源昌

    一家是端着百年老字号架势的杭州毛源昌,另一家是近十年来在嘉兴眼镜行业叱咤风云连开5家连锁店的嘉兴毛源昌。昨天在嘉兴中级人民法院开庭的这个侵权官司,不仅吸引了媒体,不少嘉兴市民也自发过来旁听。官司是杭州毛源昌告嘉兴毛源昌侵权,误导消费者,提出了...