基于层次注意力机制序列生成网络的多标签罪名预测算法研究
发布时间：2021-01-20 15:56
随着以深度神经网络为代表的人工智能技术的快速发展,司法领域正在向智能化、自动化方向迈进。作为司法审判中的重要环节,罪名预测任务直接关系到整个案件的裁决与性质。目前基于犯罪事实描述的单标签罪名预测研究工作已经相对成熟,但在实际应用场景中,“一人多罪”、“数罪并罚”的情况也同时存在,这就需要进行多标签罪名预测任务的研究工作。传统基于犯罪事实描述的多标签罪名预测方法,大多利用阈值神经网络框架,即在罪名概率向量的基础上手动设置先验阈值,按照单标签多分类的方式来完成预测任务。还有一些研究工作利用问题转换方法,将多标签罪名预测任务转化为并行的单标签罪名预测任务,通过在每个罪名标签上构造分类模型并进行训练,然后集成元分类模型最终实现多标签罪名预测。此类方法虽然计算逻辑简单,但没有考虑到罪名之间的逻辑关联,如贩卖毒品罪与容留他人吸毒罪等,导致在预测有内在犯罪关联的案例时召回率指标下降,并且在样本标签空间特别大的情况下模型复杂度就会升高,不便于在实际场景中使用。在分析前人相关研究工作的基础上,本研究一方面通过将多标签罪名预测任务转换为罪名序列生成任务,从机器翻译的角度将罪名之间的逻辑关联融入到模型中,即...
【文章来源】：山东大学山东省 211工程院校 985工程院校 教育部直属院校
【文章页数】：60 页
【学位级别】：硕士
【部分图文】：
图１－１?ＣＣ模型训练流程??“”
???Ｃｉ?Ｓｉ?ｍｒｎ＾?ｙｉ?Ｊ????／?＼?ｆ???ｆ?????ｗｉ?ｖ?—?Ｃ２?？？?Ｓ２?■■■？?Ｉ??ｒｎ?、?＞?■?—??ｗ２?＝?＾?，￣￣??〇?Ｖ－?３?－／?｜?Ｃ３?＿?Ｓ３?—ｆ?＿ｙ３??…?穿?ｊ?〇?｜???？?＇??ｗｍ?＾?Ｊ?ＨＪ?ＥＩＫＥＤ－＾Ｅ］????Ｖ???ｔ?????输入?编码器?注意力?Ｃｎ?Ｓｎ?ｙ？??机制???１?Ｌ＿＿Ｊ??解码器??图１－２序列生成模型结构图??此类方法将多标签分类问题转换为序列生成任务，增强了模型泛化能力，但是??基于循环神经网络单元的解码器因其序列性特征，容易出现梯度消失问题，当标签??序列较长时模型效果变差。在实际解码过程中，原始文本信息会随着解码器时间步??的延长而丢失，为解决这个问题Ｙａｎｇ等人在模型中增加了注意力机制？，解码器??在每个时间步都从原始文本中获得信息补充，缓解了标签序列过长带来的信息丢??失问题。同时，为了规避模型在实际预测过程中出现标签重复预测的问题，Ｙａｎｇ??等人还在解码器中设置了外部记忆单元？这种特殊的计算结构，通过降低已预测??标签的影响权重并提升待预测标签的权重，缓解了标签重复预测的问题。??此外，Ｍａ等人［１４］从文本信息、引导标签信息和待预测标签信息三者之间的关??系框架出发，提出了一种多步多分类模型ＭｓＣｏａ以完成多标签预测任务，通过在??链式模型理论的基础上增加协同注意力机制和特征差分和级联操作，进一步缓解??了原始文本信息丢失、解码错误累计等问题，在多标签分类任务上取得了不错的效??果。ＭｓＣｏａ模型结构
合?ｊ??ｊ?｜??特征差分?Ｉ??特征融合：ｉ?（?Ａ１?Ｉ??模块?丨?Ｉ?＾—?Ｉ??除醻＿ｊｊ＾Ｌ？入序列）?前雜签?）??ｊ：………?…丁……＇??ｉ?Ｉ?ＢｉＬＳＴＭ?｜??特征提取丨?．丨－Ｔ．１??模块?Ｉ?？?ｉ?ｉ?Ｊ?Ｊ?Ｊ?？?ｉ］?ｆ?ｉ?）?＊?，＊?ｓｊ??？词嵌入—？？??｜｜?Ｊ?１?丨删辱，Ｌｉｕｄ?；??ｌ－—」：．．ｎｉｍｉ舅＇?？？？■￥＊？？？?平?’??文本序列」?前导标签｜｜??图１－３?ＭｓＣｏａ模型结构图??Ｙａｎｇ等人［１６］则是在解码器中加入了基于全链接神经网络的重排机制（Ｒｅｔｈｉｎｋｉｎｇ??Ｓｔｒｕｃｔｕｒｅ），重排机制多用于机器翻译任务中，这种方法可以降低循环神经网络单??元在解码过程中因单步预测错误而对后面解码过程所产生的影响，从而有效提髙??模型的预测精度。这些研宄工作都是在序列到序列（Ｓｅｑ２Ｓｅｑ）框架下进行的，因为??天然的链式计算特征，使得模型失去了平行计算的机会。在Ｓｅｑ２Ｓｅｑ框架下未来的??研宄工作仍有很大的提升潜力，或者突破框架限制，利用新的计算逻辑来实现多标??签分类任务。??１．３本文主要研究内容及主要贡献??１．３．１本文主要研究内容??本文的主要研究内容包括以下三个方面：??（１）对多标签罪名预测任务和多标签文本分类框架进行了深入研究，分析??并对比当前多标签罪名预测研究工作的亮点与存在的问题，对多标签文本分类基??础模型进行了比较。通过总结归纳，结合深度学习技术剖析多标签罪名预测任务的??特点，提出针对的模型理论假设。??５??
本文编号：2989334
【文章来源】：山东大学山东省 211工程院校 985工程院校 教育部直属院校
【文章页数】：60 页
【学位级别】：硕士
【部分图文】：
图１－１?ＣＣ模型训练流程??“”
???Ｃｉ?Ｓｉ?ｍｒｎ＾?ｙｉ?Ｊ????／?＼?ｆ???ｆ?????ｗｉ?ｖ?—?Ｃ２?？？?Ｓ２?■■■？?Ｉ??ｒｎ?、?＞?■?—??ｗ２?＝?＾?，￣￣??〇?Ｖ－?３?－／?｜?Ｃ３?＿?Ｓ３?—ｆ?＿ｙ３??…?穿?ｊ?〇?｜???？?＇??ｗｍ?＾?Ｊ?ＨＪ?ＥＩＫＥＤ－＾Ｅ］????Ｖ???ｔ?????输入?编码器?注意力?Ｃｎ?Ｓｎ?ｙ？??机制???１?Ｌ＿＿Ｊ??解码器??图１－２序列生成模型结构图??此类方法将多标签分类问题转换为序列生成任务，增强了模型泛化能力，但是??基于循环神经网络单元的解码器因其序列性特征，容易出现梯度消失问题，当标签??序列较长时模型效果变差。在实际解码过程中，原始文本信息会随着解码器时间步??的延长而丢失，为解决这个问题Ｙａｎｇ等人在模型中增加了注意力机制？，解码器??在每个时间步都从原始文本中获得信息补充，缓解了标签序列过长带来的信息丢??失问题。同时，为了规避模型在实际预测过程中出现标签重复预测的问题，Ｙａｎｇ??等人还在解码器中设置了外部记忆单元？这种特殊的计算结构，通过降低已预测??标签的影响权重并提升待预测标签的权重，缓解了标签重复预测的问题。??此外，Ｍａ等人［１４］从文本信息、引导标签信息和待预测标签信息三者之间的关??系框架出发，提出了一种多步多分类模型ＭｓＣｏａ以完成多标签预测任务，通过在??链式模型理论的基础上增加协同注意力机制和特征差分和级联操作，进一步缓解??了原始文本信息丢失、解码错误累计等问题，在多标签分类任务上取得了不错的效??果。ＭｓＣｏａ模型结构
合?ｊ??ｊ?｜??特征差分?Ｉ??特征融合：ｉ?（?Ａ１?Ｉ??模块?丨?Ｉ?＾—?Ｉ??除醻＿ｊｊ＾Ｌ？入序列）?前雜签?）??ｊ：………?…丁……＇??ｉ?Ｉ?ＢｉＬＳＴＭ?｜??特征提取丨?．丨－Ｔ．１??模块?Ｉ?？?ｉ?ｉ?Ｊ?Ｊ?Ｊ?？?ｉ］?ｆ?ｉ?）?＊?，＊?ｓｊ??？词嵌入—？？??｜｜?Ｊ?１?丨删辱，Ｌｉｕｄ?；??ｌ－—」：．．ｎｉｍｉ舅＇?？？？■￥＊？？？?平?’??文本序列」?前导标签｜｜??图１－３?ＭｓＣｏａ模型结构图??Ｙａｎｇ等人［１６］则是在解码器中加入了基于全链接神经网络的重排机制（Ｒｅｔｈｉｎｋｉｎｇ??Ｓｔｒｕｃｔｕｒｅ），重排机制多用于机器翻译任务中，这种方法可以降低循环神经网络单??元在解码过程中因单步预测错误而对后面解码过程所产生的影响，从而有效提髙??模型的预测精度。这些研宄工作都是在序列到序列（Ｓｅｑ２Ｓｅｑ）框架下进行的，因为??天然的链式计算特征，使得模型失去了平行计算的机会。在Ｓｅｑ２Ｓｅｑ框架下未来的??研宄工作仍有很大的提升潜力，或者突破框架限制，利用新的计算逻辑来实现多标??签分类任务。??１．３本文主要研究内容及主要贡献??１．３．１本文主要研究内容??本文的主要研究内容包括以下三个方面：??（１）对多标签罪名预测任务和多标签文本分类框架进行了深入研究，分析??并对比当前多标签罪名预测研究工作的亮点与存在的问题，对多标签文本分类基??础模型进行了比较。通过总结归纳，结合深度学习技术剖析多标签罪名预测任务的??特点，提出针对的模型理论假设。??５??
本文编号：2989334
本文链接：https://www.wllwen.com/falvlunwen/susongfa/2989334.html
