面向司法领域的多标签分类的研究与实现

发布时间：2020-08-23 18:23

【摘要】：随着信息技术的发展,各行各业都积累的客观的数据,为了应对信息爆炸带来的挑战,迫切需要一些信息技术手段,对这些数据进行分析帮助人们解决现实生活中的一些实际问题,解放人类的生产力。在司法领域,法官通常阅读案情描述,根据相关法条决定最终罪名判定,这个任务是十分耗时并且需要额外的专业知识的。通过技术手段,解决以案情描述为输入,相关法条为输出解决判决预测问题,可以有效节约人力成本,使司法判决更加准确有效。本课题将司法判决预测问题转换为多标签分类问题,多标签分类主要存在两方面的问题,一方面,不同标签出现的数量有很大的差异,称为标签不均衡问题,占多数的标签在学习过程中往往会与少数标签共同参与误差计算,这会导致少数标签分类在预测过程中偏向于向数量占比多的标签进行预测,造成预测结果的不准确,因此是本课题需要解决的一个重要问题。另一方面,现有的多标签分类模型往往标签关联信息进行学习,称为标签关联性问题,它们往往从标签本身共现关系进行建模,忽略了标签本身的语义信息。基于上述问题,本课题提出两种模型用于判决预测。首先,本课题提出了一种统一的动态成对注意力机制模型(简称DPAM)。DPAM采用多任务学习框架,联合学习多标签分类器和阈值预测器,因此DPAM可以利用两个任务之间的信息传递提升模型的泛化性能。此外,基于法条定义构建成对注意力机制,引入多标签分类模型用于缓解标签不均衡问题。在两个真实数据集上的实验,证明了模型的有效性。其次,本课题提出了一种递归注意力机制(简称RAN)。RAN利用LSTM对案情描述和法条定义文本同样建模特征,通过递归结构建模法官交替阅读案情描述和法条之间的过程,将判决预测问题转换为案情描述与法条定义之间的匹配问题。在三个真实数据集的实验,证明RAN可以有效提升判决预测性能。最后,本课题设计并实现了一个原型系统。该原型系统立足法官的基本需求,基于本课题提出的上述两个模型,设计实现了裁判文书要素提取,裁判文书语义匹配,类案检索,判决预测四个功能,在实际场景下对模型的应用进行了实验,有效证明了本课题模型的实际应用价值。
【学位授予单位】：北京邮电大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：D926;TP391.1
【图文】：

逦…逦ｗｘ逡逑图２－２：邋ＦａｓｔＴｅｘｔ模型结构图逡逑该模型由输入层，隐藏层和输出层组成，输入层为词向量，隐藏层通过将文本中逡逑词向量进行平均得到句子向量的表达，最后通过暑促层线性分类器进行文本分类。该逡逑方法训练速度快，在很多文本分类任务中取得了出色的表现。逡逑随着ＣＮＮ／ＲＮＮ的研究不断增多，越来越多的模型使用这些方法对文本进行建逡逑模。Ｋｉｍ等人提出基于卷积神经网络的文本分类方法Ｉ１＇其模型结构如图２－３所示：逡逑，ｕNｍ－爿逡逑ｗａｉｔ邋！邋ｉ逦＊逦逡逑ｆｏｒ邋＂｜！逦逦逦—逦．、？？？＿？．．－ｉＣ１！逡逑ｔｈｅ邋Ｉ邋￣ｐ逦？．—匚逦？？．．．逡逑ｖｉｄｅｏ逦｜邋Ｉ逦二＝一逦＼、逦＼３；逦？逡逑ｍ，Ｋｌ邋逦逦邋＇．’＇．．．．．‘．＇．ｊ—－邋—逦＇逦Ｖ＼逡逑ｎ＇ｔ邋Ｙ邋ｒ逦逦一二一逦）逦逦逦－逡逑ｒｅｎｔ逦」逦—？邋？？—逦．逡逑ｉｌ邋！邋１逦邋ｂ邋－邋ｙ邋’逡逑ｉ逦ｉ邋Ｉ逦｝逦Ｉ逦逦Ｉ邋Ｉ逦｜逡逑ｎ邋ｘ邋ｋ邋ｒ？ｐｒｅｓｅｎｔ？Ｈｏｎ邋ｏｆ逦Ｇｏｎｖｏｔｕｔｉｏｎａｉ邋ｉａｙｏｒ邋ｗｓｌｈ逦Ｍａｘ－0ｙｅｒ－！ｉｍｓ逦Ｆｕｌｌｙ邋ｅｏｎｒ＾ｅｃｔｅｄ邋ｌａｙｆｃｒ逡逑ｓｅ？？ａｎｃｅ邋ｗＨｈ邋ｓｉａｌｉｃ；邋ａｎｄ逦ｍｕ＇ｔｉｆｔｉｓ邋ｆｉｌｔｅｒ邋ｗｉｃｔｆｉｓ邋ａｎｄ逦ｐｏｏｈｎｇ逦ｗｉｓｈ邋ｄｒｏｐｏｕｌ邋ａｎｄ逡逑ｎｏｎ－ｓｔａｔｉｃ邋ｃｈａｎｎｅｌｓ逦ｆｅａｔｕｒｅ邋ｍａｐｓ逦ｓｏｆｉｍａｘ逡逑图２－３：邋ＴｅｘｔＣＮＮ模型结构图逡逑该模型由卷积层

由于本身结构的限制，无法得到文本序列的长期依赖，因此，为了解决这个问题，机逡逑器翻译模型引入了注意力机制，通过在不Ｍ解码阶段不同词重要性的不同，对文本逡逑向量进行加权，将语义信息集中在需要的部分。最基本的注意力机制模型如图２－５所逡逑不：逡逑ｓｔ－ｌ逦ｓｔ逦＊■逡逑ｉ邋逦邋１邋ｉ逦．邋＼逦…Ｉ逦Ｉ邋逦逡逑；逡逑逦逦＾逦逦ｉ逦＾逦＿；逦逦ｉ邋（逡逑＾ｌ．ｒ逦九邋２，ｒ邋Ｉ逦＂３．ｒ逦ｈｔｒ逡逑＾ｌ．ｌ邋＊Ｊ逦！—邋＾２，１邋？＿Ｊ逦＾３．／逦４邋！—邋ｌ＾ｔ．ｌ逡逑ＩＬ－ＪＴＴＬＪ邋ＬＪ１邋ｎ＿ｊ｜逡逑：邋．逦．．逡逑Ｘｊ逦Ｘ２逦ｘ３逦ｘｔ逡逑图２－５：注意力机制模型结构图逡逑其中，Ｘ代表输入文本，代表输出｜丨标，定义如下条件概率：逡逑ｐ｛ｙ，＼ｙｉ，．．逦（２－１１）逡逑其中，＆代表第／时刻的ＲＮＮ隐层单元，其计算公式如下：逡逑ｓ，邋＝邋ｆ（ｓ，＾ｕｙｔ＾，Ｃｉ）逦（２－１２）逡逑ｃ，．依赖于来源于输入句子的隐藏序列（心．．．，／％

另一个挑战是标签不均衡问题。如果一个多标签分类数据集上一部分数据的标逡逑签数量远远小于另一部分数据，那么这个多标签分类数据集被认为是不均衡的。针对逡逑同一份案例数据进行分析，其结果如图３－２所示，其中，ｘ轴代表法条集合大小，ｙ轴逡逑代表样本比例占比。逡逑１００００邋■邋｜逡逑８０００邋－逡逑６０００邋－逡逑４０００邋－逡逑２０００邋－逡逑Ｌ邋ｌｌｌｌｌｌＨｌｍ，．…逡逑０逦１０逦２０逦３０逦４０逦５０逦６０逦７０逡逑图３－２：样本标签出现次数统计图，其中，ｘ代表按出现频次排序的标签，ｙ代表标签逡逑出现的次数。逡逑从图中可以看出，每种法条出现的数量符合长尾分布，这意味着很多法条很少在逡逑审判中被引用。大多数传统的多标签分类算法在训练过程屮通过最小化整体分类误逡逑差来进行优化，这种方式假设所有标签拥有同等的重要性。这种假设使得分类算法在逡逑训练过程中偏向于向数量占比多的标签进行学＞Ｊ。虽然法条定义可以体现不同法条逡逑之间的一些相关信息用于缓解标签不均衡问题（例如表３－１所示，刑法第－百九十七逡逑条和刑法第一百九十一条是非常相似的。），但是目前在判决预测研究屮没有工作考逡逑虑这方面的问题。逡逑现有的很多多标签分类工作都引入了标签之间的关联彳＇，＇（息，然而，这些工作都将逡逑多标签分类和阈值预测器分开学习

【相似文献】

相关期刊论文 前10条

1 朱昌俊;;“二等座院士”身上的职业精神[J];作文与考试;2017年26期

2 包佳佳;田伟;;大规模图上标签集约束路径的集合查询[J];计算机科学;2013年04期

3 吴金成;曹娇;赵文栋;张磊;;标签集中式发布订阅机制性能分析[J];指挥控制与仿真;2010年06期

4 吴小兰;章成志;;结合用户关系网和标签共现网的微博用户标签推荐研究[J];情报学报;2015年05期

5 李艳;贾君枝;;轻型标签本体与受控词表的结合研究[J];数字图书馆论坛;2014年08期

6 李松丽;曹平;姜盼;;国际标准化组织的标准标签集研究分析[J];航空标准化与质量;2018年02期

7 宋宁远;刘晶;;数据标签集及其适用性探析[J];数字图书馆论坛;2018年06期

8 丁子_g;;建设工程招标投标大数据标签体系的研究与应用[J];招标采购管理;2018年08期

9 包靖玲;霍永丰;顾佳;韩静;李君;袁庆;李敬文;沈锡宾;;美国国立医学图书馆期刊文档标签集概述[J];中国科技期刊研究;2013年04期

10 李锋;杨有龙;;基于标签特征和相关性的多标签分类算法[J];计算机工程与应用;2019年04期

相关重要报纸文章 前2条

1 王小默;应用精准用户画像有多难？[N];人民邮电;2018年

2 任远;世界无法依靠逃离来彻悟[N];文学报;2015年

相关博士学位论文 前4条

1 刘世超;基于网络嵌入学习和标签传播的社区发现算法研究[D];武汉大学;2017年

2 黄媛;面向服务的社会化标注方法研究[D];武汉大学;2013年

3 彭岳;基于主题模型的多标签学习问题研究[D];南京大学;2018年

4 杜卿;面向个性化服务的User Profile研究及应用[D];华南理工大学;2014年

相关硕士学位论文 前10条

1 杨泽;面向司法领域的多标签分类的研究与实现[D];北京邮电大学;2019年

2 廖丽芳;基于标签相关性和三层BP神经网络的多标签分类算法研究[D];厦门大学;2017年

3 杜炼;多标签中文文本分类中的关键技术研究[D];杭州电子科技大学;2018年

4 刘义明;多视角多标签最优链式学习算法[D];山东大学;2018年

5 张文杰;大规模多标签学习算法研究[D];华东师范大学;2018年

6 张春焰;层次多标签分类算法研究与应用[D];南京邮电大学;2018年

7 杨柳;基于标签的外卖平台用户画像研究[D];华中师范大学;2016年

8 陆健;大型仓储中基于无源RFID的人员与商品智能感知技术研究[D];东南大学;2018年

9 杨晓丹;基于耦合相似性的多标签k近邻分类方法研究[D];云南大学;2017年

10 吕荣荣;基于深度学习的多标签文本分类的研究与实现[D];东南大学;2018年

本文编号：2801866