基于模型融合的法律判决预测多任务学习模型
发布时间：2022-01-19 23:30
基于案情描述的法律判决预测任务是指通过给定的刑事法律文书中的案情描述部分对裁判文书进行判决预测,这不仅可为司法人员提供参考从而有效提高司法效率,也有利于司法的公开和公正。其中罪名预测和法条推荐是法律判决预测的2个重要子任务,彼此密切相关、相互影响,但传统方法常常将其当做独立的任务分开处理,无法捕获到子任务间的关系,从而导致预测性能不佳。该任务的另一难点在于难以从案情文本中提取到能够区分案情描述相似度较高的易混淆罪名的相关特征。为了解决这些问题,本文利用深度学习技术提出了一个基于模型融合的多任务学习模型,主要研究内容如下:（1）为了捕捉罪名预测和法条推荐间的逻辑依赖关系,本文采用多任务学习的模型结构。在该结构中,特征提取模块提取案情描述中的关键语义信息、罪名关键词表示和全局案情描述表示,并送入多任务预测模块;多任务预测模块将获得的表示特征进行拼接,对罪名预测和法条推荐任务进行联合建模学习,采用多个二元分类同时预测罪名和法条。这种多任务学习的模型结构通过共享表示,不但在学习多个相关任务时具有相当的优势,而且提升了模型的泛化能力。（2）为了充分提取案情文本特征,本文采用分别构建模型的方式,对...
【文章来源】：华南理工大学广东省 211工程院校 985工程院校 教育部直属院校
【文章页数】：61 页
【学位级别】：硕士
【部分图文】：
BERT与GPT、ELMO模型的对比[35]
第二章相关知识综述9图2-1word2vec模型图2-2BERT与GPT、ELMO模型的对比[35]从初期的专家规则到九十年代的特征工程再到如今的深度学习。文本分类早期的方法主要是基于知识工程的，是在领域专家的知识基础上手工设计一系列规则来构建分类器。这种方法不但费时费力，而且覆盖的范围和准确率都十分有限。到上世纪九十年代，伴随着统计学习方法的发展，特别是互联网可用训练数据的大量增长和机器学习学科的日渐兴起，文本分类问题的处理过程就逐渐演变成了特征工程和浅层分类相结合的建模流程，特征工程又可拆分为文本预处理、文本表示以及特征选择三个部分，文本分类的流程图如图2-3所示。对于中文文本来说，文本预处理是对训练集中的文本进行分词、去停用词、数据清洗等操作，并对文本进行去噪处理。传统的分词算法主要有基于字符串匹配的正向、逆向、双向最大匹配方法[52]，基于统计的n-gram、隐马尔可夫模型（HMM）、条件随机场（CRF）方法[53]以及基于理解的句法语义分析消歧方法等。而去停用词是把文本中的代词、连词、介词等高频却对文本分类无帮助的词清除掉，以避免它们对文本分类结果a)CBOW模型b)Skip-gram模型
华南理工大学硕士学位论文10图2-3文本分类流程图产生干扰。文本表示是将文本转换为计算机可理解的方式，是决定文本质量最重要的部分，具体研究内容已描述在2.1部分。对于大部分文本分类来说，文本表示的特征集会表现出高维稀疏、特征项繁杂冗余的特点，这会对文本分类的性能造成很不好的影响。因此需要使用特征选择方法来筛选出更具有区分性和代表性的词，用来表示文本。特征选择不仅在一定程度上缓解维度灾难问题，还在去除不相关特征的同时，降低了文本分类的难度。根据特征选择的形式可将特征选择的方法分为三种：过滤式、包裹式和嵌入式特征选择。具体地，过滤式特征选择是先采用卡方检验法（CHI）、TF-IDF[18]、信息增益（IG）等指标计算方式对文本数据进行特征选择，然后再训练分类器；包裹式特征选择主要是采用递归特征消除法，直接将最终使用的分类器性能作为特征选择的评价准则；而嵌入式特征选择是将特征选择过程和分类器训练过程融为一体，在分类器训练过程中得到了各个特征的权重系数，根据系数从大到小选择特征。在定义并抽取到任务相关特征后，通过朴素贝叶斯（NB）、支持向量机（SVM）、决策树（DecisionTree）等分类器的训练，学习到相关特征的权重系数，完成从特征向量到类别空间的映射。然而，将特征工程与分类器相结合的方法是由人类经验和知识驱动的，模型的性能很大程度上取决于更有效的特征设计，这需要在领域专家的知识基础上精心设计一系列特征。对于文本分类的简单任务而言，精心设计的特征通常就可以实现良好的分类性能。但是对于法律判决预测这种较困难的任务来说，输入空间到标签空间之间复杂的映射关系需要与之对应复杂的启发式特征，这种特征的设计是极其艰难且不现实的。因此基于特征工程的方法对于这种困难的文本
【参考文献】：
期刊论文
[1]融入罪名关键词的法律判决预测多任务学习模型[J]. 刘宗林,张梅山,甄冉冉,公佐权,余南,付国宏. 清华大学学报(自然科学版). 2019(07)
[2]基于混合深度神经网络模型的司法文书智能化处理[J]. 王文广,陈运文,蔡华,曾彦能,杨慧宇. 清华大学学报(自然科学版). 2019(07)
[3]我国司法人工智能建设的问题与应对[J]. 程凡卿. 东方法学. 2018(03)
[4]人工智能时代的制度安排与法律规制[J]. 吴汉东. 法律科学(西北政法大学学报). 2017(05)
[5]基于字符串匹配的中文分词算法的研究[J]. 常建秋,沈炜. 工业控制计算机. 2016(02)
[6]一种改进的TFIDF网页关键词提取方法[J]. 李静月,李培峰,朱巧明. 计算机应用与软件. 2011(05)
硕士论文
[1]基于深度学习的法律智能研究与应用[D]. 李小鹏.河南大学 2019
[2]基于统计方法的中文文本分类[D]. 殷越.华中师范大学 2017
本文编号：3597774
【文章来源】：华南理工大学广东省 211工程院校 985工程院校 教育部直属院校
【文章页数】：61 页
【学位级别】：硕士
【部分图文】：
BERT与GPT、ELMO模型的对比[35]
第二章相关知识综述9图2-1word2vec模型图2-2BERT与GPT、ELMO模型的对比[35]从初期的专家规则到九十年代的特征工程再到如今的深度学习。文本分类早期的方法主要是基于知识工程的，是在领域专家的知识基础上手工设计一系列规则来构建分类器。这种方法不但费时费力，而且覆盖的范围和准确率都十分有限。到上世纪九十年代，伴随着统计学习方法的发展，特别是互联网可用训练数据的大量增长和机器学习学科的日渐兴起，文本分类问题的处理过程就逐渐演变成了特征工程和浅层分类相结合的建模流程，特征工程又可拆分为文本预处理、文本表示以及特征选择三个部分，文本分类的流程图如图2-3所示。对于中文文本来说，文本预处理是对训练集中的文本进行分词、去停用词、数据清洗等操作，并对文本进行去噪处理。传统的分词算法主要有基于字符串匹配的正向、逆向、双向最大匹配方法[52]，基于统计的n-gram、隐马尔可夫模型（HMM）、条件随机场（CRF）方法[53]以及基于理解的句法语义分析消歧方法等。而去停用词是把文本中的代词、连词、介词等高频却对文本分类无帮助的词清除掉，以避免它们对文本分类结果a)CBOW模型b)Skip-gram模型
华南理工大学硕士学位论文10图2-3文本分类流程图产生干扰。文本表示是将文本转换为计算机可理解的方式，是决定文本质量最重要的部分，具体研究内容已描述在2.1部分。对于大部分文本分类来说，文本表示的特征集会表现出高维稀疏、特征项繁杂冗余的特点，这会对文本分类的性能造成很不好的影响。因此需要使用特征选择方法来筛选出更具有区分性和代表性的词，用来表示文本。特征选择不仅在一定程度上缓解维度灾难问题，还在去除不相关特征的同时，降低了文本分类的难度。根据特征选择的形式可将特征选择的方法分为三种：过滤式、包裹式和嵌入式特征选择。具体地，过滤式特征选择是先采用卡方检验法（CHI）、TF-IDF[18]、信息增益（IG）等指标计算方式对文本数据进行特征选择，然后再训练分类器；包裹式特征选择主要是采用递归特征消除法，直接将最终使用的分类器性能作为特征选择的评价准则；而嵌入式特征选择是将特征选择过程和分类器训练过程融为一体，在分类器训练过程中得到了各个特征的权重系数，根据系数从大到小选择特征。在定义并抽取到任务相关特征后，通过朴素贝叶斯（NB）、支持向量机（SVM）、决策树（DecisionTree）等分类器的训练，学习到相关特征的权重系数，完成从特征向量到类别空间的映射。然而，将特征工程与分类器相结合的方法是由人类经验和知识驱动的，模型的性能很大程度上取决于更有效的特征设计，这需要在领域专家的知识基础上精心设计一系列特征。对于文本分类的简单任务而言，精心设计的特征通常就可以实现良好的分类性能。但是对于法律判决预测这种较困难的任务来说，输入空间到标签空间之间复杂的映射关系需要与之对应复杂的启发式特征，这种特征的设计是极其艰难且不现实的。因此基于特征工程的方法对于这种困难的文本
【参考文献】：
期刊论文
[1]融入罪名关键词的法律判决预测多任务学习模型[J]. 刘宗林,张梅山,甄冉冉,公佐权,余南,付国宏. 清华大学学报(自然科学版). 2019(07)
[2]基于混合深度神经网络模型的司法文书智能化处理[J]. 王文广,陈运文,蔡华,曾彦能,杨慧宇. 清华大学学报(自然科学版). 2019(07)
[3]我国司法人工智能建设的问题与应对[J]. 程凡卿. 东方法学. 2018(03)
[4]人工智能时代的制度安排与法律规制[J]. 吴汉东. 法律科学(西北政法大学学报). 2017(05)
[5]基于字符串匹配的中文分词算法的研究[J]. 常建秋,沈炜. 工业控制计算机. 2016(02)
[6]一种改进的TFIDF网页关键词提取方法[J]. 李静月,李培峰,朱巧明. 计算机应用与软件. 2011(05)
硕士论文
[1]基于深度学习的法律智能研究与应用[D]. 李小鹏.河南大学 2019
[2]基于统计方法的中文文本分类[D]. 殷越.华中师范大学 2017
本文编号：3597774
本文链接：https://www.wllwen.com/falvlunwen/susongfa/3597774.html
