基于BERT词向量和Attention-CNN的智能司法研究

发布时间：2021-04-13 22:04

　　如今人工智能发展火热,其中智能司法是人工智能的重要应用领域。一方面,深度学习领域的迅速发展为智能司法研究提供了技术支持。另一方面,大量公开的裁判文书解决了智能司法研究的大数据需求。在智能司法建设中,利用人工智能实现罪名预测和相关法条预测,可以辅助法官进行判决并且节省大量资源,对于智能司法建设有着重大意义。本文通过解决罪名和相关法条多标签文本分类任务,进而实现罪名和相关法条预测。本文使用CAIL2018-Small数据集,针对单人多罪名多法条的刑事案件展开研究。数据集中的数据均来源于“中国裁判文书网”上的公开刑事案件裁判文书。数据集的所有数据均只有一个罪犯。数据集共包括202项罪名、183则法条,一条数据可能包含多项罪名和多则法条。本文利用微平均F1值（F1micro）和宏平均F1值（F1macro）作为评价指标。本文使用F1micro和F1macro平均值的100倍作为每项任务的score。本文的主要研究工作如下:（1）对比了三种平均词向量模型,包括平均word2vec词向量模型、平均BERT词向量模型、平均BERT-word2vec词向量模型。相较于两种单一词向量模型,融合不同词向量... 

【文章来源】：大连理工大学辽宁省 211工程院校 985工程院校 教育部直属院校

【文章页数】：63 页

【学位级别】：硕士

【文章目录】：
摘要
Abstract
1 绪论
    1.1 研究背景
    1.2 研究现状
        1.2.1 智能司法研究现状
        1.2.2 智能司法伦理研究
    1.3 本文主要工作
    1.4 本文组织结构
2 相关理论与技术
    2.1 文本分类技术
    2.2 分词技术
    2.3 词向量技术
        2.3.1 预训练词向量
        2.3.2 预训练语言模型
    2.4 本章小结
3 数据预处理
    3.1 数据集介绍与分析
        3.1.1 数据集介绍
        3.1.2 数据集分析
    3.2 数据预处理流程
    3.3 预训练词向量
        3.3.1 word2vec词向量
        3.3.2 BERT词向量
    3.4 本章小结
4 模型设计与训练方法
    4.1 任务分析与评价指标
        4.1.1 任务分析
        4.1.2 评价指标
    4.2 预测结果阈值设置
    4.3 模型设计
        4.3.1 平均词向量
        4.3.2 CNN
        4.3.3 Attention-CNN
        4.3.4 BERT-ACNN
    4.4 超参数设置与模型训练方法
    4.5 本章小结
5 实验与分析
    5.1 实验环境
    5.2 实验设计与结果分析
        5.2.1 参与对比的RNN模型
        5.2.2 模型对比实验
    5.3 模型性能提升
        5.3.1 过采样
        5.3.2 增加卷积层数
        5.3.3 模型性能提升实验
    5.4 本章小结
结论
参考文献
攻读硕士学位期间发表学术论文情况
致谢


【参考文献】：
期刊论文
[1]我国司法人工智能建设的问题与应对[J]. 程凡卿.  东方法学. 2018(03)
[2]人工智能时代的制度安排与法律规制[J]. 吴汉东.  法律科学(西北政法大学学报). 2017(05)



本文编号：3136088