基于知识图谱的深度法律内容问答模型

发布时间：2021-01-13 01:06

　　随着我国法治进程不断推进,民众法律意识逐步提升,基层司法机构与法律从业人员的工作量达到了前所未有的高度。法律内容问答涉及广大基层群众的生活,具有普适意义。但由于法律咨询专业性较强,并且价格不菲,普通民众很难享受到高质量的法律问答咨询服务。法律咨询的群众需求量大、人力成本高。因此,研发自动化法律问答模型具有极强的应用价值与现实意义。法律问答面临的难点为专业性强、数据量少。法律行业由法律法规、判决文书等书面文件进行规范,代表了行业统一的逻辑标准和实践原则。然而当前的法律问答系统多采用关键词模型或简单深度模型,忽视了行业知识。引入法律知识图谱能增强问答过程中的法律专业性。同时,法律问答相比开放领域具有真实数据少、标注成本高的特点,深度模型在少样本条件下面临着训练难、效果差的问题。使用迁移学习能够使模型快速训练并达到良好效果。因此,本文基于法律知识图谱,结合迁移学习,对法律问答进行研究,主要研究内容包括:1.提出基于知识图谱的法律行业问答模型:针对问答模型对法律专业知识利用不足的问题,构建了基于案由与案情要素的法律知识图谱,表达法律行业的逻辑知识,在模型中通过注意力机制将法律知识图谱上的案情要... 

【文章来源】：中国科学院大学(中国科学院深圳先进技术研究院)广东省

【文章页数】：77 页

【学位级别】：硕士

【部分图文】：

自动化问答Figure1.1Questionanswering

基于知识图谱的深度法律内容问答模型对打分函数的最优选择：=∑∑(;,;,)(2.5)鉴于模型总体架构的不同，答案选择模型可以从三个不同的角度进行分类[24]：表达式模型与交互式模型表达式模型定义了较为复杂的与，通过深度学习网络单独实现对问题与答案的特征刻画。而交互式模型则引入了(,)，旨在直接描述问题与回答间的交互信息与语义关联。图2.1表达式模型与交互式模型示意图Figure2.1Representation-focusedmodelandinteraction-focusedmodel单粒度模型与多粒度模型模型的粒度分为两种，即语义的粒度和特征的粒度（如图2.2）。多语义粒度模型将语句或文档视为不同层次片段的结合，分别对词级别信息、短语级别信息、句子级别信息甚至段落级别信息进行处理。多特征粒度模型则是尽可能将深度网络每一层抽象出的特征进行考虑和保留，避免因某一层信息抽取失效而导致后续模型性能降低。对称模型与非对称模型对称模型对问题与回答使用相同的特征抽取函数(=)。非对称模型则反之(≠)。其它排序问题（例如检索问题中），一个长篇文档中可能只有某一个段落与检索词强烈相关。在这样的场景下，模型更倾向于对文档进行特殊的模型设计（如采用分片处理），即采用非对称模型(≠)。14

第2章法律内容问答相关技术图2.2多特征粒度模型与多语义粒度模型示意图Figure2.2Multi-granularityarchitectures表2.1深度答案选择模型结构分类表Table2.1Overviewofexistingdeeplearningmethodstoanswerselection模型表达式/交互式单粒度/多粒度对称/非对称训练方式QA-LSTM[25]表达式单粒度对称逐对QA-LSTM-CNN[25]表达式单粒度对称逐对QA-LSTM-attention[25]交互式单粒度非对称逐对CNN[11]交互式多粒度对称逐点AP-CNN/LSTM[15]交互式单粒度非对称逐对LDC[26]交互式单粒度非对称逐点Pairwise[27]交互式单粒度对称逐对BiMPM[21]交互式多粒度对称逐点Dynamic-Clip[23]交互式单粒度对称逐列HyperQA[22]表达式单粒度对称逐对KAN[19]交互式多粒度非对称逐点如表2.1所示，深度答案选择模型在训练方式上主要采用逐对训练与逐点训练。由于交互式的网络结构能够更好地使问题根据回答的不同信息在语义上针对句子的不同部分进行加权，因而越来越多模型使用交互式结构。模型特征粒度也越发趋于使用多粒度的模型从而防止特征信息的损失。答案选择的场景中，问题信息与答案信息一般采用相同的网络进行提取，即采用对称网络结构。15


本文编号：2973906