基于BERT的保险领域问答系统的研究与实现

发布时间：2022-02-10 13:20

　　随着人工智能技术的深入研究,通用领域问答系统已经被人们广泛接受。但是,由于垂直领域文本数据较少,文本表征阻碍着垂直领域问答系统的发展。为使在垂直领域问答系统更加高效准确,本文面向保险领域,提出了一种基于BERT模型的智能问答方法,并对比传统方法、保险语料作者的QACNN模型和改进的QALSTM模型,证明了BERT模型在保险领域中的有效性。最后,使用保险领域问答语料,完成答案选择任务,进而采用基于深度学习模型BERT的方法和迁移学习的策略构建垂直领域的问答系统。本课题的主要工作包括:（1）分析了智能问答的背景意义和现状,并在此基础上研究智能问答涉及的基本理论和技术。（2）基于BERT模型保险领域的算法研究。首先对保险领域数据进行预处理操作,包括对数据格式的转换、数据的分词和去除数据的停用词等,然后实现传统方法和BERT模型的保险领域智能问答。此外,还比较使用不同相似度计算方式对保险领域智能问答的影响。（3）实现保险领域的问答系统。通过分析传统方法、BERT模型、QACNN模型和QALSTM模型各自在实验中的效果,选择BERT模型以及余弦距离为相似度计算方式构建系统。在win10上,以Py... 

【文章来源】：北方民族大学宁夏回族自治区

【文章页数】：70 页

【学位级别】：硕士

【部分图文】：

CBOW网络框架图

学 2020 届硕士学位论文 第二章 智能问答的基础 one-hot 编码与输入权重矩阵 W 相乘即可得到词的词向量。Skip-gram 模型gram 模型是根据当前词推断前后信息，与 CBOW 模型的结构大致相同， 模型在投影层不需做求和平均操作，学习目标是最大化目标函数，其示： wcL log p(Context(w)|w)义与公式(2-4)一致。络结构如图 2-2 所示：

图 2-3 未加入注意力机制的 Encoder-Decoder 框架入注意力机制后的框架见图 2-4 所示：图 2-4 加入注意力机制的 Encoder-Decoder 框架体地，给定句子序列（x1，x2，x3，...，xT），其生成目标 yt的模型图形说明

【参考文献】：
期刊论文
[1]自然语言处理发展及应用综述[J]. 赵京胜,宋梦雪,高祥.  信息技术与信息化. 2019(07)
[2]问答系统研究综述[J]. 吴灵慧.  科技传播. 2019(05)
[3]社区问答网站中问题的刻面组织方法——以知乎网站为例[J]. 何绯娟,郭朝彤,吴蓓,缪相林,刘均.  情报杂志. 2018(03)
[4]AI机器人媒介角色的拟人化现象与思考——以微软小冰为例[J]. 李枫,谢鹏飞.  现代视听. 2018(02)
[5]从平台到社区——网络社区问答的演变研究[J]. 谢新洲,黄杨.  出版科学. 2018(01)
[6]问答社区用户生成资源行为及影响因素分析——以百度知道为例[J]. 袁毅,杨莉.  图书情报工作. 2017(22)
[7]面向限定领域问答系统的自然语言理解方法综述[J]. 王东升,王卫民,王石,符建辉,诸峰.  计算机科学. 2017(08)
[8]人工智能:概念·方法·机遇[J]. 钟义信.  科学通报. 2017(22)
[9]基于Web的问答系统综述[J]. 李舟军,李水华.  计算机科学. 2017(06)
[10]基于词向量的学术语义搜索研究[J]. 陈国华,汤庸,许玉赢,贺超波,肖丹阳.  华南师范大学学报(自然科学版). 2016(03)

硕士论文
[1]基于深度学习的智能问答系统研究[D]. 邢世样.北京邮电大学 2017



本文编号：3618960