语义相似度计算方法在金融智能客服中的应用研究
发布时间：2021-01-05 12:48
如今,传统以人工服务为主的客服形态不断向智能化、多渠道的方向推进,尤其是客服密集型的互联网金融行业。智能客服可以实现客服工作的自动化和智能化,减少大量人工成本、提升用户体验。语义相似度计算是智能客服中的关键技术,大型企业的客服系统所涉及的产品和服务种类繁多,用户提出的问题大多以不规则的短文本形式出现,这使得用户提问与标准问题库之间的语义精准匹配成为难题,通过人工智能和自然语言处理技术解决语义相似度计算任务是当前的研究热点之一。本文旨在研究应用于智能客服的语义相似度计算方法,从文本预处理的中文分词、词性标注、文本词向量表示等方面展开叙述。重点研究了基于神经网络的语义相似度计算方法,针对现有方法存在的一些问题,提出两种改进的语义相似度计算方法,分别是基于分词纠正的门控循环网络方法和结合成分句法分析的扩张卷积网络方法。具体地,在预处理阶段考虑到专业领域分词易出现分词错误,提出一种面向金融词汇的分词纠正模型。针对过长或过短句子在输入到神经网络前的截取和补零操作所导致的部分语义丢失问题,提出利用成分句法分析来设计规则补充句中重要的语义成分。在语义特征学习阶段改进了网络结构,设计了两组单层和双层的...
【文章来源】：东北林业大学黑龙江省 211工程院校 教育部直属院校
【文章页数】：64 页
【学位级别】：硕士
【部分图文】：
图２－３词向量的二维分布图??通过词向量间的余弦距离验证，训练得到的词向量是否可以有效的表示词语的语义??相似性
积的Ｔｅｘｔ－ＣＮＮ?４＇?／厂］；：？?：／??窗ｕ大小为３、４、５的?，ｖ￣?／?ｆ?／?ｋ?／??卷积滤波器?／二／－／－Ｕ＼?／／?／?／／??＼?ａ?ｐｆ＇Ａ?Ｈ??Ｍ－ｌｘＨ－?Ａ?ｉＷ－??…?ｘｌ，ｘ２，ｘ３，?－?ｘｎ－２Ｘ．ｄ２?Ｓ１，Ｓ２，Ｓ３，?？＿？?Ｓｎ＞＾，ｅ２??成分句法分析??ｄ］?ｄ２?ｃ】＼ｒ－士－，ｅ２??ｘｌ，ｘ２，ｘ３，…ｘｎ?ｓｌ，ｓ２，ｓ３，?—?ｓｎ??Ｓｅｎｔｅｎｃｅ?Ｌ?Ｓｅｎｔｅｎｃｅ?．Ｖ??图３－７结合成分句法分析的扩张卷积网络方法??３．２．２成分句法分析的语义补充??本节主要介绍利用成分句法分析补充语义的规则，分别从成分句法分析原理和针对??过长和过短句子的语义补充规则制定进行说明。??３．２．２．１成分句法分析??句法分析是自然语言处理中的关键技术之一，其基本任务是确定句子的句法结构或??者句子中词汇之间的依存关系。句法分析分为成分句法分析（Ｃｏｎｓｔｉｔｕｅｎｃｙ?Ｐａｒｓｉｎｇ?）和??依存句法分析（Ｄｅｐｅｎｄｅｎｃｙ?Ｐａｒｓｉｎｇ）?｜４Ｇ］。成分句法分析是指给定一个句子，根据相应??语言的语法结构分析得到句子的短语结构句法树ｌ４ｌＵ通常句子的主要成分包括两大类：??第一类为句子的基本语法成分主语、谓语、宾语；第二类是修饰基本成分的状语、定??语、补语等。??Ｓｔａｎｆｏｒｄ?Ｐａｒｓｅ是斯坦福自然语言处理组织为成分句法分析提供的工具。该句法解??析器可以通过内部算法得到句子的短语结构树。而且，该解析器覆盖的语言种类很广泛??除了更常用于解析英语之外，还可以用于其他语言比如汉语、德语、阿拉伯语、意大利??语、
ＵＰ?ＰＰ?＇?＞Ｐ??，＼?＇ＮＰ?／＼?／?＼＼??ｂｏｕｇｈｔ?ＮＰ?ＰＰ?Ｔ?＾?ｓｏｌｄ?ＰＲＰ?Ｔ〇?ＮＰ?ＩＮ?ＮＰ??，?＇?；?、、?ｆ?ｒ＼Ｄ?｜?］?Ｉ?｜?／．?、，－？、??ＮＮＰ?ＰＯＳ?ＩＮ?ＮＰ?Ｉｏｒ?／Ｓ?ｉｔ?ｔｏ?ＮＮＰ?ｆｏｒ?ＮＰ?ＰＰ??Ｄｏｍｉｎｉｃｋ?＊Ｓ?ｉｉ?ＣＤ?Ｓ?ＣＤ?ＣＤ?Ｓａｆｅｗａｙ?ＱＰ?ＩＮ?ＮＰ??▲?￥＾ＣＤ?ＣＤ?ｉｎ?ＣＤ??Ｓ?１＾８?ｂｉｌｌｉｏｎ?１０９８??图３－８?Ｓｔａｎｆｏｒｄ?Ｐａｒｓｅ成分句法分析示例??Ｓｔａｎｆｏｒｄ?Ｐａｒｓｅ工具以短语结构树的形式呈现句子的语法结构，并标记句子中每个单??词的语法成分和词性。Ｓｔａｎｆｏｒｄ?Ｐａｒｓｅ分析出的词汇和短语的类型以及相应标注如表３－３??所示。??表３－３?Ｓｔａｎｆｏｒｄ?Ｐａｒｓｅ分析词汇和短语的类型及标注??关系类型?标注?关系类型?标注??Ｎｏｕｎ?ｐｈｒａｓｅｓ?ＮＰ?Ｐｅｒｓｏｎａｌ?ｐｒｏｎｏｕｎ?ＰＲＰ??Ｐｈｒａｓａｌ?ｖｅｒｂｓ?ＶＰ?ａｄｖｅｒｂｓ?ＲＢ??ｃｏｎｊｕｎｃｔｉｏｎｓ?ＣＣ?ｄｅｔｅｒｍｉｎｅｒ?ＤＴ??Ｐｒｅｐｏｓｉｔｉｏｎａｌ?ｐｈｒａｓｅ?ＰＰ?Ｐｏｓｉｔｉｏｎａｌ?ｐｈｒａｓｅｓ?ＬＣＰ??对于中文成分句法分析，哈尔滨工业大学开发的语言技术平台ＬＴＰ提供＿／?？系列的??汉语语言处理模块，其中包括分词、命名实体识别、成分句法分析等Ｍｌ。ＬＴＰ进行成分??句法分析的两个例句収门蚂蚁金服符能客服数据集，如阁３－９所示。??ＨＥＩＸ?ＶＯＢ??／＾ＡＴ＼?Ａ／．Ａ
【参考文献】：
期刊论文
[1]文本相似度计算方法研究综述[J]. 王春柳,杨永辉,邓霏,赖辉源. 情报科学. 2019(03)
[2]文本相似度计算研究进展综述[J]. 王寒茹,张仰森. 北京信息科技大学学报(自然科学版). 2019(01)
[3]人工智能在金融领域的应用场景和现状分析[J]. 马奔,张璐. 时代金融. 2019(04)
[4]人工智能在金融业智能客服领域的应用分析[J]. 聂长森,洪武,韩志雄,杨紫. 金融科技时代. 2018(12)
[5]人工智能在金融领域的发展态势和应用展望[J]. 冯晓辉,王哲,李雅琪. 人工智能. 2018(05)
[6]基于修正偏移量的句子相似度算法[J]. 裴飞龙,闵华松. 计算机工程. 2017(09)
[7]用于微博情感分析的一种情感语义增强的深度学习模型[J]. 何炎祥,孙松涛,牛菲菲,李飞. 计算机学报. 2017(04)
[8]深度文本匹配综述[J]. 庞亮,兰艳艳,徐君,郭嘉丰,万圣贤,程学旗. 计算机学报. 2017(04)
[9]基于LSTM网络的序列标注中文分词法[J]. 任智慧,徐浩煜,封松林,周晗,施俊. 计算机应用研究. 2017(05)
[10]智能客服机器人的现状及发展[J]. 李斐,邵晓东,周力恒,金阳. 中国传媒科技. 2016(04)
硕士论文
[1]结合神经网络的文本语义相似度研究[D]. 靳丽.山东大学 2019
[2]基于卷积神经网络的中文句子相似度计算[D]. 孙阳.中国科学技术大学 2019
[3]智能客服问答系统关键算法研究及应用[D]. 张素荣.南京邮电大学 2018
[4]非平衡文本数据分类算法比较与实现[D]. 王占伟.山西大学 2018
[5]基于语句相似度计算的FAQ问答系统设计[D]. 高旭杨.浙江大学 2018
[6]不平衡学习中的重采样方法研究[D]. 周建伟.南京理工大学 2018
[7]面向智能客服机器人的交互式问句理解研究[D]. 文博.哈尔滨工业大学 2014
本文编号：2958691
【文章来源】：东北林业大学黑龙江省 211工程院校 教育部直属院校
【文章页数】：64 页
【学位级别】：硕士
【部分图文】：
图２－３词向量的二维分布图??通过词向量间的余弦距离验证，训练得到的词向量是否可以有效的表示词语的语义??相似性
积的Ｔｅｘｔ－ＣＮＮ?４＇?／厂］；：？?：／??窗ｕ大小为３、４、５的?，ｖ￣?／?ｆ?／?ｋ?／??卷积滤波器?／二／－／－Ｕ＼?／／?／?／／??＼?ａ?ｐｆ＇Ａ?Ｈ??Ｍ－ｌｘＨ－?Ａ?ｉＷ－??…?ｘｌ，ｘ２，ｘ３，?－?ｘｎ－２Ｘ．ｄ２?Ｓ１，Ｓ２，Ｓ３，?？＿？?Ｓｎ＞＾，ｅ２??成分句法分析??ｄ］?ｄ２?ｃ】＼ｒ－士－，ｅ２??ｘｌ，ｘ２，ｘ３，…ｘｎ?ｓｌ，ｓ２，ｓ３，?—?ｓｎ??Ｓｅｎｔｅｎｃｅ?Ｌ?Ｓｅｎｔｅｎｃｅ?．Ｖ??图３－７结合成分句法分析的扩张卷积网络方法??３．２．２成分句法分析的语义补充??本节主要介绍利用成分句法分析补充语义的规则，分别从成分句法分析原理和针对??过长和过短句子的语义补充规则制定进行说明。??３．２．２．１成分句法分析??句法分析是自然语言处理中的关键技术之一，其基本任务是确定句子的句法结构或??者句子中词汇之间的依存关系。句法分析分为成分句法分析（Ｃｏｎｓｔｉｔｕｅｎｃｙ?Ｐａｒｓｉｎｇ?）和??依存句法分析（Ｄｅｐｅｎｄｅｎｃｙ?Ｐａｒｓｉｎｇ）?｜４Ｇ］。成分句法分析是指给定一个句子，根据相应??语言的语法结构分析得到句子的短语结构句法树ｌ４ｌＵ通常句子的主要成分包括两大类：??第一类为句子的基本语法成分主语、谓语、宾语；第二类是修饰基本成分的状语、定??语、补语等。??Ｓｔａｎｆｏｒｄ?Ｐａｒｓｅ是斯坦福自然语言处理组织为成分句法分析提供的工具。该句法解??析器可以通过内部算法得到句子的短语结构树。而且，该解析器覆盖的语言种类很广泛??除了更常用于解析英语之外，还可以用于其他语言比如汉语、德语、阿拉伯语、意大利??语、
ＵＰ?ＰＰ?＇?＞Ｐ??，＼?＇ＮＰ?／＼?／?＼＼??ｂｏｕｇｈｔ?ＮＰ?ＰＰ?Ｔ?＾?ｓｏｌｄ?ＰＲＰ?Ｔ〇?ＮＰ?ＩＮ?ＮＰ??，?＇?；?、、?ｆ?ｒ＼Ｄ?｜?］?Ｉ?｜?／．?、，－？、??ＮＮＰ?ＰＯＳ?ＩＮ?ＮＰ?Ｉｏｒ?／Ｓ?ｉｔ?ｔｏ?ＮＮＰ?ｆｏｒ?ＮＰ?ＰＰ??Ｄｏｍｉｎｉｃｋ?＊Ｓ?ｉｉ?ＣＤ?Ｓ?ＣＤ?ＣＤ?Ｓａｆｅｗａｙ?ＱＰ?ＩＮ?ＮＰ??▲?￥＾ＣＤ?ＣＤ?ｉｎ?ＣＤ??Ｓ?１＾８?ｂｉｌｌｉｏｎ?１０９８??图３－８?Ｓｔａｎｆｏｒｄ?Ｐａｒｓｅ成分句法分析示例??Ｓｔａｎｆｏｒｄ?Ｐａｒｓｅ工具以短语结构树的形式呈现句子的语法结构，并标记句子中每个单??词的语法成分和词性。Ｓｔａｎｆｏｒｄ?Ｐａｒｓｅ分析出的词汇和短语的类型以及相应标注如表３－３??所示。??表３－３?Ｓｔａｎｆｏｒｄ?Ｐａｒｓｅ分析词汇和短语的类型及标注??关系类型?标注?关系类型?标注??Ｎｏｕｎ?ｐｈｒａｓｅｓ?ＮＰ?Ｐｅｒｓｏｎａｌ?ｐｒｏｎｏｕｎ?ＰＲＰ??Ｐｈｒａｓａｌ?ｖｅｒｂｓ?ＶＰ?ａｄｖｅｒｂｓ?ＲＢ??ｃｏｎｊｕｎｃｔｉｏｎｓ?ＣＣ?ｄｅｔｅｒｍｉｎｅｒ?ＤＴ??Ｐｒｅｐｏｓｉｔｉｏｎａｌ?ｐｈｒａｓｅ?ＰＰ?Ｐｏｓｉｔｉｏｎａｌ?ｐｈｒａｓｅｓ?ＬＣＰ??对于中文成分句法分析，哈尔滨工业大学开发的语言技术平台ＬＴＰ提供＿／?？系列的??汉语语言处理模块，其中包括分词、命名实体识别、成分句法分析等Ｍｌ。ＬＴＰ进行成分??句法分析的两个例句収门蚂蚁金服符能客服数据集，如阁３－９所示。??ＨＥＩＸ?ＶＯＢ??／＾ＡＴ＼?Ａ／．Ａ
【参考文献】：
期刊论文
[1]文本相似度计算方法研究综述[J]. 王春柳,杨永辉,邓霏,赖辉源. 情报科学. 2019(03)
[2]文本相似度计算研究进展综述[J]. 王寒茹,张仰森. 北京信息科技大学学报(自然科学版). 2019(01)
[3]人工智能在金融领域的应用场景和现状分析[J]. 马奔,张璐. 时代金融. 2019(04)
[4]人工智能在金融业智能客服领域的应用分析[J]. 聂长森,洪武,韩志雄,杨紫. 金融科技时代. 2018(12)
[5]人工智能在金融领域的发展态势和应用展望[J]. 冯晓辉,王哲,李雅琪. 人工智能. 2018(05)
[6]基于修正偏移量的句子相似度算法[J]. 裴飞龙,闵华松. 计算机工程. 2017(09)
[7]用于微博情感分析的一种情感语义增强的深度学习模型[J]. 何炎祥,孙松涛,牛菲菲,李飞. 计算机学报. 2017(04)
[8]深度文本匹配综述[J]. 庞亮,兰艳艳,徐君,郭嘉丰,万圣贤,程学旗. 计算机学报. 2017(04)
[9]基于LSTM网络的序列标注中文分词法[J]. 任智慧,徐浩煜,封松林,周晗,施俊. 计算机应用研究. 2017(05)
[10]智能客服机器人的现状及发展[J]. 李斐,邵晓东,周力恒,金阳. 中国传媒科技. 2016(04)
硕士论文
[1]结合神经网络的文本语义相似度研究[D]. 靳丽.山东大学 2019
[2]基于卷积神经网络的中文句子相似度计算[D]. 孙阳.中国科学技术大学 2019
[3]智能客服问答系统关键算法研究及应用[D]. 张素荣.南京邮电大学 2018
[4]非平衡文本数据分类算法比较与实现[D]. 王占伟.山西大学 2018
[5]基于语句相似度计算的FAQ问答系统设计[D]. 高旭杨.浙江大学 2018
[6]不平衡学习中的重采样方法研究[D]. 周建伟.南京理工大学 2018
[7]面向智能客服机器人的交互式问句理解研究[D]. 文博.哈尔滨工业大学 2014
本文编号：2958691
本文链接：https://www.wllwen.com/guanlilunwen/bankxd/2958691.html
