基于深度神经网络的文本匹配算法研究

发布时间：2022-01-12 13:22

　　随着数字化社会的高速发展,人们在信息检索,自动问答,对话系统等人工智能领域的需求开始出现,需要智能匹配算法来满足用户的高需求。为解决这一问题,自然语言处理技术应运而生,它能够为用户提供高效的信息检索服务和舒适的人机交互体验。文本匹配算法是自然语言处理技术中的核心问题,传统文本匹配领域中文本表示的维数灾难问题、数据稀疏问题等已经影响自然语言处理领域的发展。近年来由于深度学习和文本词向量表征技术的迅猛发展,基于深度神经网络的文本匹配逐渐成为一个新的研究方向。本文研究了文本匹配经典的深度学习模型,并提出了基于多语义文档表示的文本匹配算法和基于注意力机制的文本匹配算法。主要工作包括:首先,研究了基于分布式假说的词表征技术。主要研究了词的分布式表示（词向量/词表征）相关技术,包括基于神经网络的词表征（词向量/词的分布表示）技术,基于矩阵的词表征（词向量/词的分布表示）技术和基于聚类的词表征（词向量/词的分布表示）技术。其次,提出了一种深度多视图语义文档表示模型（DMVSR）,DMVSR模型可以捕捉文本间长距离语义依赖关系,得到多粒度文本高维语义匹配信息。每个文本稠密向量由双向长短期记忆神经网络进... 

【文章来源】：中国科学技术大学安徽省 211工程院校 985工程院校

【文章页数】：77 页

【学位级别】：硕士

【部分图文】：

图２．１?ＮＮＬＭ语言模型结构图??模型的训练是由一组词序列叫，．．．，＼＾，州，ｅＦ作为输入，其中Ｖ是所有词汇的??

?ｉａｄｅｘｆｏｒｉｖｒ？２?ｉｎｄｅｘ?ｆｏｒ?ｗ，．?＼??图２．１?ＮＮＬＭ语言模型结构图??模型的训练是由一组词序列叫，．．．，＼＾，州，ｅＦ作为输入，其中Ｖ是所有词汇的??集合，Ｋ表示第／个词汇。最大化似然：??尸（ｗ，．?｜ｖ＾＿？＋１ｍ）?（２－８）??其中ｗ，为目标词，??ｗ，＿？＋１，…，ｗＭ为输入词汇。??ＮＮＬＭ语言模型的前向传播可分为特征映射和计算条件概率分布两部。矩??阵Ｃｅ?７？ｌ＞｜ｘｍ将输入的词序列映射为一个特征向量，Ｃ（／）ｅ?＾表示第／个特征向??量，其中ｍ表示特征维度。通过特征映射的Ｃ（ｗ，直接合并成一个??（ｎ－ｌ）ｍ维的长向量（Ｃ（ｗ

回顾传统神经网络语言模型，传统神经网络语言模型最大的问题在于从全连??接神经网络的隐藏层部分到输出层部分的５Ｖ＃ｍａｘ计算成本很大，因为要计算所??有词的概率。如下图２－４所示，其中Ｋ是词汇表的大小。??Ｉｎｐｕｔ?ｌａｙｅｒ?Ｈｉｄｄｅｎ?ｌａｙｅｒ?Ｏｕｔｐｕｔ?ｌａｙｅｒ??￣〇?命．一?°－ｖ－ｉ??５?Ｘ?４?Ｘ?５??＊＊?Ｃ?ｈ，?＇：?０．？／??．＇Ｖｒｖ．＼＝｛＇＇ｆｅ）?；）?｜?＇Ｖ：Ｓｖ，－｛ｗＶ｝．??图２．４神经网络语言模型结构图??层次化｜２Ｋ｜可以大大的减少计算成本。层次化??Ｓ＾／ｉｗａｘ?（／ｆ／ｅｒａｎ：７〗／ｃａ／?Ｓｑ／ｈＨａｘ）使用霍夫曼树代替从隐藏层到输出层和／丨ｍａｘ层??的全连接矩阵映射。层次化和（Ｍｅｒａｒｃ／ｊ／ｃａ／?把语义模型中所有词??汇从输出层计算巧／ｈｒａｘ概率计算换成霍夫曼树计算，因此Ｓｏｆｔｍａｘ概率计算主??要是采用沿着树形结构进行就可以。如下图２－５所示，可以沿着霍夫曼树从最上??层的根节点一直沿着霍夫曼树走到对应的目标叶子节点的词％。??１３??

【参考文献】：
期刊论文
[1]深度文本匹配综述[J]. 庞亮,兰艳艳,徐君,郭嘉丰,万圣贤,程学旗.  计算机学报. 2017(04)
[2]基于LDA模型的Ad hoc信息检索方法研究[J]. 卜质琼,郑波尽.  计算机应用研究. 2015(05)
[3]语法和语义相结合的中文对话系统问题理解研究[J]. 黄沛杰,黄强,吴秀鹏,吴桂盛,郭庆文,陈楠挺,陈楚萍.  中文信息学报. 2014(06)
[4]一种面向社区型问句检索的主题翻译模型[J]. 张伟男,张宇,刘挺.  计算机学报. 2015(02)
[5]任务型人机对话系统中的认知技术——概念、进展及其未来[J]. 俞凯,陈露,陈博,孙锴,朱苏.  计算机学报. 2015(12)
[6]问答式检索技术及评测研究综述[J]. 吴友政,赵军,段湘煜,徐波.  中文信息学报. 2005(03)
[7]自动问答综述[J]. 郑实福,刘挺,秦兵,李生.  中文信息学报. 2002(06)

博士论文
[1]基于深度神经网络的文本表示及其应用[D]. 户保田.哈尔滨工业大学 2016
[2]基于深度学习的文本向量化研究与应用[D]. 于政.华东师范大学 2016



本文编号：3584846