基于深度学习的跨语言相似度评估技术研究

发布时间：2021-07-14 22:48

　　传统的跨语言相似度评估技术大都依赖语言学和语用学的相关理论,这也与“自然语言”天然的特征有着必然的联系。近年来,深度学习技术的兴起不断推动图像识别、语音识别和自然语言处理等多个人工智能研究领域的发展。对此,本文研究了将深度学习技术应用到中英文跨语言文本相似度计算领域,主要包括词语层级的研究和句子层级的研究。词语层级的研究是将词语作为文本单元,进行词向量表示学习和双语词嵌入模型的构建。通过该模型可以生成双语共享的词嵌入表示,利用词与词之间的空间距离来度量它们之间的语义相似度。基于词向量相关理论和Skip-Gram模型,本文首先在人工构造的伪双语语料上进行词向量训练。其次,为了尽可能使生成的词嵌入空间完备,本文还使用单语语料作为补充以学习额外的词嵌入知识。此外,以双语词嵌入模型为基础,本文还尝试将词性信息、文本的主题信息和文本的TF-IDF信息分别与双语词表示相结合构建了三种算法,这三种算法均可用于跨语言文本相似度计算。通过这种组合可以克服原有的方法在文本语义表征方面的缺陷。句子层级的研究是将句子作为文本单元,通过将词语的语义信息和每个词的上下文信息融合起来,将整个句子表征为一个向量进行跨... 

【文章来源】：哈尔滨工程大学黑龙江省 211工程院校

【文章页数】：78 页

【学位级别】：硕士

【部分图文】：

word2vec词向量表示CBOW模型是word2vec中最重要的模型，输入是w上下文context(w)的词向量，输出是w的词向量

-3 -2 -1 01 2 3playergamesplayedroleschooluniversitycollegeresearchtypeteastylebackuniondeathmewfourshowonesixhundredsetgovementfivetravelthirddistanceleafnewbriefright stateseveresecondtimeandsuchgroupgametwopartgovzerowritegodvelheadabovetakensteadpowerfirsttreestandtalentborndowndesmajorfargroupspointagainflycouncilbringgitgonextancientbobevneoondownnextfourthnextfirstlysecondlyfrynorthexiletimesuchpartjourneysopowerancientregimeevneoonnorththengoerstyleanduniongroupgamewritetakemoneymajorfargroupspointagaincouncilbringgonext游戏娱乐五六四三二一学校教育研究权利政府距离简洁躯体行动次数天资天赋传奇死亡旅行点再次风格教神明仰向下退后油炸church教堂伫立崭新力量永远团队议会设计茶饮门票入场券银行北方部分出发uniontimeandsuchgrouppowmajorfarpointagaingomoneyfar again距离传奇死亡再次能力团队议会银行次数风格


本文编号：3285038