基于Attention机制与词义消歧的文本处理方法及应用研究

发布时间：2021-08-03 21:12

　　网络信息爆炸式的增长方式促使了计算机文本自动处理技术的发展,如何高效、准确地获取文本语义信息是目前迫切需要解决的问题。考虑到人类理解句子的过程可以描述为对先验信息的检索及语义概念的整合,因此本文主要通过研究相关计算模型,获取更多的先验知识以及较为关键的信息,从而更加准确地消除词语的歧义并且提取更为丰富的语义信息,主要工作及研究内容如下:（1）研究融合统计特征与事件Attention机制的特征提取方法。针对现有基于Attention机制的双向长短时记忆网络在解决文本分类相关问题时存在增大模型计算量以及损失部分文本语义信息的问题,提出在结构化的事件级别上计算Attention权值的方法。同时,考虑到深度学习模型无法学习文本统计特征的问题,本文在事件Attention权值计算的基础上融入统计特征。实验表明,与现有的模型相比,文本统计特征以及事件结构固有的语义信息提高了文本表示的质量,降低了模型计算复杂度,提升了文本分类的准确率。（2）研究基于双通道LDA主题模型的词义消歧方法。现有的基于LDA主题模型的词义消歧方法多将训练获取的文档主题作为消歧的主要依据,虽然利用了整个文档作为训练语料,但弱... 

【文章来源】：武汉理工大学湖北省 211工程院校 教育部直属院校

【文章页数】：76 页

【学位级别】：硕士

【部分图文】：

章节

13的索引，ju为输出矩阵U中第j行。|V||V|11exp()exp()(|())exp()exp()ttTiittTjjjjzuvPwcontextwzuv====（2-3）随后利用最大化条件概率的对数似然函数构建模型损失函数J，通过随机梯度下降法使损失函数最小化，之后迭代优化参数矩阵W和U。（2）Skip-gram模型对于Skip-gram模型，已知当前输入词tw，需要预测其上下文()tcontextw，与CBOW网络结构类似，其模型结构如图2-2所示，通过输入词tw的one-hot编码向量tx来计算(()|)ttPcontextww。W(t-2)W(t-1)W(t+1)W(t+2)OutputW(t-2)W(t-2)ProjectionInput图2-2Skip-gram模型结构示意图本章实验使用CBOW模型训练词向量，设置的词向量维度为100，使用Word2vec训练得到的部分词向量如图2-3所示。图2-3使用Word2vec训练生成的部分词向量

展开的

【参考文献】：
期刊论文
[1]神经机器翻译综述[J]. 李亚超,熊德意,张民.  计算机学报. 2018(12)
[2]引入词性标记的基于语境相似度的词义消歧[J]. 孟禹光,周俏丽,张桂平,蔡东风.  中文信息学报. 2018(08)
[3]基于短语注意机制的文本分类[J]. 江伟,金忠.  中文信息学报. 2018(02)
[4]特征驱动的关键词提取算法综述[J]. 常耀成,张宇翔,王红,万怀宇,肖春景.  软件学报. 2018(07)
[5]汉语复句中基于依存关系与最大熵模型的词义消歧方法研究[J]. 李源,翟宏森,刘凤娇,黄文灿,杨梦川.  计算机与数字工程. 2018(01)
[6]融合词向量和主题模型的领域实体消歧[J]. 马晓军,郭剑毅,王红斌,张志坤,线岩团,余正涛.  模式识别与人工智能. 2017(12)
[7]用于文本分类的局部化双向长短时记忆[J]. 万圣贤,兰艳艳,郭嘉丰,徐君,庞亮,程学旗.  中文信息学报. 2017(03)
[8]基于上下文翻译的有监督词义消歧研究[J]. 杨陟卓.  计算机科学. 2017(04)
[9]卷积神经网络研究综述[J]. 周飞燕,金林鹏,董军.  计算机学报. 2017(06)
[10]统计机器翻译中大规模特征的深度融合[J]. 刘宇鹏,乔秀明,赵石磊,马春光.  浙江大学学报(工学版). 2017(01)

硕士论文
[1]基于深度学习的知乎标题的多标签文本分类[D]. 张闯.北京交通大学 2018
[2]基于LSTM的语义关系分类研究[D]. 胡新辰.哈尔滨工业大学 2015
[3]基于短语的统计机器翻译解码优化技术研究[D]. 曲宇涛.东北大学 2015



本文编号：3320345