融入Attention机制改进Word2vec技术的水利水电工程专业词智能提取与分析方法

发布时间：2021-04-06 13:00

　　水利水电工程专业文本信息处理与分析以往主要依赖于人工交互,存在过程繁琐、效率低且易出错等问题。本文基于自然语言处理技术,引入Attention机制对Word2vec技术加以改进,提出了一种智能高效的水利水电工程专业词识别提取与分析方法。该方法通过组合Attention机制,改进Word2vec技术建立了专业词向量计算模型;根据所求词向量,计算词语间相似度,以词语间相似度为组合标准,组合提取水利水电工程专业词;进而结合已有的水利水电工程专业文本,验证所提取专业词的可信度,实现了水利水电工程专业词的自动提炼,构建了一套水利水电工程专业词智能识别提取与分析体系。该方法应用于实际某混凝土大坝长达229周的施工监理周报文本分析中,经过3轮识别计算与分析,获得了9034个水利水电工程专业词,准确率为87.58%,有效提升了水利水电工程专业文本信息提取分析的效率、准确率与智能化水平。 

【文章来源】：水利学报. 2020,51(07)北大核心EICSCD

【文章页数】：11 页

【部分图文】：

Word2vec神经网络结构

经过Attention机制处理后的Word2vec输入可表示为：式中：V′k为Attention机制处理后第k个词的Word2vec输入；Vj为第j个词的one-hot向量，onehot向量是文本单词量化的一种形式，以0-1表示词语在文本中是否出现，进而将每个词表征为一个多维向量，以便于文本计算；ωjk为计算第k个词向量时第j个词的权重，计算式如下：

专业词识别验证流程

【参考文献】：
期刊论文
[1]基于文献计量学的国内水生态环境研究知识图谱构建与应用[J]. 毛文山,赵红莉,蒋云钟,段浩,郝震.  水利学报. 2019(11)
[2]水文水资源学家陈守煜先生学术研究的知识图谱分析[J]. 金菊良,陈鹏飞,陈梦璐,宁少尉,周戎星,张浩宇.  水利学报. 2019(10)
[3]基于CNN模型的施工现场典型安全隐患数据学习[J]. 林鹏,魏鹏程,樊启祥,陈闻起.  清华大学学报(自然科学版). 2019(08)
[4]大坝智能建设研究进展[J]. 钟登华,时梦楠,崔博,王佳俊,关涛.  水利学报. 2019(01)
[5]水工建筑物防渗墙技术60年Ⅱ:创新技术和工程应用[J]. 宗敦峰,刘建发,肖恩尚,陈祖煜.  水利学报. 2016(04)

硕士论文
[1]基于深度学习的专业领域术语识别系统设计与实现[D]. 陈睿.北京邮电大学 2019
[2]基于自然语言处理的隐患分析系统的设计与实现[D]. 付文幸.华中科技大学 2018
[3]融合深度学习和句义结构模型的微博摘要方法研究[D]. 原玉娇.北京理工大学 2016



本文编号：3121478