当前位置:主页 > 管理论文 > 移动网络论文 >

面向微博文本的命名实体识别方法研究

发布时间:2021-01-16 04:22
  命名实体识别作为自然语言处理领域的基本任务之一,在信息检索,自动问答,知识图谱等领域发挥着重要作用。目前,关于命名实体对规范性文本的识别研究相对成熟,但对微博等非标准文本的命名实体识别研究相对较少,而微博文本的命名实体识别效果不如规范性文本。面向微博文本的命名实体识别任务已成为研究的热点。随着深度学习方法在自然语言处理领域中的广泛应用,通过深度学习方法来提升命名实体识别任务的性能已经成为一种普遍流行的方式,因此,如何充分利用网络文本特性并结合深度学习方法,进而提出适用于网络文本的命名实体识别框架成为了本文的研究重点。鉴于微博媒体行业的文本内容较为口语化的特点,本文将微博文本规范化过程与命名实体识别任务联合建模,提出联合文本规范化的命名实体识别框架;将非规范的网络文本通过查找非规范词典替换非规范词的方式进行规范化处理,并提出了融合注意力机制的实体识别模型进一步改善了面向微博文本的实体识别性能。本文的主要创新点和贡献如下:1.提出一种基于非规范词特征的word2vec训练词向量的方法计算相似度,通过训练非规范词的高维词表,将组合实体向量表示与高维词表的向量进行相似度计算;提出K-means... 

【文章来源】:北京交通大学北京市 211工程院校 教育部直属院校

【文章页数】:68 页

【学位级别】:硕士

【部分图文】:

面向微博文本的命名实体识别方法研究


隐马尔可夫模型

无向图,随机场,条件,随机变量


行全局范围的计算。无向图表示图G的节点表示随机变量,边五表??随机变量之间的依赖性。根据联合概率分布的局部或全局马尔可夫性质,??可以将其称为概率无向图模型或马尔可夫随机场。设有一组随机变量r,其联合分??布为p(y)由无向图g?=?<y,£)表示。图g的一个节点v?e?y表示一个随机变量v,??一条边e?e?£表示两个随机变量间的依赖关系。??

示意图,神经网络,示意图,自然语言处理


深度学习(De印Learning)又称为深度神经网络,近年来在语音识别和图像??处理领域取得了较大进展,深度学习技术己经被用于处理自然语言处理领域的各??项任务。在自然语言处理领域,深度学习弥补了统计模型的人力成本高昂的短板,??深度学习模拟人类大脑进行分析学习,通过祌经网络对句子序列进行特征提取,??逐步地将低级特征抽象为髙级特征用于分析任务。深度学习的优势在于可以自动??学习有效的特征并减少复杂特征工程的提取。如何将独立的词语转换成向量形式,??如何挑选出有价值的特征都是深度学习需要考虑的范畴。在特征提取层,需要对??神经网络的特征进行衡量和把握,可以通过人为或者采用Attention机制设置特征??权重,而神经网络可以自动对相关特征进行抽取,相关模型的提出在一定程度上??推动了自然语言处理的热潮。??2.3.2循环神经网络??神经网络最基本的单位是神经元。神经元以不同方式连接以形成不同功能的神??经网络模型如图2-3所示。??

【参考文献】:
期刊论文
[1]命名实体识别研究综述[J]. 刘浏,王东波.  情报学报. 2018(03)
[2]《现代汉语词典》(第7版)四字成语释义修订拾零[J]. 席欣圣.  语文月刊. 2018(02)
[3]《现代汉语词典》(第7版)新增词语研究[J]. 尹若男.  哈尔滨学院学报. 2017(12)
[4]基于深度神经网络的中文命名实体识别[J]. 张海楠,伍大勇,刘悦,程学旗.  中文信息学报. 2017(04)
[5]基于新词发现与知识库的微博命名实体识别研究——以教育话题为例[J]. 陈桂强.  经营管理者. 2017(11)
[6]面向自然语言处理的深度学习研究[J]. 奚雪峰,周国栋.  自动化学报. 2016(10)
[7]中文微博命名体识别[J]. 韩春燕,刘玉娇,琚生根,李若晨,苏翀.  四川大学学报(自然科学版). 2015(03)
[8]网络谐音词的分类与应用研究[J]. 朱陈静.  现代语文(语言研究版). 2015(02)

硕士论文
[1]中文命名实体识别算法研究[D]. 谢志宁.浙江大学 2017
[2]基于深度学习的文本特征表示及分类应用[D]. 梁军.郑州大学 2016
[3]基于深度学习的中文命名实体识别研究[D]. 王国昱.北京工业大学 2015
[4]中文命名实体识别与歧义消解研究[D]. 龚凌晖.复旦大学 2011
[5]基于语料调查和语言对比的网络新词语造词方法研究[D]. 林界军.华东师范大学 2005



本文编号:2980146

资料下载
论文发表

本文链接:https://www.wllwen.com/guanlilunwen/ydhl/2980146.html


Copyright(c)文论论文网All Rights Reserved | 网站地图 |

版权申明:资料由用户d500d***提供,本站仅收录摘要或目录,作者需要删除请E-mail邮箱bigeng88@qq.com