基于双向LSTMN神经网络的中文分词研究分析

发布时间：2017-08-21 04:29

  本文关键词：基于双向LSTMN神经网络的中文分词研究分析

  更多相关文章： 深度学习 长短期记忆神经网络 中文分词 注意力机制

【摘要】：在2002年之前,利用算法实现分词的方法基本上是基于字典、词库匹配的。在2002年发表了第一篇基于字标注的分词论文,首次把中文分词抽象成序列生成序列的问题,随后在一些模型上实现的基于字标注的分词系统取得了不错的效果,如：最大熵模型、隐含马尔可夫模型、条件随机场模型、支持向量机模型等。目前主流的分词系统使用的是条件随机场模型。在2006年深度学习的概念被提出,随后应用于计算机视觉、自然语言处理、语音识别等领域,成功地取得诸多突破性的进展,其中的递归神经网络更是被广泛运用于解决词性标注、翻译、命名实体识别等自然语言处理问题。把多数自然语言处理问题抽象成序列生成序列,并采用合适的递归神经网络结构处理,成为当前的热点和主流。基于字标注的分词本质上是序列生成序列的问题,因此本论文中,采用改进的双向长短期记忆神经网络实现中文分词。改进的长短期记忆单元与标准的长短期记忆单元不同在于,采用存储带来保存过去的信息,并通过注意力机制合理利用这些信息,避免仅仅向后传递一个隐藏状态向量而造成的信息压缩。标准的长短期记忆神经网络能很好地解决词与词之间远距离的依赖关系,而双向长短期记忆神经网络能捕获到句子中一个词的上下文信息,从而网络结构能更好地理解语义并正确实现分词。同时提出标准双向长短期记忆神经网络层加注意力机制层的方式实现中文分词,研究在不同位置上添加注意力机制对中文分词的影响。
【关键词】：深度学习 长短期记忆神经网络 中文分词 注意力机制
【学位授予单位】：南京大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP391.1
【目录】：

• 摘要5-6
• Abstract6-11
• 第一章 绪论11-17
• 1.1 研究背景11-15
• 1.1.1 中文分词的重要性与传统方法11-13
• 1.1.2 中文分词与深度学习13-15
• 1.2 论文主要工作和贡献15
• 1.3 论文组织15-17
• 第二章 深度学习理论基础17-34
• 2.1 为什么深度学习流行17-18
• 2.2 神经网络模型和神经元18-21
• 2.3 神经网络参数的训练方式与BP算法21-23
• 2.4 深度学习的二分类与多分类函数23-27
• 2.5 RNN和经典的LSTM神经网络27-32
• 2.6 本章小结32-34
• 第三章 深度学习与自然语言处理34-48
• 3.1 基于窗口大小的深度学习模型34-39
• 3.2 基于RNN的深度学习模型39-43
• 3.3 基于注意力机制的深度学习模型43-45
• 3.4 双向RNN神经网络45-46
• 3.5 本章小结46-48
• 第四章 基于BI-LSTMN的中文分词48-58
• 4.1 LSTM缺点及解决方式48-51
• 4.2 LSTMN单元51-54
• 4.3 双向LSTMN神经网络54-56
• 4.4 双向LSTM加注意力机制的神经网络56-57
• 4.5 本章小结57-58
• 第五章 实验与分析58-61
• 5.1 实验设置58
• 5.1.1 实验数据集58
• 5.1.2 实验环境58
• 5.1.3 评测标准58
• 5.2 中文分词实验细节与分析58-61
• 第六章 总结与展望61-64
• 6.1 总结61-62
• 6.2 展望62-64
• 参考文献64-71
• 致谢71-72
• 参与项目72-74

【相似文献】

中国期刊全文数据库 前10条

1 张茂元,卢正鼎,邹春燕;一种基于语境的中文分词方法研究[J];小型微型计算机系统;2005年01期

2 程传鹏;;一种简单高效的中文分词方法[J];郑州轻工业学院学报;2006年03期

3 张博;姜建国;万平国;;对互联网环境下中文分词系统的一种架构改进[J];计算机应用研究;2006年11期

4 夏新松;肖建国;;一种新的错误驱动学习方法在中文分词中的应用[J];计算机科学;2006年03期

5 周军;王艳红;;一种基于词典的中文分词法的设计与实现[J];黑龙江科技信息;2008年25期

6 许高建;胡学钢;路遥;王庆人;;一种改进的中文分词歧义消除算法研究[J];合肥工业大学学报(自然科学版);2008年10期

7 张培颖;;运用有向图进行中文分词研究[J];计算机工程与应用;2009年22期

8 吴晶晶;荆继武;聂晓峰;王平建;;一种快速中文分词词典机制[J];中国科学院研究生院学报;2009年05期

9 袁健;张劲松;马良;;二次回溯中文分词方法[J];计算机应用研究;2009年09期

10 刘智文;;利用系统整合提高中文分词精度的方法研究[J];现代计算机(专业版);2009年10期

中国重要会议论文全文数据库 前10条

1 王敏;叶宽余;薛峰;;一种面向网店商品搜索的中文分词系统设计[A];全国第22届计算机技术与应用学术会议(CACIS·2011)暨全国第3届安全关键技术与应用（SCA·2011）学术会议论文摘要集[C];2011年

2 黄昌宁;赵海;;由字构词——中文分词新方法[A];中文信息处理前沿进展——中国中文信息学会二十五周年学术会议论文集[C];2006年

3 任飞亮;石磊;姚天顺;;应用支持向量机进行中文分词[A];全国第八届计算语言学联合学术会议（JSCL-2005）论文集[C];2005年

4 吴晶晶;荆继武;王平建;;一种基于词典的新型中文分词机制[A];全国网络与信息安全技术研讨会论文集（上册）[C];2007年

5 李玉梅;靳光瑾;黄昌宁;;中文分词规范中的歧义字段消解细则[A];第五届全国语言文字应用学术研讨会论文集[C];2007年

6 修驰;宋柔;;基于“大词”实例的中文分词研究[A];中国计算语言学研究前沿进展（2009-2011）[C];2011年

7 黄居仁;;瓶颈,挑战,与转机:中文分词研究的新思维[A];中国计算机语言学研究前沿进展（2007-2009）[C];2009年

8 赵海;揭春雨;;基于子串标注的中文分词：寻找更佳的标注单元[A];内容计算的研究与应用前沿——第九届全国计算语言学学术会议论文集[C];2007年

9 李寿山;黄居仁;;基于词边界分类的中文分词方法[A];中国计算机语言学研究前沿进展（2007-2009）[C];2009年

10 张梅山;邓知龙;车万翔;刘挺;;统计与词典相结合的领域自适应中文分词[A];中国计算语言学研究前沿进展（2009-2011）[C];2011年

中国重要报纸全文数据库 前2条

1 本报记者 张彤;让计算机说中国话[N];网络世界;2004年

2 清华大学IT可用性实验室;2005中文搜索引擎质量对比[N];计算机世界;2005年

中国博士学位论文全文数据库 前4条

1 奚宁;统计机器翻译中的中文分词策略研究[D];南京大学;2013年

2 修驰;适应于不同领域的中文分词方法研究与实现[D];北京工业大学;2013年

3 何嘉;基于遗传算法优化的中文分词研究[D];电子科技大学;2012年

4 李志国;面向分布式文本知识管理的中文分词与文本分类研究[D];重庆大学;2008年

中国硕士学位论文全文数据库 前10条

1 顾辉;基于中文分词的购物中心微信平台购物导航的设计与实现[D];华中师范大学;2015年

2 韩冰;基于感知器算法的中文分词增量系统设计与实现[D];哈尔滨工业大学;2015年

3 杜丽萍;基于互联网海量语料的新词发现研究及中文分词系统改进[D];西安邮电大学;2015年

4 周祺;基于统计与词典相结合的中文分词的研究与实现[D];哈尔滨工业大学;2015年

5 梁喜涛;基于主动学习的中文分词方法研究[D];南京邮电大学;2015年

6 杨淦;基于条件随机场模型的中文分词系统研究与实现[D];重庆大学;2015年

7 朱云杰;大数据环境下垃圾评论过滤系统的研究与实现[D];东南大学;2015年

8 吕先超;视障汉语转换软件SunBraille的设计实现[D];兰州大学;2016年

9 黄积杨;基于双向LSTMN神经网络的中文分词研究分析[D];南京大学;2016年

10 王荔;统计全切分中文分词系统的研究与实现[D];西安电子科技大学;2009年

，

本文编号：710843