基于神经网络的文本向量表示与建模研究

发布时间：2017-06-13 09:04

  本文关键词：基于神经网络的文本向量表示与建模研究，，由笔耕文化传播整理发布。

【摘要】：文本表示与建模是自然语言处理领域中的基础任务。传统的文本表示方法主要是基于词袋模型,好处在于简单高效,容易扩展,但同时也面临众多严重的问题,如维度灾难、数据稀疏表示、缺失语义表达能力等。近年来随着大数据和深度学习技术在语音、图像、生物信息等领域取得重大的成果,研究者们也开始将深度神经网络技术应用到自然语言处理领域。特别地,随着2008年Collobert和Weston将基于深度神经网络的词向量表示应用到各类自然语言处理任务以及2013年谷歌研究员基于神经网络语言模型来学习分布式词向量表示,越来越多基于神经网络模型来学习文本向量表示的方法出现。本文集中对基于神经网络语言模型的文本向量表示和主题建模问题进行了研究。首先简单介绍传统N-Gram统计语言模型和基于神经网络的语言模型,并且回顾传统词向量表示方法以及学习分布式词向量表示模型Word2Vec。随后基于这些基础模型与方法,本文进行了多方面的扩展：1.潜在狄利克雷分布(LDA)挖掘文档中的主题结构,在自然语言处理和机器学习领域扮演重要的角色。然而,LDA中的概率分布表示仅仅描述语料中的共现统计关系,概率分布并不是特征表示的最好选择。近来,基于向量表示的方法被提出来学习词和文档的概念和表示,例如Word2Vec向量表示方法已经在众多任务中相比类LDA的方法表现更好。Doc2Vec。因此,本文提出模型可以学习和词向量表示在同一个语义空间的Topic2Vec主题向量表示,作为概率分布的替换。实验表明可以更好的建模Topic2Vec主题。2.分布式词向量表示已经在自然语言处理领域取得了重大的成果。然而,大多数模型只关注局部上下文属性并且独自地学习特定任务的表示,缺失融合多个属性联合学习的能力。因此,本文提出一个统一的框架可以联合学习词和词的属性的分布式表示。在模型中,我们考虑了三类属性：主题、词元和文档。在学习属性的分布式向量表示的同时,我们发现利用附加的属性对于提升词的表示也是有益的。实验部分从多个方面分别评价了主题向量表示、文档向量表示和提升的词向量表示,结果表明我们的模型效果更好。3.感知任务例如视觉对象识别和文本理解在人类智能中起着重要的作用,后续任务则包括推断、推理和决策制定等都要求更高层次的智能。过去几年中,感知任务的主要进展均采用了深度学习模型。而对于更高层次的推断,带有贝叶斯属性的概率图模型则更加强大和灵活。为了实现整合感知任务以及高层次推断的智能,自然地希望将深度学习和贝叶斯模型紧密联合起来。本文考虑融合基于神经网络的词向量表示和潜在狄利克雷分布(LDA)。特别地,将词向量表示应用到LDA中来提升原有主题模型的效果,分别提出词向量聚类先验LDA、上下文感知LDA和词向量加强LDA等模型。实验表明利用词向量表示的LDA表现更好。
【关键词】：自然语言处理 文本表示 深度学习 神经网络 文本建模 主题模型 词向量 主题 文档 框架 潜在狄利克雷分布
【学位授予单位】：南京大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP391.1;TP183
【目录】：

• 摘要4-6
• Abstract6-8
• 前言8-15
• 1 绪论15-19
• 1.1 研究背景15-16
• 1.2 研究内容16-18
• 1.3 论文结构18-19
• 2 语言模型与词向量表示19-28
• 2.1 统计语言模型19-20
• 2.2 神经网络语言模型20-23
• 2.3 分布式词向量表示23-27
• 2.4 本章小结27-28
• 3 学习主题的向量表示28-36
• 3.1 背景介绍28-29
• 3.1.1 潜在狄利克雷分布28
• 3.1.2 研究背景28-29
• 3.2 学习主题向量表示29-31
• 3.2.1 Topic2Vec模型29-31
• 3.3 实验及分析31-34
• 3.3.1 数据集31-32
• 3.3.2 评价方法32-33
• 3.3.3 实验结果分析33-34
• 3.4 本章小结34-36
• 4 联合学习词及其属性的向量表示36-52
• 4.1 背景介绍36-38
• 4.2 框架与模型38-42
• 4.2.1 联合学习词和属性向量表示的统一框架38-39
• 4.2.2 TW模型：学习主题向量表示39
• 4.2.3 DW模型：学习文档向量表示39-40
• 4.2.4 提升词向量表示的模型40-42
• 4.2.5 优化和学习过程42
• 4.3 实验及分析42-49
• 4.3.1 数据集42-43
• 4.3.2 评估主题向量表示43-46
• 4.3.3 评估文档向量表示46-47
• 4.3.4 评估提升的词向量表示47-49
• 4.4 本章小结49-52
• 5 词向量加强的主题模型52-68
• 5.1 背景介绍52-53
• 5.2 词向量聚类先验潜在狄利克雷分布53-56
• 5.2.1 狄利克雷先验分布53-55
• 5.2.2 词向量聚类先验潜在狄利克雷分布55-56
• 5.3 词向量聚类先验实验与分析56-61
• 5.3.1 数据集与实验设置56
• 5.3.2 主题词评估56-57
• 5.3.3 主题一致性评估57-61
• 5.3.4 实验与分析61
• 5.4 词向量加强的潜在狄利克雷分布61-66
• 5.4.1 上下文感知的潜在狄利克雷分布62-64
• 5.4.2 词向量加强的潜在狄利克雷分布64-66
• 5.5 本章小结66-68
• 6 总结与展望68-70
• 致谢70-72
• 参考文献72-79
• 简历与科研成果79-80

【相似文献】

中国期刊全文数据库 前10条

1 云中客;新的神经网络来自于仿生学[J];物理;2001年10期

2 唐春明,高协平;进化神经网络的研究进展[J];系统工程与电子技术;2001年10期

3 李智;一种基于神经网络的煤炭调运优化方法[J];长沙铁道学院学报;2003年02期

4 程科,王士同,杨静宇;新型模糊形态神经网络及其应用研究[J];计算机工程与应用;2004年21期

5 王凡,孟立凡;关于使用神经网络推定操作者疲劳的研究[J];人类工效学;2004年03期

6 周丽晖;从统计角度看神经网络[J];统计教育;2005年06期

7 赵奇 ,刘开第 ,庞彦军;灰色补偿神经网络及其应用研究[J];微计算机信息;2005年14期

8 袁婷;;神经网络在股票市场预测中的应用[J];软件导刊;2006年05期

9 尚晋;杨有;;从神经网络的过去谈科学发展观[J];重庆三峡学院学报;2006年03期

10 杨钟瑾;;神经网络的过去、现在和将来[J];青年探索;2006年04期

中国重要会议论文全文数据库 前10条

1 徐春玉;;基于泛集的神经网络的混沌性[A];1996中国控制与决策学术年会论文集[C];1996年

2 周树德;王岩;孙增圻;孙富春;;量子神经网络[A];2003年中国智能自动化会议论文集（上册）[C];2003年

3 罗山;张琳;范文新;;基于神经网络和简单规划的识别融合算法[A];2009系统仿真技术及其应用学术会议论文集[C];2009年

4 郭爱克;马尽文;丁康;;序言(二)[A];1999年中国神经网络与信号处理学术会议论文集[C];1999年

5 钟义信;;知识论:神经网络的新机遇——纪念中国神经网络10周年[A];1999年中国神经网络与信号处理学术会议论文集[C];1999年

6 许进;保铮;;神经网络与图论[A];1999年中国神经网络与信号处理学术会议论文集[C];1999年

7 金龙;朱诗武;赵成志;陈宁;;数值预报产品的神经网络释用预报应用[A];1999年中国神经网络与信号处理学术会议论文集[C];1999年

8 田金亭;;神经网络在中学生创造力评估中的应用[A];第十二届全国心理学学术大会论文摘要集[C];2009年

9 唐墨;王科俊;;自发展神经网络的混沌特性研究[A];2009年中国智能自动化会议论文集（第七分册）[南京理工大学学报（增刊）][C];2009年

10 张广远;万强;曹海源;田方涛;;基于遗传算法优化神经网络的故障诊断方法研究[A];第十二届全国设备故障诊断学术会议论文集[C];2010年

中国重要报纸全文数据库 前10条

1 美国明尼苏达大学社会学博士 密西西比州立大学国家战略规划与分析研究中心资深助理研究员 陈心想;维护好创新的“神经网络硬件”[N];中国教师报;2014年

2 卢业忠;脑控电脑 惊世骇俗[N];计算机世界;2001年

3 葛一鸣 路边文;人工神经网络将大显身手[N];中国纺织报;2003年

4 中国科技大学计算机系　邢方亮;神经网络挑战人类大脑[N];计算机世界;2003年

5 记者 孙刚;“神经网络”：打开复杂工艺“黑箱”[N];解放日报;2007年

6 本报记者 刘霞;美用DNA制造出首个人造神经网络[N];科技日报;2011年

7 健康时报特约记者　 张献怀;干细胞移植：修复受损的神经网络[N];健康时报;2006年

8 刘力;我半导体神经网络技术及应用研究达国际先进水平[N];中国电子报;2001年

9 ;神经网络和模糊逻辑[N];世界金属导报;2002年

10 邹丽梅 陈耀群;江苏科大神经网络应用研究通过鉴定[N];中国船舶报;2006年

中国博士学位论文全文数据库 前10条

1 杨旭华;神经网络及其在控制中的应用研究[D];浙江大学;2004年

2 李素芳;基于神经网络的无线通信算法研究[D];山东大学;2015年

3 石艳超;忆阻神经网络的混沌性及几类时滞神经网络的同步研究[D];电子科技大学;2014年

4 王新迎;基于随机映射神经网络的多元时间序列预测方法研究[D];大连理工大学;2015年

5 付爱民;极速学习机的训练残差、稳定性及泛化能力研究[D];中国农业大学;2015年

6 李辉;基于粒计算的神经网络及集成方法研究[D];中国矿业大学;2015年

7 王卫苹;复杂网络几类同步控制策略研究及稳定性分析[D];北京邮电大学;2015年

8 张海军;基于云计算的神经网络并行实现及其学习方法研究[D];华南理工大学;2015年

9 李艳晴;风速时间序列预测算法研究[D];北京科技大学;2016年

10 陈辉;多维超精密定位系统建模与控制关键技术研究[D];东南大学;2015年

中国硕士学位论文全文数据库 前10条

1 章颖;混合不确定性模块化神经网络与高校效益预测的研究[D];华南理工大学;2015年

2 贾文静;基于改进型神经网络的风力发电系统预测及控制研究[D];燕山大学;2015年

3 李慧芳;基于忆阻器的涡卷混沌系统及其电路仿真[D];西南大学;2015年

4 陈彦至;神经网络降维算法研究与应用[D];华南理工大学;2015年

5 董哲康;基于忆阻器的组合电路及神经网络研究[D];西南大学;2015年

6 武创举;基于神经网络的遥感图像分类研究[D];昆明理工大学;2015年

7 李志杰;基于神经网络的上证指数预测研究[D];华南理工大学;2015年

8 陈少吉;基于神经网络血压预测研究与系统实现[D];华南理工大学;2015年

9 张韬;几类时滞神经网络稳定性分析[D];渤海大学;2015年

10 邵雪莹;几类时滞不确定神经网络的稳定性分析[D];渤海大学;2015年

  本文关键词：基于神经网络的文本向量表示与建模研究，由笔耕文化传播整理发布。

本文编号：446150