基于深度神经网络的嵌入式向量及话题模型

发布时间：2017-08-04 06:11

  本文关键词：基于深度神经网络的嵌入式向量及话题模型

  更多相关文章： 话题模型 递归神经网络 深度学习 反馈机制 嵌入式

【摘要】：在对文档集合进行话题分析的过程中,为描述文档中单词间的依赖关系,提高话题分析的效果,提出一种基于反馈递归神经网络的嵌入式向量生成及话题模型。在将单词表示为One-hot向量后,采用递归神经网络将文档嵌入在低维的向量空间。在文档的嵌入式向量计算过程中,采用LSTM(long short-term memory)描述单词间的前向依赖关系,提出一种反馈神经网络用于描述单词间的后向依赖关系。在话题分析模型中,采用原文档和变异文档对作为正样本,采用原文档和随机文档对作为负样本进行模型的训练。实验结果表明,该方法时间和空间复杂度低,具有更好的话题分析效果。
【作者单位】： 河南工程学院计算机学院;北京理工大学计算机学院;
【关键词】： 话题模型 递归神经网络 深度学习 反馈机制 嵌入式
【基金】：河南省高等学校重点科研基金项目(15A520054) 河南省科技厅科技计划课题基金项目(112102310550)
【分类号】：TP391.1;TP183
【正文快照】： 0引言自然语言处理[1,2]是一门关于语言学、统计学、计算机科学、人工智能等研究领域的交叉学科,采用统计学的相关原理对语言文本进行分析是当前研究人员普遍采用的工具之一。采用词频向量对文档的话题进行分析时,常用的方法有潜在语义分析(latent semantic analysis,LSA)[3]

【参考文献】

中国期刊全文数据库 前6条

1 陈永恒;左祥麟;林耀进;;在线增量标签主题模型[J];吉林大学学报(理学版);2015年05期

2 陈永恒;左万利;林耀进;;作者标签主题模型在科技文献中的应用[J];计算机应用;2015年04期

3 李生;;自然语言处理的研究与发展[J];燕山大学学报;2013年05期

4 张晨逸;孙建伶;丁轶群;;基于MB-LDA模型的微博主题挖掘[J];计算机研究与发展;2011年10期

5 徐戈;王厚峰;;自然语言处理中主题模型的发展[J];计算机学报;2011年08期

6 黄承慧;印鉴;侯f ;;一种结合词项语义信息和TF-IDF方法的文本相似度量方法[J];计算机学报;2011年05期

【共引文献】

中国期刊全文数据库 前10条

1 何永强;秦勤;王俊鹏;;基于深度神经网络的嵌入式向量及话题模型[J];计算机工程与设计;2016年12期

2 胡菊香;吕学强;徐丽萍;;面向专利的技术主题检测[J];计算机工程与设计;2016年12期

3 王华秋;殷志恒;;采用自适应聚类的教学视频关键帧研究[J];计算机时代;2016年12期

4 高章敏;何祥;刘嘉勇;汤殿华;;基于主题模型的中文词义归纳[J];四川大学学报(自然科学版);2016年06期

5 邵华;李杨;丁远;刘凤臣;;基于词对主题模型的中分辨率遥感影像土地利用分类[J];农业工程学报;2016年22期

6 王亚民;胡悦;;基于BTM的微博舆情热点发现[J];情报杂志;2016年11期

7 王华秋;聂珍;;快速搜索密度峰值聚类在图像检索中的应用[J];计算机工程与设计;2016年11期

8 依不拉音·乌斯曼;王悦;;面向维吾尔跨文字搜索引擎的统一转换机制设计[J];计算机科学;2016年S2期

9 Yonggan Li;Xueguang Zhou;Yan Sun;Huanguo Zhang;;Design and Implementation of Weibo Sentiment Analysis Based on LDA and Dependency Parsing[J];中国通信;2016年11期

10 袁m;;微博用户关系提取与推荐的软件系统[J];电子科学技术;2016年06期

【二级参考文献】

中国期刊全文数据库 前7条

1 史庆伟;李艳妮;郭朋亮;;科技文献中作者研究兴趣动态发现[J];计算机应用;2013年11期

2 胡艳丽;白亮;张维明;;网络舆情中一种基于OLDA的在线话题演化方法[J];国防科技大学学报;2012年01期

3 单斌;李芳;;基于LDA话题演化研究方法综述[J];中文信息学报;2010年06期

4 曹娟;张勇东;李锦涛;唐胜;;一种基于密度的自适应最优LDA模型选择方法[J];计算机学报;2008年10期

5 石晶;胡明;石鑫;戴国忠;;基于LDA模型的文本分割[J];计算机学报;2008年10期

6 李文波;孙乐;张大鲲;;基于Labeled-LDA模型的文本分类新算法[J];计算机学报;2008年04期

7 刘桃;刘秉权;徐志明;王晓龙;;领域术语自动抽取及其在文本分类中的应用[J];电子学报;2007年02期

【相似文献】

中国期刊全文数据库 前10条

1 金仁贵;;带有偏差单元的递归神经网络在故障诊断方面的应用[J];电脑知识与技术;2006年29期

2 陈钢;王占山;;连续时间递归神经网络的稳定性分析[J];沈阳理工大学学报;2007年02期

3 汪晓梦;;带有偏差单元的递归神经网络在故障诊断方面的应用优化[J];甘肃联合大学学报(自然科学版);2010年05期

4 杜艳可;徐瑞;;具有时滞的递归神经网络动力学研究进展[J];北华大学学报(自然科学版);2012年01期

5 蒋洪睿,莫玮,李丽;递归神经网络自适应均衡抗突发干扰研究[J];电讯技术;2000年01期

6 宋轶民,余跃庆,张策,马文贵;动态递归神经网络及其在机敏机构辨识中的应用[J];机械科学与技术;2001年04期

7 张奇志,贾永乐,周雅莉;噪声有源控制的递归神经网络方法[J];控制与决策;2001年03期

8 李峰,李树荣;基于动态递归神经网络的动态矩阵控制[J];石油大学学报(自然科学版);2001年03期

9 唐普英,李绍荣,黄顺吉;一种新的复值递归神经网络训练方法及其应用[J];信号处理;2001年06期

10 文敦伟,蔡自兴;递归神经网络的模糊随机学习算法[J];高技术通讯;2002年01期

中国重要会议论文全文数据库 前10条

1 房毅宪;王宝文;王永茂;;基于偏差递归神经网络的股价预测(英文)[A];计算机技术与应用进展——全国第17届计算机科学与技术应用（CACIS）学术会议论文集（上册）[C];2006年

2 刘勇;沈毅;胡恒章;;递归神经网络自适应滤波器[A];1998年中国智能自动化学术会议论文集（上册）[C];1998年

3 赵英凯;蔡宁;;基于对角递归神经网络的肟化投酮量在线预估[A];1998年中国智能自动化学术会议论文集（上册）[C];1998年

4 李树荣;李峰;;基于动态递归神经网络的非线性系统重构[A];1998年中国控制会议论文集[C];1998年

5 史志伟;韩敏;;应用递归神经网络建立非线性结构系统模型[A];第二十三届中国控制会议论文集（下册）[C];2004年

6 丛爽;戴谊;;递归神经网络逼近性能的研究[A];'2006系统仿真技术及其应用学术交流会论文集[C];2006年

7 吕进;郭晨;刘雨;;基于不完全递归神经网络的二阶导数多步预测模糊控制及应用[A];2007年中国智能自动化会议论文集[C];2007年

8 蒲兴成;;时变时滞不确定递归神经网络渐近稳定的一个充分条件[A];2008’“先进集成技术”院士论坛暨第二届仪表、自动化与先进集成技术大会论文集[C];2008年

9 仉宝玉;吴志敏;;基于对角递归神经网络的智能PID控制[A];'2003系统仿真技术及其应用学术交流会论文集[C];2003年

10 沈艳;谢美萍;;基于递归神经网络的船舶运动极短期建模预报[A];第二届全国信息获取与处理学术会议论文集[C];2004年

中国博士学位论文全文数据库 前10条

1 赵永昌;一类时滞静态递归神经网络的动力学行为研究[D];中国海洋大学;2010年

2 高海宾;扰动作用下递归神经网络稳定性研究[D];燕山大学;2006年

3 黄玉娇;具有广义分段线性激活函数的递归神经网络的多稳定性分析[D];东北大学;2014年

4 徐东坡;递归神经网络梯度学习算法的收敛性[D];大连理工大学;2009年

5 于佳丽;递归神经网络的连续吸引子与模糊控制[D];电子科技大学;2009年

6 王芬;递归神经网络的动力学行为分析[D];武汉科技大学;2011年

7 季策;时滞递归神经网络的动态特性研究[D];东北大学;2005年

8 徐军;递归神经网络稳定性分析[D];浙江大学;2007年

9 张锐;几类递归神经网络的稳定性及其应用研究[D];东北大学;2010年

10 张益军;时滞递归神经网络稳定性分析及网络化同步控制[D];东华大学;2008年

中国硕士学位论文全文数据库 前10条

1 柳玉华;一种递归神经网络方法研究及其在非线性系统跟踪控制中的应用[D];江西理工大学;2015年

2 罗威威;全局指数稳定的递归神经网络的鲁棒性分析[D];中国矿业大学;2015年

3 杨渺渺;具有时滞的递归神经网络稳定性分析[D];电子科技大学;2015年

4 崔志超;基于产品特征的中文评论情感分析系统设计与实现[D];河北科技大学;2015年

5 余仕敏;基于递归神经网络的广告点击率预估[D];浙江理工大学;2016年

6 宛立达;基于振动信号分析的故障诊断理论与应用[D];东北石油大学;2010年

7 李克强;基于Spark的大规模RNNLM系统[D];江苏大学;2016年

8 谢伟浩;基于多尺度时间递归神经网络的人群异常检测[D];广东工业大学;2016年

9 葛洋;多时滞递归神经网络的指数稳定性研究[D];曲阜师范大学;2010年

10 张欣;递归神经网络的研究及在非线性动态系统辨识中的应用[D];太原理工大学;2005年

，

本文编号：618039