基于Spark的大规模RNNLM系统

发布时间：2017-04-20 18:24

  本文关键词：基于Spark的大规模RNNLM系统，由笔耕文化传播整理发布。

【摘要】：自然语言处理作为人工智能中的重要问题,一直是研究与开发的热点;其中基于递归神经网络的语言模型(RNNLM)具有非常强大的功能和鲁棒性,但由于传统计算技术和计算系统的限制,难以构建大规模的RNNLM系统,制约了RNNLM的准确性等。本文在分析现有串行和基于GPU的RNNLM系统的基础上,针对影响RNNLM中计算量的因素,在Spark平台上,设计了面向大规模RNNLM的结构。改变了通过提高矩阵计算速度提高RNNLM系统性能的方式,模拟生物神经网络的并行特性,设计了基于并行神经元的RNNLM,以逻辑神经元为单位,实现RNNLM的分布式并发,从而将庞大的矩阵运算转变为分布式逻辑神经元的一阶运算,极大的提高了RNNLM的效率,为构建大规模RNNLM奠定了基础。经过测试,利用Spark计算框架优化RNNLM系统,将N x M的矩阵拆分到各个节点中计算,每个神经元只需要计算某一行数据,将庞大的计算量迁移到计算节点中这会大大降低时间开销,系统计算速率提升将近20倍,将语料扩大之后仍然适用。接着分析了分布式平台Spark和RNNLM中制约计算性能的因素,设计了基于参数合并的广播式传输策略、基于NVM的容错机制和面向分布式RNNLM的内存优化机制,从提高分布式RNNLM中参数通信效率和针对RNNLM提高Spark性能两方面进行了改进,系统计算速率提升7-15倍。最后在Spark平台上,实现了大规模分布式RNNLM的原型系统,分别使用微软语料和RNNLM Toolkit语料,对传统的RNNLM系统和基于Spark的RNNLM系统进行了性能测试,测试结果表明基于Spark的RNNLM系统经过结构的优化后,打破了神经元个数方面和大规模语料方面的瓶颈,经过测试,基于Spark的大规模RNNLM原型系统性能比传统的RNNLM系统计算速率提升10倍以上,并没有因为语料成倍扩大导致系统运行时间呈线性成倍上升,极大的提升了RNNLM系统的可用性。
【关键词】：递归神经网络 自然语言处理 分布式计算 Spark
【学位授予单位】：江苏大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP183;TP391.1
【目录】：

• 摘要4-6
• Abstract6-11
• 第一章 绪论11-24
• 1.1 研究背景及意义11-22
• 1.1.1 基于神经网络语言模型的相关研究12-17
• 1.1.2 分布式计算框架的相关研究17-22
• 1.2 本文的主要工作和组织结构22-24
• 1.2.1 本文的主要工作22-23
• 1.2.2 本文的组织结构23-24
• 第二章 面向大规模RNNLM的结构分析24-34
• 2.1 现有RNNLM算法的分析24-27
• 2.2 基于Spark大规模RNNLM的相关定义27-28
• 2.3 基于Spark大规模RNNLM的结构28-32
• 2.4 本章小结32-34
• 第三章 基于并行神经元的RNNLM34-43
• 3.1 分布式神经元自主训练策略34-36
• 3.1.1 单个神经元ac值的计算34-35
• 3.1.2 单个神经元与输出层之间权重的更新35
• 3.1.3 单个神经元与上次隐藏层之间权重的更新35-36
• 3.1.4 单个神经元与输入层之间权重的更新36
• 3.2 神经元的协调策略36-38
• 3.3 原型系统测试与分析38-42
• 3.3.1 原型系统与测试环境38-39
• 3.3.2 使用大规模语料的测试与分析39-40
• 3.3.3 使用小规模语料的测试与分析40-41
• 3.3.4 非对称Spark集群中的测试与分析41-42
• 3.4 本章小结42-43
• 第四章 大规模分布式RNNLM的性能优化43-59
• 4.1 制约大规模分布式RNNLM性能的因素43-45
• 4.2 面向分布式神经元的高效传输机制45-53
• 4.2.1 数据共享方式45-46
• 4.2.2 基于远程直接数据存取的传输策略46-51
• 4.2.3 基于参数合并的广播式传输策略51-53
• 4.3 基于NVM的容错机制53-54
• 4.4 面向分布式RNNLM的内存优化54-55
• 4.5 原型系统测试与分析55-58
• 4.5.1 原型系统与测试环境55-56
• 4.5.2 使用大规模RNNLM Toolkit语料的测试与分析56-57
• 4.5.3 优化前后的测试与分析57-58
• 4.6 本章小结58-59
• 第五章 原型系统的测试与分析59-65
• 5.1 基于Spark的大规模RNNLM原型系统的实现59-61
• 5.1.1 数据分布模块59
• 5.1.2 数据收集模块59
• 5.1.3 汇聚计算模块59-60
• 5.1.4 分布计算模块60
• 5.1.5 权重更新模块60
• 5.1.6 容错机制优化模块60
• 5.1.7 内存优化模块60-61
• 5.1.8 基于数据聚合的通信模块61
• 5.2 原型系统的测试与分析61-64
• 5.2.1 改变神经元数量的测试与分析62
• 5.2.2 改变语料规模的测试与分析62-64
• 5.3 本章小结64-65
• 第六章 总结65-67
• 6.1 工作总结65-66
• 6.2 工作展望66-67
• 参考文献67-71
• 致谢71-72
• 在学期间发表的学术论文及其他科研成果72

【相似文献】

中国期刊全文数据库 前10条

1 金仁贵;;带有偏差单元的递归神经网络在故障诊断方面的应用[J];电脑知识与技术;2006年29期

2 陈钢;王占山;;连续时间递归神经网络的稳定性分析[J];沈阳理工大学学报;2007年02期

3 汪晓梦;;带有偏差单元的递归神经网络在故障诊断方面的应用优化[J];甘肃联合大学学报(自然科学版);2010年05期

4 杜艳可;徐瑞;;具有时滞的递归神经网络动力学研究进展[J];北华大学学报(自然科学版);2012年01期

5 蒋洪睿,莫玮,李丽;递归神经网络自适应均衡抗突发干扰研究[J];电讯技术;2000年01期

6 宋轶民,余跃庆,张策,马文贵;动态递归神经网络及其在机敏机构辨识中的应用[J];机械科学与技术;2001年04期

7 张奇志,贾永乐,周雅莉;噪声有源控制的递归神经网络方法[J];控制与决策;2001年03期

8 李峰,李树荣;基于动态递归神经网络的动态矩阵控制[J];石油大学学报(自然科学版);2001年03期

9 唐普英,李绍荣,黄顺吉;一种新的复值递归神经网络训练方法及其应用[J];信号处理;2001年06期

10 文敦伟,蔡自兴;递归神经网络的模糊随机学习算法[J];高技术通讯;2002年01期

中国重要会议论文全文数据库 前10条

1 房毅宪;王宝文;王永茂;;基于偏差递归神经网络的股价预测(英文)[A];计算机技术与应用进展——全国第17届计算机科学与技术应用（CACIS）学术会议论文集（上册）[C];2006年

2 刘勇;沈毅;胡恒章;;递归神经网络自适应滤波器[A];1998年中国智能自动化学术会议论文集（上册）[C];1998年

3 赵英凯;蔡宁;;基于对角递归神经网络的肟化投酮量在线预估[A];1998年中国智能自动化学术会议论文集（上册）[C];1998年

4 李树荣;李峰;;基于动态递归神经网络的非线性系统重构[A];1998年中国控制会议论文集[C];1998年

5 史志伟;韩敏;;应用递归神经网络建立非线性结构系统模型[A];第二十三届中国控制会议论文集（下册）[C];2004年

6 丛爽;戴谊;;递归神经网络逼近性能的研究[A];'2006系统仿真技术及其应用学术交流会论文集[C];2006年

7 吕进;郭晨;刘雨;;基于不完全递归神经网络的二阶导数多步预测模糊控制及应用[A];2007年中国智能自动化会议论文集[C];2007年

8 蒲兴成;;时变时滞不确定递归神经网络渐近稳定的一个充分条件[A];2008’“先进集成技术”院士论坛暨第二届仪表、自动化与先进集成技术大会论文集[C];2008年

9 仉宝玉;吴志敏;;基于对角递归神经网络的智能PID控制[A];'2003系统仿真技术及其应用学术交流会论文集[C];2003年

10 沈艳;谢美萍;;基于递归神经网络的船舶运动极短期建模预报[A];第二届全国信息获取与处理学术会议论文集[C];2004年

中国博士学位论文全文数据库 前10条

1 赵永昌;一类时滞静态递归神经网络的动力学行为研究[D];中国海洋大学;2010年

2 高海宾;扰动作用下递归神经网络稳定性研究[D];燕山大学;2006年

3 黄玉娇;具有广义分段线性激活函数的递归神经网络的多稳定性分析[D];东北大学;2014年

4 徐东坡;递归神经网络梯度学习算法的收敛性[D];大连理工大学;2009年

5 于佳丽;递归神经网络的连续吸引子与模糊控制[D];电子科技大学;2009年

6 王芬;递归神经网络的动力学行为分析[D];武汉科技大学;2011年

7 季策;时滞递归神经网络的动态特性研究[D];东北大学;2005年

8 徐军;递归神经网络稳定性分析[D];浙江大学;2007年

9 张锐;几类递归神经网络的稳定性及其应用研究[D];东北大学;2010年

10 张益军;时滞递归神经网络稳定性分析及网络化同步控制[D];东华大学;2008年

中国硕士学位论文全文数据库 前10条

1 柳玉华;一种递归神经网络方法研究及其在非线性系统跟踪控制中的应用[D];江西理工大学;2015年

2 罗威威;全局指数稳定的递归神经网络的鲁棒性分析[D];中国矿业大学;2015年

3 杨渺渺;具有时滞的递归神经网络稳定性分析[D];电子科技大学;2015年

4 崔志超;基于产品特征的中文评论情感分析系统设计与实现[D];河北科技大学;2015年

5 余仕敏;基于递归神经网络的广告点击率预估[D];浙江理工大学;2016年

6 宛立达;基于振动信号分析的故障诊断理论与应用[D];东北石油大学;2010年

7 李克强;基于Spark的大规模RNNLM系统[D];江苏大学;2016年

8 葛洋;多时滞递归神经网络的指数稳定性研究[D];曲阜师范大学;2010年

9 张欣;递归神经网络的研究及在非线性动态系统辨识中的应用[D];太原理工大学;2005年

10 曾智;递归神经网络的动力学行为研究[D];重庆大学;2006年

  本文关键词：基于Spark的大规模RNNLM系统，，由笔耕文化传播整理发布。

本文编号：319297