物联网环境下基于上下文的Hadoop大数据处理系统模型

发布时间：2017-08-28 08:23

  本文关键词：物联网环境下基于上下文的Hadoop大数据处理系统模型

  更多相关文章： 大数据 物联网 Hadoop 上下文邻域系统 上下文队列

【摘要】：针对物联网环境下异构大数据处理实时性低的问题,探讨了基于Hadoop框架实现数据处理与持久化的方法,提出了一种基于"上下文"的Hadoop大数据处理系统模型HDS,HDS利用Hadoop框架完成数据并行处理与持久化,将物联网环境下异构数据抽象为"上下文"作为HDS处理对象;并提出了"上下文距离""上下文邻域系统(CNS)"的定义;对于Hadoop框架本身数据处理实时性不高的问题,HDS在设计上增加了"上下文队列(CQ)"作为辅助存储来提高数据处理实时性;利用"上下文"的时空特性,建立了用户请求"上下文邻域系统"对任务进行重组。以成品油配送车辆调度问题为例,利用MapReduce并行实验对HDS的数据处理与实时性能进行了验证与分析。实验结果表明,在物联网环境下,HDS不仅在大数据处理性能上较传统单点处理模型(SDS)具有明显优势,在实验环境中10台服务器的情况下,其计算性能能够超过SDS 200倍以上;同时也验证了CQ作为辅助存储能够有效提高数据处理实时性,在10台服务器环境下,其数据处理实时性能够提高270倍以上。
【作者单位】： 西南交通大学交通运输与物流学院;西南交通大学全国铁路列车运行图编制研发培训中心;
【关键词】： 大数据 物联网 Hadoop 上下文邻域系统 上下文队列
【基金】：国家自然科学基金资助项目(61273242,61403317) 中国铁路总公司科技研究计划项目(2013X006-A,2013X014-G,2013X010-A,2014X004-D)
【分类号】：TP391.44;TN929.5;TP311.13
【正文快照】： 0引言物联网是指通过射频识别、红外感应器、全球定位系统、激光扫描器等信息传感设备,按约定的协议,把任何物品与互联网连接起来,进行信息交换与通信,以实现智能化识别、定位、跟踪、监控和管理的一种网络。数据是物联网应用的核心内容,能否对其进行有效管理是制约物联网发展

【参考文献】

中国期刊全文数据库 前9条

1 张友根;吴玲达;邓维;宋汉辰;;融合时空上下文的手绘笔画图文分类[J];电子与信息学报;2013年01期

2 苏韦;李景文;刘华尧;张海英;欧阳云;;基于MapReduce的时空数据模型设计方法[J];测绘与空间地理信息;2013年07期

3 崔杰;李陶深;兰红星;;基于Hadoop的海量数据存储平台设计与开发[J];计算机研究与发展;2012年S1期

4 郑笛;王俊;贲可荣;;支持上下文感知的构件适配模型研究[J];计算机工程;2012年02期

5 李成华;张新访;金海;向文;;MapReduce:新型的分布式并行计算编程模型[J];计算机工程与科学;2011年03期

6 谢桂兰;罗省贤;;基于Hadoop MapReduce模型的应用研究[J];微型机与应用;2010年08期

7 戚铭尧;丁国祥;周游;缪立新;;一种基于时空距离的带时间窗车辆路径问题算法[J];交通运输系统工程与信息;2011年01期

8 黄哲学;曹付元;李俊杰;陈小军;;面向大数据的海云数据系统关键技术研究[J];网络新媒体技术;2012年06期

9 王晓军;孙惠;;基于MapReduce的多路连接优化方法研究[J];计算机技术与发展;2013年06期

中国博士学位论文全文数据库 前1条

1 何文娜;大数据时代基于物联网和云计算的地质信息化研究[D];吉林大学;2013年

【共引文献】

中国期刊全文数据库 前10条

1 高飞;张琦;李泽强;;基于云计算技术的影视节目版权交易云平台的构建[J];广播与电视技术;2012年07期

2 王伟;;大数据分析——RDBMS与MapReduce的竞争与共生漫谈[J];计算机光盘软件与应用;2013年07期

3 李亮;;全台网环境下的云视频素材转码系统的设计[J];电视技术;2013年10期

4 邹青春;;基于云计算环境的考试数据挖掘算法研究[J];信息安全与技术;2013年07期

5 苏韦;李景文;刘华尧;张海英;欧阳云;;基于MapReduce的时空数据模型设计方法[J];测绘与空间地理信息;2013年07期

6 王苏卫;;基于Hadoop和Hive的电信行业数据仓库研究[J];电子技术与软件工程;2013年11期

7 谢峰;;基于Hadoop的云存储平台设计研究[J];电子技术与软件工程;2013年16期

8 郎波;张博宇;;面向大数据的非结构化数据管理平台关键技术[J];信息技术与标准化;2013年10期

9 邵景峰;崔尊民;王进富;白晓波;;大数据下纺织制造执行系统的构建[J];纺织器材;2013年06期

10 张亚楠;谭跃生;;基于MapReduce的并行遮盖文本聚类算法[J];内蒙古科技大学学报;2013年03期

中国重要会议论文全文数据库 前10条

1 邱红艳;李波;王运发;;基于模糊相似度的动态配送调度聚类方法[A];第六届（2011）中国管理学年会——管理科学与工程分会场论文集[C];2011年

2 生昕格;;基于hadoop的交通云数据处理平台设计[A];第七届中国智能交通年会优秀论文集——智能交通应用[C];2012年

3 Liang Chen;Jing Qiu;Xueping Gu;;Design of Cloud Computing Architecture for DIOT[A];2013教育技术与信息系统国际会议论文集[C];2013年

4 高飞;张琦;李泽强;;基于云计算技术的影视节目版权交易云平台的构建[A];中国新闻技术工作者联合会2013年学术年会、五届五次理事会暨第六届“王选新闻科学技术奖”和优秀论文奖颁奖大会论文集（广电篇）[C];2013年

5 乔媛媛;刘芳;凌艳;尹劲松;;云计算环境下MapReduce的资源建模与性能预测[A];2013年全国通信软件学术会议论文集[C];2013年

6 Xiaoguang Han;Jigang Sun;Wu Qu;Xuanxia Yao;;Distributed Malware Detection based on Binary File Features in Cloud Computing Environment[A];第26届中国控制与决策会议论文集[C];2014年

7 刘世洪;陈涛;郑火国;胡海燕;王烁;马涛;;农业产销匹配:云环境下的信息推荐平台[A];中国畜牧兽医学会信息技术分会2014年学术研讨会论文集[C];2014年

8 陈佐旗;余柏蒗;吴健平;;基于GPU通用计算的遥感数据处理——以计算地表太阳辐射值为例[A];第十八届中国环境遥感应用技术论坛论文集[C];2014年

9 白永超;付伟;辛阳;;基于Hadoop和Nutch的分布式搜索引擎研究与仿真[A];第十九届全国青年通信学术年会论文集[C];2014年

10 李超越;徐国胜;;Hadoop公平调度算法的改进[A];第十九届全国青年通信学术年会论文集[C];2014年

中国博士学位论文全文数据库 前10条

1 何文娜;大数据时代基于物联网和云计算的地质信息化研究[D];吉林大学;2013年

2 刘翔;面向移动计算的WEB中间件关键技术研究[D];电子科技大学;2013年

3 李健;云计算环境下最小化运营开销的调度技术研究[D];北京邮电大学;2013年

4 韩晶;大数据服务若干关键技术研究[D];北京邮电大学;2013年

5 程祥;高效可靠的虚拟网络映射技术研究[D];北京邮电大学;2013年

6 李韧;基于Hadoop的大规模语义Web本体数据查询与推理关键技术研究[D];重庆大学;2013年

7 卢风顺;面向CPU/GPU异构体系结构的并行计算关键技术研究[D];国防科学技术大学;2012年

8 孙鹏;动车组维修物联网及其关键技术研究[D];中国铁道科学研究院;2013年

9 肖奎;维基百科大数据的知识挖掘与管理方法研究[D];武汉大学;2013年

10 程兴国;仿生算法的动态反馈机制及其并行化实现方法研究[D];华南理工大学;2013年

中国硕士学位论文全文数据库 前10条

1 徐风;移动公司云计算平台原型的构建与测试[D];中南大学;2010年

2 廖玉兰;基于分布式的决策树方法研究[D];电子科技大学;2011年

3 王毅;基于Hadoop的Slope One及其改进算法实现[D];西南交通大学;2011年

4 陈勃;基于Nutch的企业搜索引擎的研究与实现[D];华中科技大学;2011年

5 李海波;基于MapReduce框架的分布式网络爬行器研究[D];哈尔滨工程大学;2011年

6 李倩;基于MapReduce模型的eMTM三维人体模型生成引擎[D];东华大学;2012年

7 李元洪;基于反馈的动态负载平衡调度算法在Hadoop异构环境中的设计与实现[D];南京理工大学;2012年

8 刘永;云计算环境下虚拟机资源调度策略研究[D];山东师范大学;2012年

9 李佳桐;上下文感知Web服务组合的动态演化技术研究[D];大连海事大学;2012年

10 李辉;基于云计算环境的web结构挖掘算法研究[D];浙江理工大学;2012年

【二级参考文献】

中国期刊全文数据库 前10条

1 孙其博;刘杰;黎，

本文编号：747528