基于高速大数据的多义路径识别系统研究与实现
【图文】:
而将大部分精力投入到业务逻辑的设计上,MapReduce框架包含控制主节点、逡逑工作从节点[24]。主节点负责将用户提交的任务分配到从节点上去执行,从节点负逡逑责执行用户提交的任务。MapReduce的处理流程如图2-2所示。逡逑Client邋I邋submit邋Job一?[邋JobTracker邋]邋assign邋Tasks—n邋TaskScheduler邋]逡逑—task邋list逦^逦J逡逑xK逡逑Heartbeat邋Heartbeat邋Heartbeat逡逑/IX逡逑f邋TaskTracker邋j邋^邋TaskTracker逦〔邋TaskTracker邋〕逡逑图2-2邋MapReduce处理流程逡逑MapReduce采用分而治之的思想,任务过程主要分为Map阶段和Reduce阶逡逑段,首先从HDFS读取数据,进行分片,每个数据片Split分配给一个map任务,逡逑每个Split中存储着对应分片的数据信息,信息包括文件块信息、起始位置、数逡逑据长度、所在节点列表等。在Map阶段将一个大任务分成多个子任务进行处理。逡逑把Mapper产生的结果按照key值进行排序并按key值合并,将处理后的数据作逡逑为Reduce阶段的输入数据。在Reduce阶段,将结果进行合并。其中每阶段都以逡逑键值对〈key,,邋value〉的数据格式作为输入输出。MapReduce计算流程如图2-3所逡逑不0逡逑Shuffle逡逑Input逡逑I邋逦L逡逑split。逦?邋Map逦少逦.逡逑M邋H逦-I逦逦——^Output逡逑逦邋\
逦Value8逦t2逡逑HBase是主从架构&],架构如图2-4所示。逡逑Master逡逑^^^ZooKee^er^邋^逡逑^逦cluster邋_邋)逡逑,邋!邋/邋\逡逑I逦\逦z><:逦、——\逡逑I逦''逡逑RegionserveF-.逦s逦,邋Kegionserver逡逑图2-4邋HBase体系架构逡逑HBase由三种组件构成,分别是:逡逑(1)邋HMaster逡逑HBase的主节点,HMaster监控RegionServer节点的服务器故障,同时还逡逑负责RegionServer节点间的负载均衡。逡逑10逡逑
【学位授予单位】:北方工业大学
【学位级别】:硕士
【学位授予年份】:2019
【分类号】:TP311.13;U495
【相似文献】
相关期刊论文 前10条
1 邱民;;高速公路二义性路径识别系统应用的几点思考[J];技术与市场;2017年04期
2 关晓芙;;路径识别,两难的选择?[J];中国交通信息产业;2007年05期
3 徐之青;彭利人;李志高;;高速公路路径识别技术的分析与选择[J];中国交通信息产业;2007年05期
4 孙会仁;;基于RFID技术的高速公路二义性路径识别系统设计[J];交通建设与管理;2014年16期
5 邓洪波;张远见;李宇辉;浦江;刁穗东;;多义性路径识别系统[J];电子产品世界;2006年21期
6 许永存;贺静;韩豪;;基于5.8G射频的多路径识别技术应用探讨[J];中国交通信息化;2019年02期
7 彭家一;王伟;;高速公路路径识别技术应用探讨与思考[J];中国交通信息化;2019年03期
8 马鑫俊;王握;;面向联网收费的高速公路路径识别方法分析[J];现代盐化工;2016年04期
9 ;浙江加快二义性路径识别系统建设[J];中国交通信息产业;2008年12期
10 于江浩;;高速公路联网收费中多义性路径识别技术探讨[J];交通标准化;2009年24期
相关会议论文 前8条
1 邓忠平;;高速公路路径识别卡改进方案研究[A];《IT时代周刊》论文专版(第317期)[C];2015年
2 《杭州绕城高速公路路径识别方法的研究》课题组;;杭州绕城高速公路路径识别方法的研究[A];浙江省公路学会2005年年会论文集[C];2006年
3 钟勇;;基于双向通信技术的RFID技术多义性路径识别系统及其应用[A];《IT时代周刊》论文专版(第300期)[C];2014年
4 石伟;夏志国;;天津高速公路联网收费二义性路径识别技术开发与应用[A];第二届全国高速公路机电养护管理论坛论文集[C];2013年
5 王明顺;沈谋全;;寻迹竞速机器人的设计与实现[A];第二十六届中国控制会议论文集[C];2007年
6 钱兵;周静;;浅议环路高速公路联网收费路径识别问题[A];湖北省公路学会——2004年机电工程研讨会论文集[C];2004年
7 林树亮;;基于DSRC技术的多义性路径识别基站应用研究[A];《IT时代周刊》论文专版(第300期)[C];2014年
8 陈杰;;国内外ETC新技术发展和应用[A];第四届全国高等级公路机电养护管理论坛论文集[C];2015年
相关重要报纸文章 前5条
1 本报记者 钱民峰;路径识别从A到B的N种可能[N];中国交通报;2014年
2 交信;浙江车牌路径识别系统今年上半年将启用[N];中国交通报;2009年
3 吴淑侠;浅论京沈联网系统的路径识别[N];河北经济日报;2004年
4 龚百晓 本报记者 徐祖贤;创新发展迈出新步伐[N];中国经济时报;2015年
5 本报记者 梁晓明 吴丹;四川高速公路联网收费切换至多路径识别系统[N];中国交通报;2011年
相关博士学位论文 前2条
1 李进;视觉导航智能车辆的路径识别和跟踪控制[D];合肥工业大学;2008年
2 刘卫朋;焊接机器人焊接路径识别与自主控制方法研究及应用[D];河北工业大学;2016年
相关硕士学位论文 前10条
1 路珊;基于高速大数据的多义路径识别系统研究与实现[D];北方工业大学;2019年
2 何杰;高速公路多路径识别关键技术研究[D];湖南大学;2016年
3 韩豪;基于5.8G专用短程通信技术的高速公路多义性路径识别系统设计[D];长安大学;2017年
4 张昊;基于RFID的浙江省高速公路联网收费多义性路径识别研究[D];吉林大学;2009年
5 孙凯;高速公路多路径识别技术研究及实现[D];郑州大学;2013年
6 蓝新兆;广东省高速公路多路径识别及费率缩减问题研究[D];华南理工大学;2013年
7 李凌翔;智能割草机器人路径识别、跟踪与障碍探测技术的研究[D];南京理工大学;2005年
8 邬奇强;基于超低功耗双频通行IC卡的高速公路多义性路径识别应用研究[D];华南理工大学;2011年
9 陈良;基于移动LBS的高速路网多路径识别关键技术研究[D];电子科技大学;2013年
10 姜子君;基于LBS的高速公路多路径识别系统研究[D];电子科技大学;2012年
本文编号:2659966
本文链接:https://www.wllwen.com/kejilunwen/daoluqiaoliang/2659966.html