智慧高速海量异构数据处理关键技术研究

发布时间：2017-11-22 13:12

  本文关键词：智慧高速海量异构数据处理关键技术研究

  更多相关文章： 智慧高速 数据迁移 数据存储 数据检索

【摘要】：高速公路作为经济运输大动脉,承担的运输量与经济和社会需求同步增长。目前高速公路在建设管理、运营管理、养护管理及服务等方面也呈现出一些问题,如体制分散、缺乏统一协调,出现了“信息孤岛”、缺乏对交通信息的综合利用等。随着物联网、云计算、人工智能、自动控制、移动互联网等技术在交通领域中的充分运用,“智慧高速”也应运而生。智慧高速通过充分地“感知”高速公路,实现信息深度融合、数据分析和挖掘,采用准确的模型和控制系统,为管理者和出行者提供协同管理和智慧服务。但在智慧高速建设过程中,“感知”的数据具有种类繁多、数据量大、存储分散等特性,因此数据的有效存储、高效率的数据检索、数据的深度融合是目前智慧高速重点研究内容之一。本文以某区智慧高速为研究对象,结合当前该区智慧高速的建设情况及数据的特点,以Hadoop大数据平台为基础,对智慧高速数据中心海量异构数据处理的相关关键技术进行研究,主要有以下几方面的研究工作。(1)分析云计算和Hadoop相关技术,主要包含HDFS分布式文件、MapReduce分布式计算框架和HBase分布式数据库等技术。(2)在对该区智慧高速建设情况和数据特点分析基础上,构建了智慧高速海量异构数据处理总体架构,实现了海量异构数据处理流程。同时,根据用户的需求,确定了智慧高速海量异构数据处理的相关关键技术,包括数据迁移、数据存储、数据检索技术等。(3)实现了智慧高速海量异构数据关键技术中的数据存储、数据迁移、数据检索等的研究和方案设计。设计了数据存储结构、关系型数据表与HBase表的映射规则。提出了基于磁盘读写调度的结构化数据迁移和基于Apache VFS的非结构化数据迁移方案。设计了一种基于HBase二级索引的数据检索策略,结合数据缓存层,提高复杂条件的数据检索效率。(4)在智慧高速海量异构数据处理总体架构上,对智慧高速海量异构数据处理关键技术进行了实验验证。实验结果表明:基于磁盘读写调度器的结构化数据迁移与默认调度器相比,随着数据迁移量的增加,迁移效率明显提升;设计的非结构化数据迁移方案支持多线程并发操作,随着线程的增加,迁移速度越快;改进的数据检索方法的检索效率高于原始HBase的检索效率,同时利用数据缓存,检索效率大大高于直接从已经建立索引的HBase的检索效率。
【学位授予单位】：重庆交通大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：U495;TP311.13

【相似文献】

中国期刊全文数据库 前10条

1 张锐,李海涛;异构数据的管理方法及异构数据源的集成研究[J];机电工程技术;2005年09期

2 严宏;;基于自适应模板的异构数据转换技术研究与实现[J];中国民航飞行学院学报;2013年03期

3 黎敬涛;分布计算与异构数据环境分析[J];昆明理工大学学报;1999年02期

4 周江川;彭川;;应急系统中不确定性异构数据的交换与集成[J];重庆理工大学学报(自然科学版);2010年08期

5 申强;李杰;孙发鱼;曹屹;;核监测多源异构数据融合体系与方法[J];探测与控制学报;2007年04期

6 杨欣欣;黄少滨;;基于图划分的网状高阶异构数据联合聚类算法[J];四川大学学报(工程科学版);2014年02期

7 金正淑,王彦彬,范小玲;基于XML的电力企业管理中异构数据共享[J];东北电力学院学报;2005年01期

8 赫伟珊;齐林海;林天华;;电能质量分析系统中异构数据交换的实现方法[J];电力科学与工程;2009年11期

9 谢芳华,任午令,唐任仲;基于XML的异构数据交换集成技术及其实现[J];制造业自动化;2004年04期

10 邹东伟;黄湘林;;图书馆异构数据的XML整合研究[J];东莞理工学院学报;2007年03期

中国重要会议论文全文数据库 前6条

1 姚燕;李湘;郭萍;郑波;;基于中间件的异构数据检索服务[A];2011年中国气象学会气象通信与信息技术委员会暨国家气象信息中心科技年会论文摘要[C];2011年

2 伍尚杰;陈立定;曾明;;基于XML异构数据的组态软件[A];中南六省（区）自动化学会第24届学术年会会议论文集[C];2006年

3 李刚;高春阳;崔明;;高校异构数据整合平台建设研究[A];第十届沈阳科学学术年会论文集（信息科学与工程技术分册）[C];2013年

4 江涛;刘东波;刘巍;;基于XML的异构数据集成中间件研究[A];促进企业信息化进程——第十届中国Java技术及应用大会文集[C];2007年

5 周翔;翁剑成;荣建;;基于MDA的异构交通数据管理平台的研究与开发[A];2007第三届中国智能交通年会论文集[C];2007年

6 陈亚洲;齐从谦;甘屹;;基于Web的CAM异构数据转换和传输的研究[A];制造业与未来中国——2002年中国机械工程学会年会论文集[C];2002年

中国重要报纸全文数据库 前2条

1 汪蔚;跨平台异构数据对接是选型根本[N];中国计算机报;2004年

2 西岸;Network Appliance发布新异构数据保护方案[N];通信产业报;2003年

中国博士学位论文全文数据库 前3条

1 吴红星;面向多业态集团企业多源异构数据的协同系统集成方法研究[D];合肥工业大学;2015年

2 于宝琴;成套电器企业异构数据整合及其物流系统的研究[D];天津大学;2006年

3 缪嘉嘉;异构数据映射技术研究[D];国防科学技术大学;2008年

中国硕士学位论文全文数据库 前10条

1 高姣姣;MUSER异构数据采集及融合技术研究[D];昆明理工大学;2015年

2 高湛;基于混支持度和粗糙集的异构数据融合研究[D];燕山大学;2015年

3 郑文明;基于XML的异构数据交换在汽车零部件产业价值链协同云服务平台的研究与应用[D];西南交通大学;2015年

4 陈毅飞;基于多源异构数据的杨凌水肥信息管理系统研究[D];西北农林科技大学;2015年

5 叶茂伟;大规模异构数据即时整合系统的研究与实现[D];浙江大学;2016年

6 荆志;海量异构数据定制平台的设计与实现[D];河北师范大学;2013年

7 朱峰;基于JSON的互联网异构数据整合的应用研究[D];南京邮电大学;2016年

8 李瀚晨;基于“用户—景点”关系建模的景点推荐技术的研究[D];北京工业大学;2016年

9 徐凯;智慧高速海量异构数据处理关键技术研究[D];重庆交通大学;2016年

10 孙靖怡;基于异构数据的复杂关联比对方法的研究与应用[D];沈阳理工大学;2008年

，

本文编号：1214806