Hadoop支持下海量出租车轨迹数据预处理技术研究

发布时间：2017-08-31 07:17

  本文关键词：Hadoop支持下海量出租车轨迹数据预处理技术研究

  更多相关文章： 轨迹数据 Hadoop 大数据 数据预处理 并行计算

【摘要】：海量出租车轨迹数据预处理是轨迹数据挖掘和应用的前提。出租车轨迹数据是典型的大数据,传统的数据处理技术无法解决大规模出租车轨迹数据误差分析和处理问题,文章在分析轨迹数据误差来源和误差类型的基础上,提出基于Hadoop的海量出租车轨迹数据预处理模型,使用Hive实现轨迹数据误差统计分析,设计MapReduce并行处理程序实现轨迹数据预处理。实验结果表明,该模型可以有效解决大规模出租车轨迹数据预处理问题,处理方式可靠性较高,大大提高了轨迹数据预处理效率,为后期轨迹数据深入挖掘和分析奠定了基础。
【作者单位】： 兰州交通大学;兰州市勘察测绘研究院;
【关键词】： 轨迹数据 Hadoop 大数据 数据预处理 并行计算
【分类号】：P228.4;TP311.13
【正文快照】： 1引言随着卫星定位技术、无线通信技术和地理信息技术的迅速发展,定位设备在车载以及移动终端上得到广泛使用。许多城市的出租车都装载了定位设备,这些设备会定时将其位置信息传至服务中心,由此汇聚而成大规模的出租车轨迹数据。这些轨迹数据包含大量信息,已经开始应用于很多

【相似文献】

中国期刊全文数据库 前10条

1 任爽,王宇;供应链管理中的数据预处理技术[J];科技情报开发与经济;2004年11期

2 孟辉;洪文学;;蛋白质组学质谱数据预处理技术综述[J];中国生物医学工程学报;2009年03期

3 常博;李振伟;;数据预处理在高速公路收费系统中的应用[J];科技资讯;2010年27期

4 钟波,肖智;一种改进聚类分析方法在数据预处理中的应用(英文)[J];西南师范大学学报(自然科学版);2002年05期

5 李华;李元垒;刘溪;;支持向量聚类的一种改进数据预处理[J];山东科技大学学报(自然科学版);2007年02期

6 张桂英;;方差定理与数据预处理[J];山东科学;1991年02期

7 闫磊;李永红;杜力力;;小波分析技术在数据预处理中的应用[J];科技信息;2012年29期

8 杨农合,向西成,孙占平;重力仪读数自动记录和数据预处理[J];地球科学与环境学报;1991年03期

9 杨斌;;数据预处理对关联序的影响[J];中小企业管理与科技(下旬刊);2013年04期

10 黄容伟;李文敬;;基于粗糙集理论的数据预处理[J];广西师范学院学报(自然科学版);2006年04期

中国重要会议论文全文数据库 前10条

1 王桂芹;黄道;;数据预处理技术研究[A];第一届中国高校通信类院系学术研讨会论文集[C];2007年

2 周炳玉;卢野;刘珍阳;;多传感器数据融合中的数据预处理技术研究[A];2007年光电探测与制导技术的发展与应用研讨会论文集[C];2007年

3 张国卿;马亚龙;同兰娟;孙明;;一种数字信号处理方法在数据预处理中的应用研究[A];第13届中国系统仿真技术及其应用学术年会论文集[C];2011年

4 吕琳;朱东华;刘玉琴;;面向数据仓库的数据预处理研究综述[A];2007年中国智能自动化会议论文集[C];2007年

5 胡钛;李英玉;孟新;王春梅;李秀冰;;双星计划地面应用数据预处理的设计与实现[A];中国空间科学学会空间探测专业委员会第十七次学术会议论文集[C];2004年

6 王建国;刘春国;;地下流体数据预处理与质量评价方法研究[A];2013年地震流体专业委员会学术年会会议摘要[C];2013年

7 姚卿达;张俊欣;;KDD中数据预处理的研究[A];第十五届全国数据库学术会议论文集[C];1998年

8 师丽强;张斌;阳春华;;基于核主元分析的净化除钴过程数据预处理研究[A];2011第十六届全国自动化技术与应用学术年会专辑[C];2011年

9 杨帆;;“电力勘测工程野外数据预处理软件包”编制及应用[A];2001年东北三省测绘学术与信息交流会论文集[C];2001年

10 杨春霞;;H9000 V4.0系统数据预处理功能及实现[A];中国水力发电工程学会信息化专委会2008年学术交流会论文集[C];2008年

中国博士学位论文全文数据库 前3条

1 张京芬;蛋白质鉴定中串联质谱数据预处理的算法研究[D];中国科学院研究生院（计算技术研究所）;2006年

2 向常洲;基于CBM-TOF探测器的数据预处理[D];华中师范大学;2013年

3 李超锋;Web使用挖掘关键技术研究[D];华中科技大学;2007年

中国硕士学位论文全文数据库 前10条

1 马燕燕;中国科技论文在线文献的数据预处理研究[D];吉林大学;2010年

2 梅盈;MUSER海量数据预处理关键技术研究[D];昆明理工大学;2015年

3 魏霞;智能化数据预处理系统的研究与实现[D];华南理工大学;2010年

4 张丽玮;科研评估体系中数据预处理系统设计与实现[D];山东大学;2006年

5 王丽平;数据预处理技术在电厂中的应用[D];华北电力大学（北京）;2004年

6 白凤伟;数据预处理系统的几个关键技术研究与实现[D];北京交通大学;2012年

7 栾江;数据质量控制：数据预处理研究、设计与实现[D];四川大学;2004年

8 刘春亚;基于粗集理论的数据预处理及应用研究[D];重庆大学;2003年

9 孙硕;基于KDD的销售数据预处理管理系统[D];吉林大学;2010年

10 方洪鹰;数据挖掘中数据预处理的方法研究[D];西南大学;2009年

，

本文编号：764202