轨迹数据的压缩技术和系统实现

发布时间：2017-06-07 00:03

  本文关键词：轨迹数据的压缩技术和系统实现，由笔耕文化传播整理发布。

【摘要】：城市出租车装配的定位设备每天能够收集到大量的轨迹数据,为基于位置服务(Location-based service, LBS)提供重要的数据来源。通过对海量出租车轨迹数据进行分析和挖掘,能够了解交通流量规律,辅助规划人们出行,分析人群行为特征等。然而由于移动定位设备的快速普及和出租车业务的发展,导致轨迹数据的快速增长,给数据存储、实时查询以及数据分析带来了巨大的挑战。而轨迹数据压缩技术是解决数据快速增长的一种有效解决方案。因此本文对轨迹数据进行分析,提取特征数据,挖掘特征的分布。然后基于特征的分布,提出了轨迹信息量度量指标,并在此基础上提出了两种轨迹压缩算法,基于信息量的轨迹压缩算法和基于压缩率的轨迹压缩算法,既保证了压缩率又能保证较高的轨迹压缩质量。为了应对典型的轨迹查询,本文对压缩后的数据进行分布式存储,同时保证较优的查询效率和高吞吐量。本文主要贡献如下：·轨迹特征挖掘提出了轨迹特征挖掘的框架,从轨迹数据中提取速度、方向和位置三维信息,借助马尔科夫链分析轨迹特征的分布。然后利用高斯模型、高斯混合模型和指数分布拟合轨迹特征的分布,并在真实轨迹数据上实验证明模型的有效性。·轨迹压缩研究提出了轨迹信息量度量指标,然后根据轨迹信息量和轨迹压缩率,综合考虑了轨迹速度,方向和位置特征,提出了基于信息量的轨迹压缩算法和基于压缩率的轨迹压缩算法,在保证压缩率的同时保证轨迹压缩质量。最后与已有的轨迹压缩技术,在真实数据集上进行多个维度比较,实验证明算法的高效性和有效性。·轨迹分布式存储和查询针对轨迹数据上几种常见的查询分析类型,提出基于HBase的分布式存储系统,以及为了支持高效查询分析和快速存储,设计了轨迹数据存储模型,并给出了相应的查询算法。然后在此基础上提出布隆过滤器的优化策略,对不需要遍历的数据块进行剪枝,提高查询效率。最后通过实验证明存储模型的高效性。
【关键词】：轨迹压缩 基于位置服务 行驶特征 分布式存储 信息量
【学位授予单位】：华东师范大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP311.52
【目录】：

• 摘要6-7
• ABSTRACT7-15
• 第一章 绪论15-19
• 1.1 研究背景15-17
• 1.2 本文工作与主要贡献17-18
• 1.3 组织结构18-19
• 第二章 研究现状19-31
• 2.1 基于位置的服务发展现状19-20
• 2.2 轨迹压缩国内外研究现状20-24
• 2.2.1 线段简化压缩21-23
• 2.2.2 基于路网结构的压缩23-24
• 2.2.3 基于语义压缩24
• 2.3 轨迹数据管理系统24-26
• 2.4 轨迹误差度量26-30
• 2.5 本章小结30-31
• 第三章 轨迹行驶特征分析31-47
• 3.1 预备知识31-34
• 3.1.1 轨迹数据介绍31-32
• 3.1.2 路网数据介绍32-33
• 3.1.3 高斯混合模型33-34
• 3.2 轨迹行驶特征34-39
• 3.2.1 速度特征35-37
• 3.2.2 方向特征37-38
• 3.2.3 位置特征38-39
• 3.3 实验研究39-46
• 3.3.1 特征分布实验40-41
• 3.3.2 模型有效性评估实验41-46
• 3.4 本章小结46-47
• 第四章 基于轨迹特征的轨迹压缩方法47-65
• 4.1 预备知识47-49
• 4.1.1 马尔科夫链48
• 4.1.2 信息论48-49
• 4.2 轨迹信息量49-53
• 4.2.1 定义49-50
• 4.2.2 计算规则50-53
• 4.3 基于信息量的轨迹压缩算法53-55
• 4.4 基于压缩率的轨迹压缩算法55
• 4.5 实验结果分析55-63
• 4.5.1 对比算法56-57
• 4.5.2 算法性能评测标准57-58
• 4.5.3 算法有效性评估实验58-61
• 4.5.4 算法时间性能评估实验61-63
• 4.6 本章小结63-65
• 第五章 轨迹存储与查询系统65-81
• 5.1 预备知识65-66
• 5.2 系统架构66-76
• 5.2.1 分布式存储解决方案68-71
• 5.2.2 分布式查询解决方案71-74
• 5.2.3 存储和查询优化方案74-76
• 5.3 实验评估76-80
• 5.3.1 实验环境76-77
• 5.3.2 系统吞吐量评估实验77-78
• 5.3.3 查询性能评估实验78-80
• 5.4 本章总结80-81
• 第六章 总结与展望81-83
• 6.1 本文工作总结81-82
• 6.2 今后工作展望82-83
• 参考文献83-91
• 致谢91-93
• 攻读硕士学位期间发表论文和科研情况93

【相似文献】

中国期刊全文数据库 前10条

1 王征;刘心松;李美安;;企业信息分布式存储的热点处理策略[J];计算机集成制造系统;2006年09期

2 李磊;沈海斌;黄凯;严晓浪;Han Sangil;Ahmed A Jerraya;;分布式存储管理在多核设计中的高层建模[J];电子与信息学报;2008年11期

3 刘翔;汪海玲;;分布式存储中的一种数据放置策略[J];计算机与数字工程;2009年05期

4 陈卫卫;吴海佳;胥光辉;;分布式存储中文件分割的最优化模型[J];解放军理工大学学报(自然科学版);2010年04期

5 崔忠强;左德承;张展;;在云间可重构的分布式存储[J];系统工程理论与实践;2011年S2期

6 郝杰;逯彦博;刘鑫吉;夏树涛;;分布式存储中的再生码综述[J];重庆邮电大学学报(自然科学版);2013年01期

7 唐京伟;;基于云计算的分布式存储技术[J];中国传媒科技;2013年15期

8 郭栋;王伟;曾国荪;;基于一致性树分布的数据分布式存储方法[J];计算机应用;2013年12期

9 苏李亮;王云福;侯斌;;海量设计文档分布式存储及负载均衡的研究与实现[J];电信科学;2013年12期

10 谢然;;敢问存储之路在何方?见分布式存储摇曳在数据枝头[J];互联网周刊;2014年02期

中国重要会议论文全文数据库 前7条

1 苏李亮;王云福;侯斌;;海量设计文档分布式存储及负载均衡的研究与实现[A];2013电力行业信息化年会论文集[C];2013年

2 苏李亮;王云福;侯斌;;海量设计文档分布式存储及负载均衡的研究与实现[A];2013电力行业信息化年会论文集[C];2013年

3 郑文武;李先绪;黄植勤;邱红飞;;云存储关键技术[A];2012全国无线及移动通信学术大会论文集（下）[C];2012年

4 蒋轶林;郭淑琴;;分布式存储在数字集群移动通信系统中的应用[A];浙江省电子学会2013学术年会论文集[C];2013年

5 姜继忱;陈钢;;P2P之路——缔造“分布式对等”的Internet3.0[A];全面建设小康社会：中国科技工作者的历史责任——中国科协2003年学术年会论文集（下）[C];2003年

6 付伟;肖侬;卢锡城;;QoS感知的副本放置问题研究综述[A];第15届全国信息存储技术学术会议论文集[C];2008年

7 张彦;刘欣然;徐慧彬;;一种基于虚拟计算环境的分布式存储体系结构[A];2009全国计算机网络与通信学术会议论文集[C];2009年

中国重要报纸全文数据库 前8条

1 京东架构委员会主任 云平台首席架构师 系统技术部负责人 刘海锋;京东:分布式存储体系成为业务基石[N];中国信息化周报;2014年

2 《网络世界》记者 于翔;京东分布式存储体系研发历程[N];网络世界;2014年

3 《网络世界》记者 于翔;融合一体机投入大规模商用[N];网络世界;2013年

4 记者 余荣华;大数据，催生大变革[N];人民日报;2014年

5 本报记者 张佳星;新生产业布局如何“云”中索骥[N];科技日报;2014年

6 本报记者 甘露;物联网让管理更美妙[N];计算机世界;2013年

7 本报记者 郭涛;华为帮用户定制HANA一体机[N];中国计算机报;2013年

8 临江;手机浏览器,3G时代的采矿机？[N];人民邮电;2009年

中国博士学位论文全文数据库 前9条

1 吴思;容错分布式存储系统扩容机制研究[D];中国科学技术大学;2016年

2 胡q，

本文编号：427743