基于轨迹数据流的聚集模式挖掘方法研究
发布时间：2022-07-16 15:43
近年来,随着无线通信、移动定位、互联网、云计算等技术的快速发展,人们能够源源不断地获得海量的轨迹数据。轨迹数据具有明显的时空特征和流式特征,通过分析和挖掘,能够一定程度上反映出移动对象的运动模式。时空轨迹聚集模式是时空轨迹模式中的一个重要研究内容,主要用于发现异常或典型性的群体事件,被广泛应用于人类行为模式、交通物流、动物习性、市场营销等领域。目前,时空轨迹聚集模式挖掘算法研究取得了一系列成果,但针对流式数据处理的算法效率还有待提升。本文研究轨迹数据流中的聚集模式挖掘算法,在聚类和群组检测阶段取得的主要研究成果如下:1.提出了一种面向聚集模式挖掘的网格聚类算法MR-GDBSCAN（Grid-based MR-DBSCAN）,在Spark分布式环境中加以实现。该算法将海量的移动对象点映射到网格中,通过网格索引移动对象,将网格作为聚类对象,减少了需要进行聚类的数量,降低了计算量,并利用二叉空间分割技术将网格数据分发到各个计算节点中去并行聚类,以此来达到提高聚类效率的目的。2.提出了一种基于滑动时间窗口的增量式群组检测算法,结合Spark Streaming的滑动时间窗口模型,在时间窗口中对...
【文章页数】：58 页
【学位级别】：硕士
【文章目录】：
摘要
abstract
第1章 引言
1.1 研究背景和意义
1.2 国内外研究现状
1.3 论文主要工作
1.4 论文章节组织结构
第2章 相关研究基础
2.1 聚类算法
2.1.1 基于划分的聚类算法
2.1.2 基于层次的聚类算法
2.1.3 基于密度的聚类算法
2.1.4 基于网格的聚类算法
2.2 索引技术
2.2.1 B树索引
2.2.2 R树索引
2.2.3 四叉树索引
2.2.4 网格索引
2.3 时空轨迹聚集模式挖掘方法
2.3.1 基于密度的聚集模式挖掘方法
2.3.2 基于近似查询的聚集模式挖掘方法
2.3.3 基于关联规则剪枝的聚集模式挖掘方法
2.4 Spark大数据生态圈
2.4.1 Spark特点
2.4.2 RDD数据集
2.4.3 Spark Streaming流式技术
2.5 本章小结
第3章 基于轨迹数据流的聚集模式挖掘方法
3.1 相关定义
3.2 面向聚集模式的网格聚类算法
3.2.1 网格构建
3.2.2 数据分区
3.2.3 本地聚类
3.2.4 全局聚类
3.3 增量式群组挖掘算法
3.3.1 增量式群组检测
3.3.2 时间复杂度分析
3.4 聚集模式检测
3.5 本章小结
第4章 实验与分析
4.1 实验数据集
4.2 实验结果与分析
4.2.1 聚类参数分析
4.2.2 效率、可伸缩性分析
4.2.3 挖掘效果可视化
4.3 本章小结
第5章 总结与展望
5.1 总结
5.2 展望
5.2.1 算法层面的考虑
5.2.2 研究数据层面的考虑
5.2.3 数据可视化层面的考虑
参考文献
致谢
攻读硕士学位期间从事的科研工作及取得的成果
【参考文献】：
期刊论文
[1]基于密度自适应聚类数的社区发现谱方法[J]. 王学军,李有红,李炽平. 计算机技术与发展. 2019(05)
[2]Hadoop研究及挑战综述[J]. 何思佑,王亚强. 信息通信. 2018(10)
[3]基于密度权值平均变化率的CFSFDP聚类算法[J]. 董炎焱. 太原师范学院学报(自然科学版). 2018(03)
[4]Spark性能优化技术研究综述[J]. 廖湖声,黄珊珊,徐俊刚,刘仁峰. 计算机科学. 2018(07)
[5]基于时空轨迹的移动对象汇聚模式挖掘算法[J]. 张逸凡,赵斌,孙鸿艳,谈超,吉根林. 数据采集与处理. 2018(03)
[6]近似到达时间约束下的语义轨迹频繁模式挖掘[J]. 吴瑕,唐祖锴,祝园园,彭煜玮,彭智勇. 软件学报. 2018(10)
[7]一种新的基于时空轨迹的汇合模式挖掘算法[J]. 杨宇,吉根林,赵斌,黄潇婷. 南京大学学报(自然科学). 2018(01)
[8]一种基于MapReduce高效K-means并行算法[J]. 王永贵,崔鹏. 辽宁工程技术大学学报(自然科学版). 2017(11)
[9]基于MapReduce的并行MRACO-PAM聚类算法[J]. 赵宝文,徐华. 计算机工程与科学. 2017(10)
[10]面向位置大数据的快速密度聚类算法[J]. 于彦伟,贾召飞,曹磊,赵金东,刘兆伟,刘惊雷. 软件学报. 2018(08)
博士论文
[1]基于轨迹数据的移动对象聚集模式挖掘方法研究[D]. 张峻铭.北京邮电大学 2016
硕士论文
[1]基于Spark的时空数据查询与分析关键技术研究[D]. 苏敏章.西安电子科技大学 2018
[2]基于语义相似度的中文文本聚类算法研究[D]. 杨开平.电子科技大学 2018
[3]云计算环境下时空轨迹聚集模式挖掘算法研究[D]. 王敏.南京师范大学 2016
本文编号：3662790
【文章页数】：58 页
【学位级别】：硕士
【文章目录】：
摘要
abstract
第1章 引言
1.1 研究背景和意义
1.2 国内外研究现状
1.3 论文主要工作
1.4 论文章节组织结构
第2章 相关研究基础
2.1 聚类算法
2.1.1 基于划分的聚类算法
2.1.2 基于层次的聚类算法
2.1.3 基于密度的聚类算法
2.1.4 基于网格的聚类算法
2.2 索引技术
2.2.1 B树索引
2.2.2 R树索引
2.2.3 四叉树索引
2.2.4 网格索引
2.3 时空轨迹聚集模式挖掘方法
2.3.1 基于密度的聚集模式挖掘方法
2.3.2 基于近似查询的聚集模式挖掘方法
2.3.3 基于关联规则剪枝的聚集模式挖掘方法
2.4 Spark大数据生态圈
2.4.1 Spark特点
2.4.2 RDD数据集
2.4.3 Spark Streaming流式技术
2.5 本章小结
第3章 基于轨迹数据流的聚集模式挖掘方法
3.1 相关定义
3.2 面向聚集模式的网格聚类算法
3.2.1 网格构建
3.2.2 数据分区
3.2.3 本地聚类
3.2.4 全局聚类
3.3 增量式群组挖掘算法
3.3.1 增量式群组检测
3.3.2 时间复杂度分析
3.4 聚集模式检测
3.5 本章小结
第4章 实验与分析
4.1 实验数据集
4.2 实验结果与分析
4.2.1 聚类参数分析
4.2.2 效率、可伸缩性分析
4.2.3 挖掘效果可视化
4.3 本章小结
第5章 总结与展望
5.1 总结
5.2 展望
5.2.1 算法层面的考虑
5.2.2 研究数据层面的考虑
5.2.3 数据可视化层面的考虑
参考文献
致谢
攻读硕士学位期间从事的科研工作及取得的成果
【参考文献】：
期刊论文
[1]基于密度自适应聚类数的社区发现谱方法[J]. 王学军,李有红,李炽平. 计算机技术与发展. 2019(05)
[2]Hadoop研究及挑战综述[J]. 何思佑,王亚强. 信息通信. 2018(10)
[3]基于密度权值平均变化率的CFSFDP聚类算法[J]. 董炎焱. 太原师范学院学报(自然科学版). 2018(03)
[4]Spark性能优化技术研究综述[J]. 廖湖声,黄珊珊,徐俊刚,刘仁峰. 计算机科学. 2018(07)
[5]基于时空轨迹的移动对象汇聚模式挖掘算法[J]. 张逸凡,赵斌,孙鸿艳,谈超,吉根林. 数据采集与处理. 2018(03)
[6]近似到达时间约束下的语义轨迹频繁模式挖掘[J]. 吴瑕,唐祖锴,祝园园,彭煜玮,彭智勇. 软件学报. 2018(10)
[7]一种新的基于时空轨迹的汇合模式挖掘算法[J]. 杨宇,吉根林,赵斌,黄潇婷. 南京大学学报(自然科学). 2018(01)
[8]一种基于MapReduce高效K-means并行算法[J]. 王永贵,崔鹏. 辽宁工程技术大学学报(自然科学版). 2017(11)
[9]基于MapReduce的并行MRACO-PAM聚类算法[J]. 赵宝文,徐华. 计算机工程与科学. 2017(10)
[10]面向位置大数据的快速密度聚类算法[J]. 于彦伟,贾召飞,曹磊,赵金东,刘兆伟,刘惊雷. 软件学报. 2018(08)
博士论文
[1]基于轨迹数据的移动对象聚集模式挖掘方法研究[D]. 张峻铭.北京邮电大学 2016
硕士论文
[1]基于Spark的时空数据查询与分析关键技术研究[D]. 苏敏章.西安电子科技大学 2018
[2]基于语义相似度的中文文本聚类算法研究[D]. 杨开平.电子科技大学 2018
[3]云计算环境下时空轨迹聚集模式挖掘算法研究[D]. 王敏.南京师范大学 2016
本文编号：3662790
本文链接：https://www.wllwen.com/kejilunwen/ruanjiangongchenglunwen/3662790.html
