基于Spark的AIS大数据挖掘平台设计与搭建
发布时间：2021-09-09 20:03
随着水上交通数字化与智能化的不断深入,船舶数据已成井喷式增长,对传统的数据处理挖掘平台造成了不小的负担;同时,海量的船舶数据又为船舶领域的智能化提供了基石。如何正确地处理应用这些数据成为了船舶领域的研究热点之一。2016年3月17日,《中华人民共和国国民经济和社会发展第十三个五年规划纲要》发布,其中第二十七章“实施国家大数据战略”提出:把大数据作为基础性战略资源,全面实施促进大数据发展行动,加快推动数据资源共享开放和开发应用,助力产业转型升级和社会治理创新。从中不难看出,大数据技术将是船舶数据处理挖掘领域的研究热点之一。现阶段,船舶领域相关数据种类众多、来源广泛,没有一个统一的数据处理挖掘平台进行数据的交互。“各自为政”的情况仍然广泛存在。因为数据的种类来源众多,传统的数据处理挖掘平台那种单一的处理模式已经不能满足航运业的实际需要。为了提高对于船舶领域数据的处理挖掘能力,本文提出了搭建基于Spark的通用型数据处理挖掘平台,并针对船舶AIS数据进行了较为具体的处理挖掘。主要工作如下:（1）首先进行了基于Spark的通用型数据处理挖掘平台设计,将整个平台主要分成了三大模块:数据库模块、S...
【文章来源】：大连海事大学辽宁省 211工程院校
【文章页数】：67 页
【学位级别】：硕士
【部分图文】：
图２．１和图２．２所不：??图２．１?ＡＩＳ数据显示船舶位于陆地??Ｆｉｇ．２．１?ＡＩＳ?ｄａｔａ?ｓｈｏ?
动的虚拟系统，非常占系统内存??［５８】。在双系统环境下运行ｓｐａｒｋ，测试环境也较为准确，真实可靠，可完全在Ｌｉｎｕｘ??环境下进行大数据挖掘平台的环境配置和搭建，不会与Ｗｉｎｄｏｗｓ系统产生冲突。??３．１．１环境配置??本文研宄和搭建的大数据挖掘平台是基于Ｕｂｕｎｔｕｌ４．０４进行的。Ｕｂｕｎｔｕ有着??极佳的用户体验，无论是用户界面、包管理系统、还是强大的软件源支持和丰富??的技术社区，均得到了用户的好评，Ｕｂｉｍｔｕ还对大多数硬件有着良好的兼容性。??Ｕｂｕｎｔｕ界面如图３．１所示：??ｉＷＴ??ｔｅ??图３．?１?Ｕｂｕｎｔｕ界面??Ｆｉｇ．３．１?Ｉｎｔｅｒｆａｃｅ?ｏｆ?Ｕｂｕｎｔｕ??３．?１．２软硬件介绍??硬件部分：联想图形工作站（搭载Ｕｂｕｎｔｕ操作系统）。??－１３?－??
?ＳＰＡＲＫ?计算引擎??６?ＳＣＡＬＡ?编程语言??７?ＣＡＲＢＯＮＤＡＴＡ?列式数据组织??８?ＩＤＥＡ?编程平台??９?ＹＡＲＮ?资源管理器??１０?ＨＡＤ〇〇Ｐ?分布式大数据平台???接下来对部分主要的软件及技术进行简介：??１）ＨＢＡＳＥ：分布式存储系统，其中所有的数据文件均存储在ＨＤＦＳ文件系??统上，主要包括两种文件类型：??①ＨＦｉｌｅ，?ＨＢＡＳＥ中ＫｅｙＶａｌｕｅ数据的存储格式，ＨＦｉｌｅ是Ｈａｄｏｏｐ的二进??制格式文件。图３．２是ＨＨｌｅ的存储格式：??Ｌｅａｆ?ｏｒ?Ｒｏｏｔ??ｉｎｔｅｒｍｅｄｉａｔｅ?ｄａｔａ－?Ｆｉｌｅ－ｉｎｆｏ??ｄａｔａ?ｂｌｏｃｋ?Ｍｅｔａ?ｄａｔａ?ｂｌｏｃｋ－?ｂｌｏｃｋ??Ｄａｔａ?ｂｌｏｃｋｓ?ｉｎｄｅｘ?ｂｌｏｃｋｓ?ｉｎｄｅｘ????Ｌｉｔ．…Ｉ：：?Ｉ?卜Ｈ?卜…丨?Ｉ?Ｍ＂?１．?ｊ??Ｂｌｏｏｍ?Ｍｅｔａ?Ｔｒａｉｌｅｒ??ｆｉｌｔｅｒ?ｂｌｏｃｋ?ｄａｔａ?ｂｌｏｃｋ??ｉｎｄｅｘ??图３．２?Ｈｆｉｌｅ存储格式图??Ｆｉｇ．３．２?Ｓｔｏｒａｇｅ?ｆｏｒｍａｔ?ｏｆ?Ｈｆｉｌｅ??如图３．２所示，ＨＨｌｅ由许多ｂｌｏｃｋ组成的，按照ｂｌｏｃｋ类型可分为：??ｄａｔａｂｌｏｃｋ存放的ｋｅｙ－ｖａｌｕｅ数据，一般一个ｄａｔａｂｌｏｃｋ大小默认为６４ＫＢ；??ｄａｔａ?ｂｌｏｃｋ?ｉｎｄｅｘ，?ｄａｔａ?ｂｌｏｃｋ的索引可以是多级索引，中间索引。ｒｏｏｔ索引??位置见图?３．２?中?ｒｏｏｔｄａｔａ－ｂｌｏｃｋ－ｉｎｄｅｘ；??Ｂｌｏｏｍ?ｆｉｌｔｅｒ?ｂｌｏｃｋ，保存了?ｂｌｏｏｍ
【参考文献】：
期刊论文
[1]基本蚁群算法在解决TSP问题中参数选择的研究[J]. 杨昌昊,张琢. 网络安全技术与应用. 2018(05)
[2]基于改进DBSCAN算法的智能照明控制系统[J]. 汤烨,陆卫忠,陈成,王磊. 苏州科技大学学报(工程技术版). 2017(04)
[3]蚁群算法求解TSP中的参数设置[J]. 严小燕,夏桂林. 电脑知识与技术. 2016(22)
[4]基于AIS数据的船舶运动模式识别与应用[J]. 魏照坤,周康,魏明,史国友. 上海海事大学学报. 2016(02)
[5]基于Hive和Impala的物流运力供应链数据仓库研究[J]. 任春华,廖雪花,唐思娩,严余松,孙尉筌. 物流技术. 2016(01)
[6]嵌入式实时系统中动态内存管理算法的设计与实现[J]. 沈非一,张延园,林奕. 计算机与现代化. 2015(07)
[7]桥区航道船舶通过能力仿真[J]. 侯海强,余玉欢,严新平,刘兴龙. 大连海事大学学报. 2015(01)
[8]基于Hadoop高性能查询的空间数据库设计与实现[J]. 李运兴,马骏. 中原工学院学报. 2014(04)
[9]基于AIS航迹和Douglas-Peucker算法的航线自动生成方法研究[J]. 张树凯,杨家轩,蔡垚,史国友. 重庆交通大学学报(自然科学版). 2014(06)
[10]基于聚类的快速数据流匿名方法[J]. 郭昆,张岐山. 软件学报. 2013(08)
硕士论文
[1]面向在线学习平台的数据可视化研究[D]. 李姣姣.华中师范大学 2017
[2]基于Hessian正则化的数据可视化算法研究[D]. 李文杰.华中师范大学 2016
[3]基于MongoDB与WebGL的船舶大数据可视化研究[D]. 高立佳.大连海事大学 2016
[4]基于AIS的船舶轨迹聚类原型系统设计与实现[D]. 林明亮.大连海事大学 2016
[5]基于YARN和Spark框架的数据挖掘算法并行研究[D]. 陈名辉.湖南师范大学 2016
[6]基于AIS的船舶轨迹聚类与应用[D]. 魏照坤.大连海事大学 2015
[7]基于AIS数据的船舶会遇特征研究[D]. 任亚磊.武汉理工大学 2013
本文编号：3392700
【文章来源】：大连海事大学辽宁省 211工程院校
【文章页数】：67 页
【学位级别】：硕士
【部分图文】：
图２．１和图２．２所不：??图２．１?ＡＩＳ数据显示船舶位于陆地??Ｆｉｇ．２．１?ＡＩＳ?ｄａｔａ?ｓｈｏ?
动的虚拟系统，非常占系统内存??［５８】。在双系统环境下运行ｓｐａｒｋ，测试环境也较为准确，真实可靠，可完全在Ｌｉｎｕｘ??环境下进行大数据挖掘平台的环境配置和搭建，不会与Ｗｉｎｄｏｗｓ系统产生冲突。??３．１．１环境配置??本文研宄和搭建的大数据挖掘平台是基于Ｕｂｕｎｔｕｌ４．０４进行的。Ｕｂｕｎｔｕ有着??极佳的用户体验，无论是用户界面、包管理系统、还是强大的软件源支持和丰富??的技术社区，均得到了用户的好评，Ｕｂｉｍｔｕ还对大多数硬件有着良好的兼容性。??Ｕｂｕｎｔｕ界面如图３．１所示：??ｉＷＴ??ｔｅ??图３．?１?Ｕｂｕｎｔｕ界面??Ｆｉｇ．３．１?Ｉｎｔｅｒｆａｃｅ?ｏｆ?Ｕｂｕｎｔｕ??３．?１．２软硬件介绍??硬件部分：联想图形工作站（搭载Ｕｂｕｎｔｕ操作系统）。??－１３?－??
?ＳＰＡＲＫ?计算引擎??６?ＳＣＡＬＡ?编程语言??７?ＣＡＲＢＯＮＤＡＴＡ?列式数据组织??８?ＩＤＥＡ?编程平台??９?ＹＡＲＮ?资源管理器??１０?ＨＡＤ〇〇Ｐ?分布式大数据平台???接下来对部分主要的软件及技术进行简介：??１）ＨＢＡＳＥ：分布式存储系统，其中所有的数据文件均存储在ＨＤＦＳ文件系??统上，主要包括两种文件类型：??①ＨＦｉｌｅ，?ＨＢＡＳＥ中ＫｅｙＶａｌｕｅ数据的存储格式，ＨＦｉｌｅ是Ｈａｄｏｏｐ的二进??制格式文件。图３．２是ＨＨｌｅ的存储格式：??Ｌｅａｆ?ｏｒ?Ｒｏｏｔ??ｉｎｔｅｒｍｅｄｉａｔｅ?ｄａｔａ－?Ｆｉｌｅ－ｉｎｆｏ??ｄａｔａ?ｂｌｏｃｋ?Ｍｅｔａ?ｄａｔａ?ｂｌｏｃｋ－?ｂｌｏｃｋ??Ｄａｔａ?ｂｌｏｃｋｓ?ｉｎｄｅｘ?ｂｌｏｃｋｓ?ｉｎｄｅｘ????Ｌｉｔ．…Ｉ：：?Ｉ?卜Ｈ?卜…丨?Ｉ?Ｍ＂?１．?ｊ??Ｂｌｏｏｍ?Ｍｅｔａ?Ｔｒａｉｌｅｒ??ｆｉｌｔｅｒ?ｂｌｏｃｋ?ｄａｔａ?ｂｌｏｃｋ??ｉｎｄｅｘ??图３．２?Ｈｆｉｌｅ存储格式图??Ｆｉｇ．３．２?Ｓｔｏｒａｇｅ?ｆｏｒｍａｔ?ｏｆ?Ｈｆｉｌｅ??如图３．２所示，ＨＨｌｅ由许多ｂｌｏｃｋ组成的，按照ｂｌｏｃｋ类型可分为：??ｄａｔａｂｌｏｃｋ存放的ｋｅｙ－ｖａｌｕｅ数据，一般一个ｄａｔａｂｌｏｃｋ大小默认为６４ＫＢ；??ｄａｔａ?ｂｌｏｃｋ?ｉｎｄｅｘ，?ｄａｔａ?ｂｌｏｃｋ的索引可以是多级索引，中间索引。ｒｏｏｔ索引??位置见图?３．２?中?ｒｏｏｔｄａｔａ－ｂｌｏｃｋ－ｉｎｄｅｘ；??Ｂｌｏｏｍ?ｆｉｌｔｅｒ?ｂｌｏｃｋ，保存了?ｂｌｏｏｍ
【参考文献】：
期刊论文
[1]基本蚁群算法在解决TSP问题中参数选择的研究[J]. 杨昌昊,张琢. 网络安全技术与应用. 2018(05)
[2]基于改进DBSCAN算法的智能照明控制系统[J]. 汤烨,陆卫忠,陈成,王磊. 苏州科技大学学报(工程技术版). 2017(04)
[3]蚁群算法求解TSP中的参数设置[J]. 严小燕,夏桂林. 电脑知识与技术. 2016(22)
[4]基于AIS数据的船舶运动模式识别与应用[J]. 魏照坤,周康,魏明,史国友. 上海海事大学学报. 2016(02)
[5]基于Hive和Impala的物流运力供应链数据仓库研究[J]. 任春华,廖雪花,唐思娩,严余松,孙尉筌. 物流技术. 2016(01)
[6]嵌入式实时系统中动态内存管理算法的设计与实现[J]. 沈非一,张延园,林奕. 计算机与现代化. 2015(07)
[7]桥区航道船舶通过能力仿真[J]. 侯海强,余玉欢,严新平,刘兴龙. 大连海事大学学报. 2015(01)
[8]基于Hadoop高性能查询的空间数据库设计与实现[J]. 李运兴,马骏. 中原工学院学报. 2014(04)
[9]基于AIS航迹和Douglas-Peucker算法的航线自动生成方法研究[J]. 张树凯,杨家轩,蔡垚,史国友. 重庆交通大学学报(自然科学版). 2014(06)
[10]基于聚类的快速数据流匿名方法[J]. 郭昆,张岐山. 软件学报. 2013(08)
硕士论文
[1]面向在线学习平台的数据可视化研究[D]. 李姣姣.华中师范大学 2017
[2]基于Hessian正则化的数据可视化算法研究[D]. 李文杰.华中师范大学 2016
[3]基于MongoDB与WebGL的船舶大数据可视化研究[D]. 高立佳.大连海事大学 2016
[4]基于AIS的船舶轨迹聚类原型系统设计与实现[D]. 林明亮.大连海事大学 2016
[5]基于YARN和Spark框架的数据挖掘算法并行研究[D]. 陈名辉.湖南师范大学 2016
[6]基于AIS的船舶轨迹聚类与应用[D]. 魏照坤.大连海事大学 2015
[7]基于AIS数据的船舶会遇特征研究[D]. 任亚磊.武汉理工大学 2013
本文编号：3392700
本文链接：https://www.wllwen.com/kejilunwen/ruanjiangongchenglunwen/3392700.html
