冰区航行大数据迁移平台研究

发布时间：2022-02-14 19:55

　　目前,我国极地科考业务已经累积了约20年的冰区航行数据,可为下一步极地考察船的智能化航行提供数据支撑。然而,海量数据对于现有的传统数据库管理系统来说,已经远超出其存储及查询分析处理能力。数据向分布式大数据处理平台的迁移及部署对于冰区航行来说已成为一种必要的大数据解决方案。文章聚焦研究面向大数据平台的迁移平台和数据融合过程,实现多源异构历史数据的抽取、转换,为分析应用等功能提供数据。结合迁移后的数据,提出一种基于Adaptive-Lasso算法和神经网络的数据融合算法,用于分析预测雪龙号考察船采集的发电机油耗数据与天气数据之间的关系,并进行了仿真验证,为船舶智能航行提供了理论支撑。 

【文章来源】：中国高新科技. 2020,(12)

【文章页数】：9 页

【部分图文】：

极地大数据平台的整体架构

数据治理部分包含极地航行数据标准建设目标和方案以及对数据源质量、标准化程度的分析方案。数据治理建设，首先需要制定统一的极地航行业务数据标准和规范、外部数据采集接入方式和标准接口规范、数据更新和发布流程规范，监督管理各项规范和流程的实施与执行。基于机器学习算法实现对数据质量和数据标准化程度的分析，通过对数据完整性、规范性、一致性、准确性、唯一性和关联性分析模块的训练建模，实现对数据源的数据格式、数据长度、允许值、数据关联等的数据质量情况的分析，同时通过对数据标准化分析模块的训练建模实现对现有基础数据（含基础代码、数据应用字典等）和数据项、数据表的标准化程度分析。图2是冰区航行大数据迁移平台的数据治理方案示意图。(1）数据汇聚，完成数据汇聚到该大数据平台。

数据融迁移流程

【参考文献】：
期刊论文
[1]跨平台信息系统数据迁移技术研究与实现[J]. 李静,马超,黄镜宇,卢艳艳.  电气技术. 2019(10)
[2]“雪龙2”号极地科考破冰船交付使用[J].   船舶工程. 2019(S2)
[3]基于Kettle的数据交换平台研究与实践[J]. 程子傲,董博,赵悦,王丹华,孟博.  辽宁大学学报(自然科学版). 2018(01)
[4]面向超媒体链接的RESTful服务隐私建模方法[J]. 王进,黄志球.  计算机研究与发展. 2017(04)
[5]基于Adaptive Lasso及RF算法的冰雪天气交通事故分析[J]. 赵玮,徐良杰,冉斌,汪济洲,张璇.  中国安全科学学报. 2017(02)
[6]基于Shark/Spark的分布式空间数据分析框架[J]. 温馨,罗侃,陈荣国.  地球信息科学学报. 2015(04)
[7]一种能效优化的MapReduce资源比模型[J]. 宋杰,刘雪冰,朱志良,李甜甜,赵大哲,于戈.  计算机学报. 2015(01)
[8]基于卡尔曼滤波的风速序列短期预测方法[J]. 修春波,任晓,李艳晴,刘明凤.  电工技术学报. 2014(02)
[9]基于MapReduce的Hadoop大表导入编程模型[J]. 陈吉荣,乐嘉锦.  计算机应用. 2013(09)



本文编号：3625175