船舶监控系统中实时数据清洗技术研究

发布时间：2017-03-18 23:08

  本文关键词：船舶监控系统中实时数据清洗技术研究，由笔耕文化传播整理发布。

【摘要】：随着航运船舶数量的逐年增加,人们对船舶航行安全的要求也在不断提高。对船舶设备运行状态进行实时监控是确保船舶安全运行的主要技术手段之一。由于船舶设备数量大、型号多、工作环境恶劣和采集仪器自身误差,导致采集到的监控数据中不可避免地存在冗余、缺失等问题,影响对船舶设备运行状态的正确判断。因此本文重点研究船舶监控系统中实时数据清洗技术,主要解决监控数据中的冗余问题和缺失问题。本文主要研究内容如下:(1)进行了船舶监控系统的需求分析,设计了系统的总体框架,阐述了系统的关键技术。(2)针对船舶采集数据中的冗余问题,提出一种基于SNM的改进冗余数据消除算法。针对传统SNM算法中滑动窗口大小难以选取的问题,采用可伸缩和可变速窗口,在对记录进行匹配时既可以避免漏配,也减少了不必要的记录比较。对于原算法中字段匹配准确率不高的问题,采用余弦相似度匹配算法,提高匹配精度。在记录比较过程中提出Top-k有效权重过滤算法,减少字段匹配次数,提高检测效率。经过实验证明该优化算法无论在召回率还是准确率上都取得了良好的应用效果。(3)针对船舶采集数据中的缺失问题,提出一种基于KNN的改进缺失数据填补算法。传统KNN算法在每一次计算样本距离时都需要考虑整个样本集,在处理高维数据时时间消耗大,针对此缺陷提出改进的复相关系数倒数赋权法对数据集进行简化操作,大大降低计算复杂度。对于KNN算法中欧式距离在计算K个近邻时存在的不足,提出将马氏距离与灰色关联分析两类方法相结合,使样本中离散型和连续型属性值都得到有效处理。最后计算填补值时,引入熵权概念,通过熵权值设置每个近邻相关属性的权重,增加填补值的客观性和准确性。实验证明该算法无论在填补数值的准确性还是稳定性上都取得很好的效果。(4)结合了船舶监控系统的开发过程,给出了系统关键技术的具体实现及主要功能的应用情况,应用表明论文的研究成果是有效的。
【关键词】：船舶监控 数据清洗 冗余数据 缺失数据 SNM算法 KNN算法
【学位授予单位】：南京航空航天大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：U665.26;TP277
【目录】：

• 摘要4-5
• abstract5-12
• 缩略词12-13
• 第一章 绪论13-22
• 1.1 研究背景及意义13-15
• 1.2 现代船舶监控系统研究现状15-16
• 1.3 关键技术研究现状16-19
• 1.3.1 冗余数据消除技术16-18
• 1.3.2 缺失数据填补技术18-19
• 1.4 论文研究内容及组织结构19-22
• 1.4.1 主要研究内容19-20
• 1.4.2 组织结构20-22
• 第二章 船舶监控系统设计22-36
• 2.1 系统需求分析22-24
• 2.1.1 功能需求22-23
• 2.1.2 性能需求23-24
• 2.2 系统总体框架设计24-27
• 2.3 主要功能模块27-30
• 2.3.1 机舱状态监控功能27-28
• 2.3.2 实时报警功能28-29
• 2.3.3 历史数据查询功能29-30
• 2.4 系统关键技术30-35
• 2.4.1 消息服务机制实现过程31-32
• 2.4.2 相似重复记录检测与消除技术32-33
• 2.4.3 缺失值填充技术33-35
• 2.5 本章小结35-36
• 第三章 基于SNM的改进冗余数据消除算法36-48
• 3.1 相似重复记录检测与归并算法36-38
• 3.1.1 字段匹配相关算法36-37
• 3.1.2 相似重复记录归并算法37-38
• 3.2 改进的SNM算法设计38-44
• 3.2.1 算法总体设计38-40
• 3.2.2 可变速和可伸缩窗口40-41
• 3.2.3 字段匹配算法设计41-42
• 3.2.4 Top-k有效权重过滤算法42-44
• 3.3 数据清洗算法评判标准44
• 3.3.1 召回率（Recall）44
• 3.3.2 准确率（Precision）44
• 3.4 实验及结果分析44-47
• 3.5 本章小结47-48
• 第四章 基于KNN的改进缺失数据填补算法48-58
• 4.1 缺失数据填补算法48-51
• 4.1.1 距离算法48-50
• 4.1.2 缺失数据填充方法50-51
• 4.2 改进的KNN算法设计51-55
• 4.2.1 算法总体设计51-52
• 4.2.2 改进的复相关系数倒数赋权法52-53
• 4.2.3 马氏距离和灰色关联度计算53-54
• 4.2.4 缺失值填充54-55
• 4.3 实验结果及分析55-57
• 4.4 本章小结57-58
• 第五章 系统的实现与应用58-73
• 5.1 项目背景58-59
• 5.2 系统开发平台和运行环境59
• 5.3 系统功能框架59-61
• 5.4 系统网络结构61
• 5.5 系统功能实现61-72
• 5.5.1 基于RS485总线通信和数据采集61-64
• 5.5.2 关键技术实现64-68
• 5.5.3 运行实例68-72
• 5.6 本章小结72-73
• 第六章 总结与展望73-75
• 6.1 总结73-74
• 6.2 展望74-75
• 参考文献75-79
• 致谢79-80
• 在学期间的研究成果及发表的学术论文80

【相似文献】

中国期刊全文数据库 前10条

1 阳小华;李萌;;基于分布特征的异常成绩检测方法[J];南华大学学报(自然科学版);2008年04期

2 杨家娥;聂道华;周枫;游进国;李勃;;一种面向社保领域的数据清洗整合系统架构[J];科学技术与工程;2010年29期

3 高阳;;基于多属性联合分析的数据清洗技术及其应用[J];科学技术与工程;2011年16期

4 李萌;阳小华;;基于距离的异常成绩检测方法[J];南华大学学报(自然科学版);2009年04期

5 秦玲;齐彤岩;吴鹏;;断面交通检测数据清洗技术及其应用研究[J];公路交通科技(应用技术版);2007年01期

6 谷峪;李晓静;吕雁飞;于戈;;基于RFID应用的综合性数据清洗策略[J];东北大学学报(自然科学版);2009年01期

7 张建中;方正;熊拥军;袁小一;;对基于SNM数据清洗算法的优化[J];中南大学学报(自然科学版);2010年06期

8 潘伟杰;李少波;许吉斌;;自适应时间阈值的RFID数据清洗算法[J];制造业自动化;2012年13期

9 刘峰;成卫;;面向ATMS的道路安全信息清洗技术研究[J];交通信息与安全;2012年06期

10 吴新淼;李少波;唐向红;黄海松;;基于距离-信号模型的RFID数据清洗算法[J];组合机床与自动化加工技术;2014年05期

中国重要会议论文全文数据库 前10条

1 俞荣华;郭志懋;田增平;周傲英;;一个可扩展的数据清洗系统[A];第十八届全国数据库学术会议论文集（技术报告篇）[C];2001年

2 崔运钏;刘连忠;;一种可扩展的数据清洗系统的设计与实现[A];2006中国控制与决策学术年会论文集[C];2006年

3 汪爱民;;宝钢全流程合同数据清洗与组织方案的设计和应用[A];全国冶金自动化信息网2014年会论文集[C];2014年

4 蒋勇青;杨奕虹;杨贺;;论数据清洗对信息检索质量的影响及清洗方法[A];2011年中国索引学会年会暨成立二十周年庆典论文集[C];2011年

5 李智;宋杰;冷芳玲;王大玲;鲍玉斌;于戈;;一种基于构件扩展的数据清洗框架[A];第二十五届中国数据库学术会议论文集（一）[C];2008年

6 高淑娟;鲍玉斌;江志纲;王大玲;于戈;;一种基于最小风险贝叶斯决策的数据清洗策略[A];第十九届全国数据库学术会议论文集（研究报告篇）[C];2002年

7 王妍;石鑫;宋宝燕;;基于伪事件的RFID数据清洗方法[A];第26届中国数据库学术会议论文集（B辑）[C];2009年

8 李晓静;谷峪;吕雁飞;王艳秋;于戈;;基于动态事件概率模型的高效RFID数据清洗算法[A];第二十五届中国数据库学术会议论文集（二）[C];2008年

9 肖英治;陈红;;带数据清洗功能的数据预处理系统PW-ETL的设计与实现[A];第二十一届中国数据库学术会议论文集（研究报告篇）[C];2004年

10 赵之慧;;专利数据加工[A];2014年中华全国专利代理人协会年会第五届知识产权论坛论文（第二部分）[C];2014年

中国重要报纸全文数据库 前1条

1 中国人民财产保险股份有限公司信息技术部副总经理 鹿慧　编译;在SOA中创建独立的数据清洗服务[N];计算机世界;2009年

中国博士学位论文全文数据库 前1条

1 樊华;面向物联网的RFID不确定数据清洗与存储技术研究[D];国防科学技术大学;2013年

中国硕士学位论文全文数据库 前10条

1 高宝;不确定性RFID数据清洗算法研究[D];南京信息工程大学;2015年

2 叶晨;基于众包的数据清洗关键技术的研究[D];哈尔滨工业大学;2015年

3 张晓东;基于业务模型的数据清洗与整合平台的设计与实现[D];电子科技大学;2015年

4 艾超;针对在线产品支撑数据的过滤和分析系统的研究与设计[D];电子科技大学;2015年

5 金翰伟;基于Spark的大数据清洗框架设计与实现[D];浙江大学;2016年

6 王江;数据清洗技术研究及清洗框架的设计与实现[D];内蒙古大学;2016年

7 陈飞;基于MapReduce的数据清洗算法研究[D];昆明理工大学;2016年

8 李宁宁;大数据清洗系统中优化技术的研究与实现[D];哈尔滨工业大学;2016年

9 盛丹丹;面向农业领域知识库构建的数据清洗方法优化研究[D];中国农业科学院;2016年

10 郑纪玲;数据清洗在构建POI数据仓库中的研究与应用[D];中国矿业大学;2016年

  本文关键词：船舶监控系统中实时数据清洗技术研究，，由笔耕文化传播整理发布。

本文编号：255175