雷达大数据存储与分析处理技术研究

发布时间：2017-12-27 07:37

  本文关键词：雷达大数据存储与分析处理技术研究　出处：《中国舰船研究院》2016年硕士论文　论文类型：学位论文

  更多相关文章： 雷达数据 分布式存储 并行处理 HBase MapReduce

【摘要】：海上目标的运动规律可以通过分析雷达及相关设备采集的数据而获得,但是雷达数据的巨大数据量为雷达数据的存储和分析带来了新的困难。分布式并行处理框架Hadoop为存储和分析雷达数据提供了可能。部分目标通过伪装,无法通过民用手段和雷达特效识别,利用异常轨迹分析算法判断异常轨迹,可以发现这些目标。针对雷达数据的海量特性,使用分布式处理框架Hadoop存储处理雷达数据,并设计了异常轨迹分析算法。首先实现了雷达数据的分布式存储,其次分析AIS数据和航迹数据总结目标运动轨迹规律生成全AIS轨迹知识库、单AIS轨迹知识库和全航迹轨迹知识库,并以此为基础利用异常轨迹分析算法提取异常轨迹,分析异常轨迹规律,实现新轨迹是否异常的判断,最后对比不同处理方式的处理效率。结果表明分布式并行处理的处理速度优于集中式处理,并随节点数增加有较大提升。本文实现了有效雷达数据的筛选,雷达数据的高效存储,目标运动和分布规律的发现,以及异常轨迹的判断以及异常轨迹规律的发现。利用MapReduce完成对海量雷达数据的快速分析,挖掘出雷达数据更多的价值。
[Abstract]:The motion rule of sea target can be obtained by analyzing the data collected by radar and related equipment, but the huge amount of radar data brings new difficulties for radar data storage and analysis. The distributed parallel processing framework (Hadoop) provides the possibility for storage and analysis of radar data. Some targets can not be identified by civil means and radar special effects through camouflage, and the anomaly trajectory analysis algorithm is used to determine the abnormal trajectories, and these targets can be found. In view of the massive characteristics of radar data, the distributed processing framework Hadoop is used to store the radar data, and an anomaly trajectory analysis algorithm is designed. First of all to achieve the distributed storage of radar data, followed by the analysis of AIS data and track data summary of target trajectory rules to generate all AIS paths of knowledge base, knowledge base and AIS single track whole track trajectory of knowledge base, and on the basis of the abnormal trajectory extraction trajectory outlier analysis algorithm, analysis of the abnormal trajectory, to achieve a new trajectory is abnormal judgment and treatment efficiency comparison of different processing methods. The results show that the processing speed of distributed parallel processing is better than centralized processing, and it increases with the number of nodes. This paper realizes the screening of effective radar data, the efficient storage of radar data, the discovery of target motion and distribution rules, the judgement of abnormal trajectories and the discovery of abnormal track rules. Using MapReduce to complete the rapid analysis of massive radar data, and to excavate more value of radar data.
【学位授予单位】：中国舰船研究院
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TN957.52

【相似文献】

相关期刊论文 前10条

1 郑士贵;数据存储的全面管理[J];管理科学文摘;1997年09期

2 相晓明;网上存储:X:Drive[J];互联网周刊;2000年30期

3 王宇葳;谁来吞吐你的数据[J];互联网周刊;2000年30期

4 袁胜,冯毅,伍显峰,涂春明,盛云川;移动计费营业系统中数据存储的考虑[J];电信技术;2001年01期

5 杨向东;数据存储——深化金融电子化的奠基之石[J];华南金融电脑;2002年03期

6 李子臣,王振光,王文静;外包数据存储——经济、安全、高效[J];现代情报;2002年11期

7 杨向东;数据存储——金融电子化的基石[J];中国金融电脑;2002年03期

8 黄重讯;企业的数据存储[J];乡镇企业研究;2003年06期

9 李婕;;医院信息化促进数据存储中心的建立[J];医学信息;2006年09期

10 夏欢;熊前兴;冯樱;;数据存储的探讨[J];科技信息;2006年S4期

相关会议论文 前10条

1 孙峥皓;汪宏f;阎岩;岑小锋;邓志均;;浅谈信息化战争对大数据存储与分析的要求及对策[A];2013第一届中国指挥控制大会论文集[C];2013年

2 张沁川;王厚军;;基于大容量闪存的数据存储与管理[A];2008中国仪器仪表与测控技术进展大会论文集（Ⅲ）[C];2008年

3 霍跃华;;IP SAN在煤炭企业数据存储的应用研究[A];煤矿自动化与信息化——第20届全国煤矿自动化与信息化学术会议暨第2届中国煤矿信息化与自动化高层论坛论文集[C];2010年

4 盛磊;李美华;程林;;一种轧钢过程数据存储方法[A];全国冶金自动化信息网2014年会论文集[C];2014年

5 王文峰;李佳;;刍议信息系统数据存储与备份系统的构建方式[A];2011年云南电力技术论坛论文集（入选部分）[C];2011年

6 张艳秋;李建中;杨艳;张兆功;;混合负载多媒体服务器的数据存储和数据提交[A];第二十届全国数据库学术会议论文集（研究报告篇）[C];2003年

7 王淑江;;烟台日报传媒集团存储体系规划[A];中国新闻技术工作者联合会五届一次理事会暨学术年会论文集（上篇）[C];2009年

8 ;Wallstor网络数据存储的新技术应用[A];江苏省微型电脑应用协会产学研成果交流会会议资料[C];2010年

9 韦大伟;;分布式数据存储中的机密性保护[A];2006年全国开放式分布与并行计算机学术会议论文集（三）[C];2006年

10 韩德志;;内网数据存储安全关键技术的研究与实现[A];2010年第16届全国信息存储技术大会（IST2010）论文集[C];2010年

相关重要报纸文章 前10条

1 中国惠普公司网络存储事业部技术顾问 周志峰;数据存储面临七大挑战[N];计算机世界;2001年

2 本报记者 郭涛;中兴通讯打造安全高效的大数据存储[N];中国计算机报;2013年

3 本报记者 陈巍巍;数据存储 进化正当时[N];计算机世界;2013年

4 本报记者 黄锐;绿源巢:大数据存储弄潮儿[N];东莞日报;2014年

5 毛玲玲 吴非;数据存储 安全为重[N];解放军报;2014年

6 本报记者 郭涛;华为存储：高端存储、大数据存储齐头并进[N];中国计算机报;2013年

7 本报记者 方慧玲;纠删码技术：大数据存储的“安全卫士”[N];江苏科技报;2014年

8 ;培养皿中的数据存储[N];网络世界;2007年

9 ;2010年中小企业数据存储市场六大趋势[N];网络世界;2010年

10 本报实习记者 陈勋燕;数据存储网络凸现商机 上海邮通转型前景看好[N];通信信息报;2002年

相关博士学位论文 前3条

1 付松龄;分布式在线社交网络数据存储及优化技术研究[D];国防科学技术大学;2014年

2 张杰;一种高速数据存储方法的研究[D];中国科学技术大学;2013年

3 付永忠;基于AFM和硫系相变材料的超高密度数据存储机理研究[D];江苏大学;2010年

相关硕士学位论文 前10条

1 葛佳;P2P网络信誉数据存储与恢复方法的研究与实现[D];昆明理工大学;2015年

2 李青;科技云平台的数据存储管理技术研究[D];北方工业大学;2016年

3 陈曦;调控一体化实时数据存储应用系统的设计与实现[D];电子科技大学;2016年

4 杨洪磊;大数据环境下农业数字资源存储与分析技术研究[D];中国农业科学院;2016年

5 祖东辉;大容量雷达数据存储与管理技术研究[D];电子科技大学;2016年

6 孟凡君;雷达大数据存储与分析处理技术研究[D];中国舰船研究院;2016年

7 易琼;恶劣环境下无线传感器网络的数据存储问题研究[D];南京邮电大学;2016年

8 萨日娜;一种基于综合阈值的分布式数据存储方法[D];哈尔滨工程大学;2011年

9 胡海光;钻探工程项目数据存储及其安全的应用研究[D];中国地质大学(北京);2012年

10 史玉丽;基于嵌入式的数据存储与通信模块的设计[D];内蒙古师范大学;2012年

，

本文编号：1340832