面向海洋多元数据的云存储管理系统设计与实现

发布时间：2020-10-19 08:43

　　 随着海洋探索与研究的不断深入,海洋大数据越来越受到人们的关注。特别是海洋生态环境建设,是国家海洋强国战略中必不可少的一环。然而近年来,由于海洋污染愈发严重,许多海洋生态灾害相继发生,不仅严重破坏了生态平衡,更造成了严重的经济损失。因此,高效而精确的海洋监测系统的重要性越发凸显。然而,由于海洋监测数据具有规模大、异构性强等特点,如何快速而高效地存储海量异构数据成为一大挑战。随着云存储概念的兴起,其将取代传统的本地存储成为此类场景更优秀的解决方案。然而,云存储也存在一定的缺点,例如访问延迟高、网络带宽不足等。如何将局域网存储的低时延、高带宽与云存储的高性能、高扩展性相结合,是值得研究的重要问题。同时,在存储介质方面,由于SSD相对于传统的HDD(机械硬盘)拥有更好的抗震性、更低的功耗、更短的寻道时间以及更高的性能,SSD逐渐取代HDD在存储结构中的角色,在公有云存储、大型数据中心等场景已被大量采用。在海洋监测领域,数据的即时性与高价值性决定了其对于高可靠存储的需求。而SSD在整个生命周期中的可靠性不及HDD,如何提高SSD的可靠性,也是亟待研究的一个重要问题。本文旨在解决现存的以上问题。论文首先针对云存储数据访问延迟高、网络带宽不足的问题,将其与局域网存储相结合,提出了云平台侧-边缘侧-本地侧的三层数据存储管理架构。通过将云平台侧的热点数据缓存至边缘侧,从而减少本地侧获取数据时的时延。同时,分别设计了数据库的存储格式,使其分别满足云平台侧易于查询、检索的需求以及边缘侧高速、低延迟的需求,从而使本地侧获取数据的性能最大化。其次,论文针对因SSD写寿命有限而导致全闪存阵列可靠性不足的缺点,提出了采用SSD+HDD的混合多层RAID-5阵列,在RAID控制器层实现了高性能的HDD感知的数据备份策略以及数据恢复策略,使磁盘阵列在多SSD失效时仍能保持数据不丢失、不损坏,解决了全闪存磁盘阵列面临的多磁盘连续失效问题,有效保证了云平台数据的可靠性。最后,本文开发了一个面向海洋多元数据的云存储管理系统,采用响应式网页设计语言编写了多平台自适应的前端页面,用于展示海洋多元异构数据的同时对三层架构的可靠性与数据获取的实时性进行了相应测试。测试结果表明,与传统架构相比,本文所做工作有效提高了数据存取的实时性及数据存储的可靠性,具有较好的应用前景及社会意义。
【学位单位】：山东大学
【学位级别】：硕士
【学位年份】：2019
【中图分类】：TP333
【部分图文】：

作为一个海洋大国，发展海洋经济己成为当前的国家战略之一。而近年来，我国??近海海域污染加剧，有害藻华爆发次数和规模均增大，海岸线的生态破坏与污染??日益严重，因此，保护海洋生物资源己成为我国的当务之急［３］。图１－１情景是在??２００８年奥运会开幕前，山东青岛海域汹涌而来的海藻泛滥肆虐，怵目惊心。图１－２??情景是２０１３年青岛海域再次爆发的绿潮，覆盖面积达１．９５万平方公里，受影响海??域是２００８年的两倍。虽然绿藻尚未被证明有毒，但因为其大面积大体积覆盖海面，??腐乱降解时会产生有毒的硫化氢气体，会使海洋动物窒息，对重要养殖动物如鲍??鱼、蛤蜊和海参造成重大损失［４］。??海洋生态灾害虽然危害大，但却可以通过密切的监测与及时的防治使其得到??１??

２．３系统总体设计??２．３．１总体架构设计??如图２－１所示，本系统从顶向下为一个三层架构，包含云平台侧、智能边缘网??关侧以及感知设备（用于采集数据）。其中，云平台侧与边缘侧同时向用户端提供??服务接口，方便用户端向其中接入。云平台侧、边缘网关侧均采用Ｕｂｉｍｔｕ?１６．０４??作为操作系统，提供灵活的运维环境。??／?ｖ?＾?＼?／?Ｎ??＿?＿＿＿＿＿?用??服务提供层（数据采集存储模块￣＾数据检索服务模块￣端????????／?＼??？?数据库层ｆ高性能、易检索的ＮｏＳＱＬ数据库１?ｆ支持海量异构数据的数据结构１??问?Ｖ???／??￥每?????可??：羊?基础设施层［Ｉ?ｎ高可靠的混合磁盘阵列Ｉ?靠性保护策略＾?？??多?ｆ?海??元?Ｉ?洋??ｇ?智能边缘网关?ｆ??的?（?＇ｌ?（?Ｎ?ｒａ??云?月＆务提供层丨?数据缓存模块?丨（数据检索服务模块?＞■■■■■■？?Ｉ??存和４?，???—?￣，７－：?—?；＇?户??储数据库层?高可用、高性能的内存数据库?支持快速检索的数据结构?＾??管??＿?＿ｊ－＿?－?＾?｛＿??５?基础设施层ｕｐ多节点高性能分布式集群？?——＼??统?ｆ??／？?＊?Ｎ??感知设备?????????ｆ＿｜数值类数据传感节点图像视频类数据传感节点???ｙ?＼?ｙ??图２－１系统总体架构设计图??在云平台侧，可将本系统分为三层结构，分别是服务提供层、数据库层以及??基础设施层。在基础设施层面

本系统根据应用类型可以分为两大部分，即系统前端界面与后端服务逻辑。??其中后端服务逻辑又可区分为云平台侧以及边缘智能网关侧，各包含数个功能模??块，如图２－２所示：??面向海洋多元数据的云存储管理系统?＇??ｖ．?????Ｉ???Ｉ?＇?Ｉ???（?海洋多元数据管理系统服务端?］?（?可视化海洋数据管理客户端?＇??Ｉ?、１???１?丨?丨?Ｉ丨??云平台侧?ｆ￣智能网关侧￣￣?ｒ－Ｕ???＾??，??＿卞，口＇＿?＾自昍？大如」?数据查询筛?数据下载?数据可视化??＾?＾?１?—?｜［?）［模?￥??数数?数登?Ｊ?Ｌ丄Ｐ?｜??据?据?数?据?陆轻量级数据??采?检?据?检?认轻＾＾音?ｍ?音、丨－－丨一１??集?索?缓?索?证量?Ｓ?视图视??存?服?存?服?模级芝频泛频饼柱析??２?｜?｜?｜??｜?｜?块?｜?据据据？据图图图??Ｖ?ｙ????＇?／?＼?／?Ｖ?／?＼?／?／?＼??＼?／?＼?／?????Ｖ?＞??图２－２系统总体层次设计图??１９??
【相似文献】

相关期刊论文 前10条

1 盛强;;虚拟化技术中存储管理问题的思考[J];科学家;2017年12期

2 ;无边界的存储管理[J];信息网络安全;2003年02期

3 ;Brocade与EMC简化开放式存储管理应用[J];电信技术;2002年05期

4 ;CA创建全新的存储管理解决方案[J];电信技术;2002年08期

5 刘艳;存储管理“因地制宜”[J];互联网周刊;2002年18期

6 刘启雄;;一种新的存储管理模式[J];计算机工程与应用;1987年07期

7 顾忠勋;;UNIX 4.2 BSD的存储管理方法[J];计算机工程与应用;1987年09期

8 黄士坦;;用于存储管理的微处理器体系结构[J];微电子学与计算机;1989年05期

9 阮灿华;;对高校公选课“信息存储管理”教学改革的探析与实践[J];福建电脑;2012年07期

10 ;存储业发展趋势——Gartnet预测:存储管理占据主流[J];电子科技;2003年06期

相关博士学位论文 前7条

1 张文喆;基于NVRAM的存储管理和容错技术研究[D];国防科学技术大学;2017年

2 赵培;闪存的存储管理及索引方法研究[D];华中科技大学;2011年

3 张琦;面向嵌入式应用的闪存存储管理系统设计与实现技术研究[D];南京大学;2016年

4 刘沾沾;闪存存储管理研究[D];中国科学技术大学;2009年

5 李洁琼;海量存储资源海量存储资源管理关键技术研究[D];华中科技大学;2011年

6 向小岩;闪存数据库若干关键问题研究[D];中国科学技术大学;2009年

7 徐涛;结构化大数据存储与查询优化关键技术[D];清华大学;2016年

相关硕士学位论文 前10条

1 王天雨;面向海洋多元数据的云存储管理系统设计与实现[D];山东大学;2019年

2 周超;基于Hadoop的云存储管理系统的设计和实现[D];湖南大学;2015年

3 曹文华;S银行存储管理项目规划与实施[D];大连理工大学;2013年

4 曾镇;基于教学特征的云存储管理机制的研究与实现[D];北京邮电大学;2014年

5 赵瑞;统一存储管理平台系统设计与实现[D];西安电子科技大学;2016年

6 吕岭;嵌入式数据库存储管理软件模型研究[D];南京航空航天大学;2009年

7 李晟婷;SAN存储管理软件的研究[D];西北工业大学;2004年

8 肖灵芝;GPU存储管理系统的设计与实现[D];西安邮电大学;2013年

9 丁昊;分级存储管理系统MLFS的研究与实现[D];国防科学技术大学;2013年

10 曾雷杰;基于SAN的存储管理软件的研究与开发[D];西北工业大学;2004年

本文编号：2846990