基于网络分布式文件系统设计与实现路径

发布时间：2020-12-23 14:22

　　设计了一款网络分布式文件系统。该系统基于软件定义网络,通过充分应用其底层网络动态数据资源完成实时数据传输最佳路径的获取,使分布式文件系统的性能通过有效导引分布式文件系统中的大数据流而得以显著提高。通过构建的分布式文件系统原型对文件读写及修复操作进行测试,同传统网络环境相比,基于软件定义网络环境的分布式文件系统的读写及修复能力均得以显著提升,更适用于网络数据流量大且异构明显的情况。 

【文章来源】：微型电脑应用. 2020年04期

【文章页数】：3 页

【部分图文】：

中间件交互方式

本文所设计的分布式文件系统的整体架构,如图2所示。SDN网络结构位于中间层,其主要功能在于底层网络数据的传输;围绕中间层部署的是DFS的各种角色节点,客户端(Client)和数据节点(DN,以Rack为单位部署)通过OpenFlow交换机实现互连,各DataNode(位于DFS中)在数据中心中均同ToR交换机连接,若各交换机均支持OpenFlow协议则DFS中的网络流量能够运行于SDN网络中,即可实现监控和管理等优化效果,本文在同一台服务器上实现NameNode(命名空间)和Controlle(控制点)的整合即ControlNode(控制节点)[5]。

测试文件读写时,基于IP的路由只以链路连接信息为依据计算最短路径路由,基于可用带宽的路由的最短路径根据链路上带宽的权值计算。带宽随机分布于指定范围,多次测量文件取平均值,针对带宽差异性的测试结果,如图3所示。每隔十秒微小改动网络的带宽,多次测量大小相同的文件取平均值,采集拓扑信息频率对文件读写的影响情况如图4所示。

【参考文献】：
期刊论文
[1]基于Elastic Stack的分布式数据采集与分析平台探索[J]. 林朝炽.  网络安全技术与应用. 2019(02)
[2]基于Spark的分布式大数据分析建模系统的设计与实现[J]. 徐时芳,罗晓宾,陈阳华.  现代电子技术. 2018(20)
[3]基于Django与HDFS的分布式三维模型文件数据库构建[J]. 廖先富,刘俊男.  电子技术与软件工程. 2018(18)
[4]基于Scrapy技术的分布式爬虫的设计与优化[J]. 刘泽华,赵文琦,张楠.  信息技术与信息化. 2018(Z1)
[5]HDFS数据副本均衡放置策略的改进[J]. 袁丽娜.  计算机科学. 2017(S2)
[6]大数据环境下的分布式数据流处理关键技术探析[J]. 陈付梅,韩德志,毕坤,戴永涛.  计算机应用. 2017(03)
[7]基于HDFS的云存储系统小文件优化方案[J]. 邹振宇,郑烇,王嵩,杨坚.  计算机工程. 2016(03)



本文编号：2933861