分布式文件备份与恢复系统的设计与实现,软件工程硕士论文

论文题目：分布式文件备份与恢复系统的设计与实现 
论文语种：中文
您的研究方向：软件工程
是否有数据处理要求：否
您的国家：北京
您的学校背景：国内一流重点大学
要求字数：30000左右
论文用途：硕士毕业论文
是否需要盲审（博士或硕士生有这个需要）：是
补充要求和说明：

分布式文件备份与恢复系统的设计与实现 

摘要

随着计算机以及网络技术的迅猛发展，计算机在存储方面的信息量也越来越大，单机的数据存储已经难以满足当前网络中数据的存储需求，基于分布式理论的数据存储技术得到了较好的发展。在日常的操作中常常会出现各种造成数据损坏的事件，例如系统的误操作、系统的硬件损坏或是异常断电等问题，因此，如何通过数据备份和恢复的技术保证数据的安全性与准确性是当前亟需解决的问题。
本文首先分析了目前分布式文件备份与恢复技术的国内外现状，其次对文件备份与恢复系统进行了详细的需求分析。给出了基于分布式系统以及P2P技术设计和实现文件备份与恢复系统的具体方法以及设计的细节。本文提出的文件备份与恢复系统主要包括六个功能模块：用户接口模块、文件监视模块、文件发送模块、文件恢复模块、P2P功能模块以及P2P功能模块。实现后的系统能够自动地完成对用户新建和修改的文件的监测，并能够自动地与局域网内对等主机进行数据通信以及维护管理局域网内在线主机的信息。为了保证用户数据文件的安全性和机密性，本文在用户进行文件数据发送和接收时，基于RC4算法对文件数据进行加解密。最后本文对实现后的系统进行了测试，验证了系统的可用性。
本文提出的文件备份与恢复系统主要部署在局域网内，通过提供了文件的备份与恢复功能来提高用户文件的安全性。 
关键词：分布式技术，多线程通信，文件备份，文件恢复，文件加密

Abstract

With the rapid development of computer and network technology, the amount of information stored in computer terms is also growing, stand-alone data storage has been difficult to meet the data storage needs of the current network, has been distributed data storage technology based on the theory of better development. In the daily operations often cause data corruption in the emergence of various events, such as hardware system malfunction, damage or abnormal power system problems, so how security data backup and recovery technology to ensure data and accuracy is needed to solve the current problem.
This paper analyzes the current status of backup and recovery technology of distributed file and abroad, followed by file backup and recovery system for a detailed needs analysis. Gives the distributed systems and P2P technology to design and implement file backup and recovery system based on the specific methods and design details. The proposed file backup and recovery system includes six modules: a user interface module, file monitoring module, file sending module, file recovery module, P2P and P2P function modules function modules. Achieve the system can automatically complete the user new and modified files monitoring and the ability to automatically host and LAN peer data communication and maintaining the management LAN online host. In order to ensure the security and confidentiality of user data files, paper files the user to send and receive data, based on the RC4 algorithm file data encryption and decryption. Finally, after the realization of the system was tested to verify the availability of the system.
The proposed file backup and recovery system is mainly deployed in the LAN by providing a backup file and restore function to improve the security of user files.
Key words: distributed technology, multi-thread communication, file backup, file recovery, file encryption 

目录

摘要 I
ABSTRACT II
第1章  绪论 1
1.1  研究现状 1
1.2  研究目的与意义 4
1.3  本文的主要工作 5
1.4  论文的组织结构 5
第2章  相关技术介绍 7
2.1  关键开发技术介绍 7
2.1.1  MFC简介 7
2.1.2  WINDOWS SOCKET简介 7
2.1.3  线程同步技术简介 7
2.2  数据加密算法简介 9
2.2.1  MD5加密算法 9
2.2.2  DES加密算法 10
2.2.3  RC4加密算法 11
2.3  分布式通信简介 12
2.3  本章小结 12
第3章  分布式文件备份与恢复系统分析 13
3.1  文件备份与恢复系统概述 13
3.2 文件备份与恢复系统功能需求分析 13
3.2.1  文件备份与恢复系统功能需求分析 13
3.2.2  文件备份与恢复系统运行环境分析 15
3.3  文件备份与恢复系统非功能需求模型分析 16
3.3.1  系统性能需求分析 16
3.3.2  系统安全性需求模型分析 16
3.4  文件备份与恢复系统数据模型分析 16
3.5  文件备份与恢复系统任务的可行性分析 17
3.5.1  技术可行性分析 17
3.5.2  经济性分析 18
3.6  文件备份与恢复系统开发环境 18
3.7  本章小结 18
第4章  分布式文件备份与恢复系统设计 19
4.1  文件备份与恢复系统模块设计 19
4.1.1  用户接口模块设计 19
4.1.2  P2P功能模块设计 20
4.1.3  文件监视模块设计 21
4.1.4  文件发送模块设计 21
4.1.5  P2P服务模块设计 21
4.2  文件备份与恢复系统核心算法设计 22
4.2.1  在线主机列表维护算法设计 22
4.2.2  文件监视算法设计 23
4.2.3  文件备份算法设计 24
4.3  P2P通信协议设计 24
4.4  文件备份与恢复系统接口设计 26
4.5  文件备份与恢复系统流程设计 27
4.6  本章小结 31
第5章  分布式文件备份与恢复系统实现 32
5.1  文件备份与恢复系统核心算法实现 32
5.1.1  在线主机列表维护算法实现 32
5.1.2  文件监视算法实现 33
5.1.3  文件备份算法实现 34
5.2  文件备份与恢复系统功能实现 34
5.2.1  系统框架搭建 34
5.2.2  用户接口模块实现 34
5.2.3  文件监视模块实现 36
5.2.4  文件发送模块实现 38
5.2.5  文件恢复模块实现 39
5.2.6  P2P功能模块实现 40
5.2.7  P2P服务模块实现 41
5.3  本章小结 42
第6章  分布式文件备份与恢复系统测试 43
6.1  文件备份与恢复系统的测试方案 43
6.1.1  文件监视模块测试 43
6.1.2  P2P功能模块测试 43
6.1.3  P2P服务模块测试 44
6.1.4  文件发送模块测试 44
6.1.5  文件恢复模块测试 45
6.2  文件备份与恢复系统整体运行的测试方案 45
6.2.1  测试用例 45
6.2.2  测试过程及测试结果 46
6.3  文件备份与恢复系统测试发现问题 50
6.3.1  文件监视模块的问题及分析 50
6.3.2  P2P功能模块的问题及分析 50
6.3.3  文件发送、回传以及P2P服务模块的问题及分析 50
6.4  本章小结 51
第7章  总结与展望 52
参考文献 53

第1章  绪论

1.1  研究现状
随着计算机网络与数据通信技术的迅速发展，计算机在存储方面的信息量也越来越大，面临的问题也越来越多。虽然计算机在硬件存储方面的技术取得了较大的突破，然而计算机在存储方面的性能仍然难以满足现如今大数据的存储，为了更好的解决数据存储方面的各种问题分布式存储的技术得到了越来越多的重视并成为了当下的研究热点[1]。在日常的操作中常常会出现各种造成数据损坏的事件，例如系统的误操作、系统的硬件损坏或是异常断电等问题，因此，，如何通过数据备份和恢复的技术保证数据的安全性与准确性是当前亟需解决的问题[2]。

第7章  总结与展望

随着计算机网络与数据通信技术的迅速发展，计算机在存储方面的信息量也越来越大，面临的问题也越来越多。虽然计算机在硬件存储方面的技术取得了较大的突破，然而计算机在存储方面的性能仍然难以满足现如今大数据的存储，为了更好的解决数据存储方面的各种问题分布式存储的技术得到了越来越多的重视并成为了当下的研究热点。在日常的操作中常常会出现各种造成数据损坏的事件，例如系统的误操作、系统的硬件损坏或是异常断电等问题，因此，如何通过数据备份和恢复的技术保证数据的安全性与准确性是当前亟需解决的问题。
本文首先分析了目前分布式文件备份与恢复技术的国内外现状，其次对文件备份与恢复系统进行了详细的需求分析。给出了基于分布式系统以及P2P技术设计和实现文件备份与恢复系统的具体方法以及设计的细节。本文提出的文件备份与恢复系统主要包括六个功能模块：用户接口模块、文件监视模块、文件发送模块、文件恢复模块、P2P功能模块以及P2P功能模块。实现后的系统能够自动地完成对用户新建和修改的文件的监测，并能够自动地与局域网内对等主机进行数据通信以及维护管理局域网内在线主机的信息。为了保证用户数据文件的安全性和机密性，本文在用户进行文件数据发送和接收时，基于RC4算法对文件数据进行加解密。最后本文对实现后的系统进行了测试，验证了系统的可用性。
本文将文件备份与恢复系统部署在局域网内的主机内，局域网内的主机属于同一个子网所有主机之间能够直接进行数据通信。本系统在数据通信的过程中采用内部定义的端口号来实现，如果局域网内部署了网络防火墙或主机中安装了防火墙，需要在防火墙中设置对该端口的流量放行。由于在同一个局域网中对等主机间的数据通信的效率和速率是非常高的，这也能够在一定程度上提高了本系统的性能。

参考文献

[1] A. L. Beberg, V. S. Pande, “Storage@home: Petascale Distributed Storage,” in Proc. of IEEE International Symposium on Parallel and Distributed Processing Symposium (IPDPS 2007), pp.1-6, 2007.
[2] P. J. Braam, “The Coda Distributed File System,” Linux Journal, Jun. 1998.
[3] L. Cao, Y. Wang, J. Xiong, “Building Highly Available Cluster File System Based on Replication,” in Proc. of 2009 International Conference on Parallel and Distributed Computing, Applications and Technologies, pp.94-101, 2009.
[4] H. C. Chao, T. J. Liu, K. H. Chen and C. R. Dow, “A Seamless and Reliable Distributed Network File System Utilizing Webspace,” in Proc. of 10th IEEE International Symposium on Web Site Evolution (WSE 2008) , Oct. 2008.
[5] B. Dong, J. Qiu, Q. Zheng, X. Zhong, J. Li, Y. Li, “A Novel Approach to Improving the Efficiency of Storing and Accessing Small Files on Hadoop: a Case Study by PowerPoint Files,” in Proc. of 2010 IEEE International Conference on Services Computing (SCC), pp.65-72, 2010.
[6] S. Ghemawat, H. Gobioff, and S. T. Leung , “The Google File System,” in Proc. of 19th ACM symposium on Operating systems principles (SOSP’03), vol. 37, Issue 5, Dec. 2003.
[7] J.H. Howard ,“An Overview of the Andrew File System,” in Proc. of USENIX Winter Technical Conference, USENIX Association, Dallas, US, pp. 23-26, Feb. 1988.
[8] R. Jones,“Gmail Filesystem – GmailFS,”
[9] J. K. Ousterhout, A. R. Cherenson, F. Douglis, M. N. Nelson, and B. B. Welch. “The Sprite Network Operating System,” in Proc. of IEEE Computer Society, vol. 21, Issue 2, pp. 23-36, Feb. 1988.
[10] Y. Lin, Y. Chen, G. Wang, B. Deng, “Rigel: A Scalable and Lightweight Replica Selection Service for Replicated Distributed File System,” in Proc. of 10th IEEE/ACM International Conference on Cluster, Cloud and Grid Computing (CCGrid), pp.581-582, 2010.
[11] Y. Lu, H. Mao, “J.hen, “A Distributed Filesystem Framework for Transparent Accessing Heterogeneous Storage Services,” in Proc. of IEEE International Symposium on Parallel & Distributed Processing (IPDPS 2009), pp.1-8, May.2009.
[12] S. Shepler, B. Callaghan. “RFC 3530: Network File System (NFS) version 4 Protocol ,” Sun Microsystems Inc. , Apr. 2003.
[13] J. Xiong, J. Li, R. Tang, Y.Hu, “Improving Data Availability For A Cluster File System Through Replication,” in Proc. of IEEE International Symposium on Parallel & Distributed Processing (IPDPS 2008), pp.1-8, 2008
[14] Lustre File Ssystem : High-Performance Storage Architecture and Scalable Cluster File System , SUN microsystems White Paper, 2003
[15] Hadoop, The Apache Software Foundation
[16] HDFS Architecture, The Apache Software Foundation
[17] Object Storage Architecture, Panasas White Paper, Oct. 2003.
[18] 王玉红. 结构化P2P网络的路由技术研究[D]. 上海：上海大学，2007，28-29
[19] Fabbro. A Painless thumb driver backups. Linux[J].2007.8:135-137
[20] Ben Martin.On-line Encrypted Backups for Your Laptop. Linux Journal[J].2007.64:243-250
[21] 苏艳森. 分布式文件存储平台文件备份与恢复系统设计与实现[D]. 杭州：浙江大学，2008，21-22
[22] 林文毅. P2P分布式存储系统相关技术研究[D]. 西安：西安电子科技大学，2009，18-19
[23] 陈少晖. Hash函数MD5攻击技术研究[D]. 西安：西安电子科技大学，2010，31-33
[24] 魏晓玲. MD5加密算法的研究及应用[J]. 信息技术，2010，7：145-147
[25] 徐小龙, 王汝传, 邓玉龙. 用MD5技术构建高安全性电子商务系统[J]. 南京邮电学院学报，2002，22(4)：61-65
[26] 张峰, 郑春来, 耶晓东. DES加密算法的FPGA实现[J]. 现代电子技术，2008，7:80-82
[27] 张瑞. P2P分布式存储系统中的关键技术研究[D]. 西安：西安电子科技大学，2009，33-34
[28] 曹淑升. 基于P2P的视频共享系统的设计与实现[D]. 北京：北京邮电大学，2009，18-19
[29] 徐锦. P2P媒体分发网络分发存储策略研究[D]. 合肥：中国科学技术大学，2008，16-17