IPFS文件系统中动态副本管理策略研究
发布时间：2021-08-07 08:38
除了比特币和以太坊等电子交易系统,以区块链为代表的去中心化技术也以数据防篡改和数据安全等方面作为切入点嵌入到了Web领域中,而星际文件系统（Interplanetary File System,IPFS）就是这样一款将区块链技术和Web相结合实现了去中心化web的区块链存储系统。IPFS的目标是取代HTTP成为下一代的互联网的基础协议。目前互联网企业的后台大多使用了以数据副本为代表的冗余技术。IPFS本身没有数据冗余措施,而是通过集群管理工具实现了一个静态的副本策略,但是静态策略存在无法根据用户访问热度调整副本数量、以及存储空间占用均衡性差等问题。基于以上问题本文的主要工作在于:（1）文件的访问热度具有一定的时序性,通过对一段时间内的访问热度的预测,系统可以提前调整副本的数量,以应对短时间内激增的流量。针对静态策略中不考虑文件热度导致的高热度副本访问延时高的问题,本文提出基于SVR（Support Vector Regression）的文件访问热度预测算法,该算法能够对访问热度进行预测,并根据热度的变化调整副本。以应对用户访问量突增的情况。（2）其次,通过对IPFS的文件访问方式的研究...
【文章来源】：西安邮电大学陕西省
【文章页数】：71 页
【学位级别】：硕士
【部分图文】：
IPFS架构图
第2章相关技术7L1L2L3L4Hash(L1)Hash0-0Hash(L2)Hash0-1Hash(L3)Hash0-2Hash(L4)Hash0-3Hash(hash0-0,hash(0-1))Hash0Hash(hash0-2,hash0-3)Hash1Hash(hash0,hash1)TopHashDataBlocks图2.3默克尔树结构默克尔有向无环图也是一种类似于默克尔树的结构，不同的是它是通过有向无环图来组织节点的。因此，每个节点都可以有多个父节点，也可以有多个子节点。同时，不同于默克尔树，默克尔DAG中每个节点都可以存储数据块的哈希。TopHashH0-3H0-2H0-1H0-0block4block3block1block0block2图2.4默克尔DAG结构示意图通过DAG，IPFS实现了1）内容可寻址，通过顶层哈希我们就可以获取整个文件。2）内容防篡改，文件中的每一块被修改都会导致顶层哈希的改变。3）数据去重，两个相同文件生成的DAG是完全相同的。IPFS中的每一个文件都会被表示为DAG的形式。如图2.5所示，IPFSObject表示一个文件所创建的DAG中的节点，节点中有存储具体数据的数组和指向子对象的指针。指针使用IPFSLink表示，每个指针中存在包含了指针名字，指向的文件块的哈希和指向的块的大校
西安邮电大学硕士学位论文8图2.5IPFS对象的数据结构2.1.4块的交换-BitSwap协议DAG解决了IPFS对象的组织和定义问题，但是对于一个P2P存储系统更重要的是解决对等方如何获取和发布文件块的问题。受到BitTorrent协议的启发，IPFS使用BitSwap协议来处理节点间的数据交换问题。BitSwap的主要工作是1）向其他的节点请求块2）根据一些规则向其他节点发送数据块。节点间的数据交换方式类似于一个交易市场，为了保证交易的公平，节点需要维护一个全局账本。并且需要公开自己需要的块的列表，在BitSwap中使用需求列表（wantlist）结构表示节点请求的块列表，使用havelist表示节点已经存储的文件。1）BitSwap账本为了防止数据篡改，BitSwap会记录节点交换的块。当节点建立连接时，双方会首先交换自己的账本，然后开始核验账本的正确性。如果一方发现账本有误，会终止交换过程，并清空错误的账本。图2.6IPFS账本结构图2.6是IPFS中用来表示账本的结构体，其中有表示账本拥有者的owner和partner字段。发送和接收数据大小的byte_sent和byte_recv字段。2）BitSwap的核心结构BitSwap和Peer结构是比较核心的两个结构。BitSwap是一个全局数据结构，其中ledgers和Active字段是两个哈希表。ledgers键为节点ID值为账本；Active键为
【参考文献】：
期刊论文
[1]基于灰色关联度分析和支持向量机回归的沥青路面使用性能预测[J]. 赵静,王选仓,丁龙亭,房娜仁,李善强. 重庆大学学报. 2019(04)
[2]基于区块链的档案数据保护与共享方法[J]. 谭海波,周桐,赵赫,赵哲,王卫东,张中贤,盛念祖,李晓风. 软件学报. 2019(09)
[3]基于区块链和IPFS技术实现粮食供应链隐私信息保护[J]. 范贤丽,范春晓,吴岳辛. 应用科学学报. 2019(02)
[4]一种基于可用性的动态云数据副本管理机制[J]. 陶永才,巴阳,石磊,卫琳. 小型微型计算机系统. 2018(03)
[5]HDFS动态副本因子的优化研究[J]. 宗平,梁胜昔. 计算机技术与发展. 2018(07)
[6]基于免疫优化策略的副本放置算法[J]. 罗四维,侯孟书,牛新征,吕孟婕. 电子科技大学学报. 2017(05)
[7]基于支持向量机的HDFS副本放置改进策略[J]. 罗军,陈仕强. 计算机工程. 2015(11)
[8]对等网络中一种优化的副本分布方法[J]. 孙新,李庆洲,赵璞,王克祥,潘凡. 计算机学报. 2014(06)
[9]基于ARIMA与信息粒化SVR组合模型的交通事故时序预测[J]. 孙轶轩,邵春福,计寻,朱亮. 清华大学学报(自然科学版). 2014(03)
[10]基于支持向量机回归的短时交通流预测模型[J]. 傅贵,韩国强,逯峰,许子鑫. 华南理工大学学报(自然科学版). 2013(09)
硕士论文
[1]云环境下大数据存储副本策略的优化研究[D]. 梁胜昔.南京邮电大学 2018
[2]异构Hadoop集群环境下数据副本动态管理研究[D]. 刘洋.西北大学 2018
[3]CSCloud云存储系统副本管理方法研究与实现[D]. 赵彩云.长安大学 2018
[4]基于访问热度分类的元数据副本技术研究[D]. 李静.华中科技大学 2016
[5]HDFS的副本管理策略研究[D]. 陈仕强.重庆大学 2015
本文编号：3327467
【文章来源】：西安邮电大学陕西省
【文章页数】：71 页
【学位级别】：硕士
【部分图文】：
IPFS架构图
第2章相关技术7L1L2L3L4Hash(L1)Hash0-0Hash(L2)Hash0-1Hash(L3)Hash0-2Hash(L4)Hash0-3Hash(hash0-0,hash(0-1))Hash0Hash(hash0-2,hash0-3)Hash1Hash(hash0,hash1)TopHashDataBlocks图2.3默克尔树结构默克尔有向无环图也是一种类似于默克尔树的结构，不同的是它是通过有向无环图来组织节点的。因此，每个节点都可以有多个父节点，也可以有多个子节点。同时，不同于默克尔树，默克尔DAG中每个节点都可以存储数据块的哈希。TopHashH0-3H0-2H0-1H0-0block4block3block1block0block2图2.4默克尔DAG结构示意图通过DAG，IPFS实现了1）内容可寻址，通过顶层哈希我们就可以获取整个文件。2）内容防篡改，文件中的每一块被修改都会导致顶层哈希的改变。3）数据去重，两个相同文件生成的DAG是完全相同的。IPFS中的每一个文件都会被表示为DAG的形式。如图2.5所示，IPFSObject表示一个文件所创建的DAG中的节点，节点中有存储具体数据的数组和指向子对象的指针。指针使用IPFSLink表示，每个指针中存在包含了指针名字，指向的文件块的哈希和指向的块的大校
西安邮电大学硕士学位论文8图2.5IPFS对象的数据结构2.1.4块的交换-BitSwap协议DAG解决了IPFS对象的组织和定义问题，但是对于一个P2P存储系统更重要的是解决对等方如何获取和发布文件块的问题。受到BitTorrent协议的启发，IPFS使用BitSwap协议来处理节点间的数据交换问题。BitSwap的主要工作是1）向其他的节点请求块2）根据一些规则向其他节点发送数据块。节点间的数据交换方式类似于一个交易市场，为了保证交易的公平，节点需要维护一个全局账本。并且需要公开自己需要的块的列表，在BitSwap中使用需求列表（wantlist）结构表示节点请求的块列表，使用havelist表示节点已经存储的文件。1）BitSwap账本为了防止数据篡改，BitSwap会记录节点交换的块。当节点建立连接时，双方会首先交换自己的账本，然后开始核验账本的正确性。如果一方发现账本有误，会终止交换过程，并清空错误的账本。图2.6IPFS账本结构图2.6是IPFS中用来表示账本的结构体，其中有表示账本拥有者的owner和partner字段。发送和接收数据大小的byte_sent和byte_recv字段。2）BitSwap的核心结构BitSwap和Peer结构是比较核心的两个结构。BitSwap是一个全局数据结构，其中ledgers和Active字段是两个哈希表。ledgers键为节点ID值为账本；Active键为
【参考文献】：
期刊论文
[1]基于灰色关联度分析和支持向量机回归的沥青路面使用性能预测[J]. 赵静,王选仓,丁龙亭,房娜仁,李善强. 重庆大学学报. 2019(04)
[2]基于区块链的档案数据保护与共享方法[J]. 谭海波,周桐,赵赫,赵哲,王卫东,张中贤,盛念祖,李晓风. 软件学报. 2019(09)
[3]基于区块链和IPFS技术实现粮食供应链隐私信息保护[J]. 范贤丽,范春晓,吴岳辛. 应用科学学报. 2019(02)
[4]一种基于可用性的动态云数据副本管理机制[J]. 陶永才,巴阳,石磊,卫琳. 小型微型计算机系统. 2018(03)
[5]HDFS动态副本因子的优化研究[J]. 宗平,梁胜昔. 计算机技术与发展. 2018(07)
[6]基于免疫优化策略的副本放置算法[J]. 罗四维,侯孟书,牛新征,吕孟婕. 电子科技大学学报. 2017(05)
[7]基于支持向量机的HDFS副本放置改进策略[J]. 罗军,陈仕强. 计算机工程. 2015(11)
[8]对等网络中一种优化的副本分布方法[J]. 孙新,李庆洲,赵璞,王克祥,潘凡. 计算机学报. 2014(06)
[9]基于ARIMA与信息粒化SVR组合模型的交通事故时序预测[J]. 孙轶轩,邵春福,计寻,朱亮. 清华大学学报(自然科学版). 2014(03)
[10]基于支持向量机回归的短时交通流预测模型[J]. 傅贵,韩国强,逯峰,许子鑫. 华南理工大学学报(自然科学版). 2013(09)
硕士论文
[1]云环境下大数据存储副本策略的优化研究[D]. 梁胜昔.南京邮电大学 2018
[2]异构Hadoop集群环境下数据副本动态管理研究[D]. 刘洋.西北大学 2018
[3]CSCloud云存储系统副本管理方法研究与实现[D]. 赵彩云.长安大学 2018
[4]基于访问热度分类的元数据副本技术研究[D]. 李静.华中科技大学 2016
[5]HDFS的副本管理策略研究[D]. 陈仕强.重庆大学 2015
本文编号：3327467
本文链接：https://www.wllwen.com/kejilunwen/ruanjiangongchenglunwen/3327467.html
