基于时间序列的PDM文件数据块分布算法

发布时间：2020-03-15 22:27

【摘要】：为满足PDM海量数据存储与高并发访问要求,构建基于企业私有云和NoSQL的PDM系统是一个有效尝试,但现有文件系统数据块分布算法存在数据节点访问量不均衡及文件数据块存储集中两大问题,为此提出基于时间序列预测的PDM文件数据块分布算法。根据数据块的访问量,使用拟合模型预测数据块未来的访问趋势,据此进行数据块的动态迁移,实现数据块合理分布,有效提高系统的容错性。实验结果表明,该算法实现了数据节点访问量均衡及文件数据块的均匀分布,提高了集群的容错性。

【参考文献】

相关期刊论文 前4条

1 林伟伟;;一种改进的Hadoop数据放置策略[J];华南理工大学学报(自然科学版);2012年01期

2 林慧君;徐荣聪;;组合ARMA与SVR模型的时间序列预测[J];计算机与现代化;2009年08期

3 周敬利;周正达;;改进的云存储系统数据分布策略[J];计算机应用;2012年02期

4 高兴旺;王琼;欧阳一鸣;;基于混合预测模型的负载均衡算法研究[J];计算机工程与设计;2010年16期

【共引文献】

相关期刊论文 前10条

1 胡俊;桂霏;杨桂元;;组合模型对股票价格预测的比较研究[J];重庆科技学院学报(社会科学版);2012年04期

2 周俊杰;王德功;常硕;;浅析基于模型的航空电子装备故障预测[J];装备制造技术;2010年05期

3 刘林东;;一种云存储资源调度算法研究[J];广东第二师范学院学报;2012年05期

4 武娟;黄海;钱锋;李拥军;寿质彬;;基于多变量动态算法的Hadoop负载均衡优化与实现[J];电信科学;2012年12期

5 李银英;;大数据处理技术与探索[J];电子制作;2015年05期

6 杨甫恒;刘智超;夏磊;;基于Hadoop智能冗余服务的实现[J];电脑与电信;2015年07期

7 王晓蕊;杨强根;陈凤敏;马维峰;唐湘丹;谭兴;张时忠;;基于NoSQL的高分高光谱遥感影像存储模型设计与实现[J];地球科学(中国地质大学学报);2015年08期

8 刘莉佳;孙德山;;组合模型对居民消费价格指数序列的分析及预测[J];科技信息;2011年27期

9 林伟伟;刘波;;基于动态带宽分配的Hadoop数据负载均衡方法[J];华南理工大学学报(自然科学版);2012年09期

10 陈冬晓;王鹏;;基于校验编码备份的分布存储方案[J];计算机应用;2013年01期

相关会议论文 前1条

1 孙慧芳;;抽水蓄能机组状态趋势预测技术的现状分析[A];抽水蓄能电站工程建设文集2014[C];2014年

相关博士学位论文 前3条

1 杨永全;饮食健康中的食物体积估算云计算技术研究[D];中国海洋大学;2013年

2 林文辉;基于Hadoop的海量网络数据处理平台的关键技术研究[D];北京邮电大学;2014年

3 任崇广;面向海量数据处理领域的云计算及其关键技术研究[D];南京理工大学;2013年

相关硕士学位论文 前10条

1 由向平;组合模型在我国经济预测中的应用[D];辽宁师范大学;2011年

2 刘莉佳;组合模型对金融时间序列的分析及预测[D];辽宁师范大学;2012年

3 董其文;基于HDFS的小文件存储方法的研究[D];大连海事大学;2013年

4 杨甫恒;基于Hadoop的大数据动态资源调节服务研究[D];成都理工大学;2013年

5 蔡官明;开放式云存储服务平台设计及移动云盘应用开发[D];华南理工大学;2013年

6 潘运军;基于Hadoop的建筑信息检索平台架构的设计与实现[D];华南理工大学;2013年

7 杨昊溟;云存储系统的数据副本放置算法研究[D];电子科技大学;2013年

8 马志祥;基于J2EE的海量数据虚拟存储管理平台的设计与实现[D];电子科技大学;2013年

9 原发杰;一种新的海量遥感瓦片影像数据存储检索策略[D];电子科技大学;2013年

10 张兴;基于Hadoop的云存储平台的研究与实现[D];电子科技大学;2013年

【二级参考文献】

相关期刊论文 前10条

1 徐科,徐金梧,班晓娟;基于小波分解的某些非平稳时间序列预测方法[J];电子学报;2001年04期

2 廖羽;戴瑜兴;;基于内容的分布式web服务器负载平衡算法[J];电子学报;2006年06期

3 林伟伟;齐德昱;刘波;;基于资源融合的网格任务调度模型与算法[J];华南理工大学学报(自然科学版);2008年01期

4 林伟伟;;一种改进的Hadoop数据放置策略[J];华南理工大学学报(自然科学版);2012年01期

5 董志刚,徐华,吴家锋;基于Web下的战时油料装备故障远程诊断技术初探[J];后勤工程学院学报;2004年03期

6 李庆华,尹社红;一种基于预测的负载平衡策略[J];华中科技大学学报(自然科学版);2002年09期

7 薛正华;董小社;李炳毅;廖诗华;;基于BP神经网络的集群负载预测器[J];华中科技大学学报(自然科学版);2007年S2期

8 郑彩萍;单锐;;非线性时间序列ARMA模型的优化估计法[J];佳木斯大学学报(自然科学版);2008年01期

9 孙明谦;姚淑萍;胡昌振;;服务器负载的小波-神经网络-ARMA预测[J];计算机工程与应用;2007年10期

10 陈志刚,许伟,曾志文;一种基于预测的动态负载均衡模型及算法研究[J];计算机工程;2004年23期

相关博士学位论文 前2条

1 孙德山;支持向量机分类与回归方法研究[D];中南大学;2004年

2 陈佐;时间序列相空间重构数据挖掘方法及其在证券市场的应用[D];湖南大学;2007年

相关硕士学位论文 前1条

1 林溯;ε-支持向量回归在时间序列型数据预测上的应用[D];四川大学;2007年

【相似文献】

相关期刊论文 前10条

1 刘娟;詹文法;黄忠;;一种数据块相关标记码的测试数据压缩方法[J];计算机工程与应用;2011年13期

2 ;数据块辅程序[J];电子计算机动态;1980年02期

3 刘娟;詹文法;;数据块相容性统计的测试数据压缩方案[J];计算机工程与应用;2013年22期

4 欧阳一鸣;肖祝红;梁华国;;数据块前向相容标记码的测试数据压缩方法[J];计算机辅助设计与图形学学报;2007年08期

5 欧阳一鸣;成丽丽;梁华国;;一种基于变长数据块相关性统计的测试数据压缩和解压方法[J];电子学报;2008年02期

6 王斌;熊志辉;陈立栋;谭树人;张茂军;;具有时间隐藏特性的数据块读写SDRAM控制器[J];计算机工程;2009年04期

7 高毅龙,候成刚;大数据块的存储与访问方案[J];计算机工程;1999年11期

8 王世杰;;基于重复抽样Bootstrap方法的移动数据块算法的研究[J];太原科技大学学报;2009年03期

9 陈科;王仕成;赵欣;刘志国;罗大成;;基于延时相乘和同步数据块累加的GPS捕获算法[J];科学技术与工程;2012年36期

10 欧阳一鸣;黄喜娥;梁华国;邹宝升;;基于部分数据块复用的SoC测试数据压缩方法[J];电子测量与仪器学报;2010年05期

相关会议论文 前2条

1 向涛;史俊波;郭际明;;GPS广播星历非整点时刻数据块对伪距单点定位的影响研究[A];第五届中国卫星导航学术年会论文集-S2 卫星导航信号体制及兼容与互操作[C];2014年

2 朱旭东;柯剑;那文武;许鲁;;一种数据块关系指导的缓存替换方法[A];第15届全国信息存储技术学术会议论文集[C];2008年

相关硕士学位论文 前4条

1 冯本明;云存储中数据块资源分布及服务器效能优化问题研究[D];湖南大学;2011年

2 张世乐;面向大数据块的快速多容错编码研究[D];复旦大学;2010年

3 苏恩标;基于数据块关联模型的漏洞发掘技术研究及应用[D];电子科技大学;2010年

4 钱孟远;MapReduce集群的数据块副本策略研究[D];华东理工大学;2014年

，

本文编号：2587277