海量图片文件存储去重技术研究

发布时间：2018-12-13 22:18

【摘要】：提出一种基于分布式数据库与分布式文件系统相结合的海量图片文件存储去重技术。该技术通过提取图片文件二进制流的特征段计算文件MD5码签名,依据签名对图片文件进行存储去重。结合实验数据分析验证该技术不仅能够准确地去重图片,有较高的删除率,且经对比得到该技术在计算签名时间、上传速度等方面均优于文件级去重和块级去重技术,是对海量图片数据存储的一种优化。同时针对该技术的不足提出了改进方案。
[Abstract]:Based on distributed database and distributed file system, a mass image file storage and reduplication technology is proposed. In this technique, the signature of MD5 code is calculated by extracting the feature segment of binary stream of image file, and the image file is stored and reduplicated according to the signature. Combined with experimental data analysis, it is proved that this technique not only can remove images accurately and has high deletion rate, but also is superior to file level and block level in computing signature time, upload speed and so on. Is a kind of optimization to the massive picture data storage. At the same time, the improvement scheme is put forward in view of the shortage of the technology.
【作者单位】： 杭州电子科技大学计算机学院图形图像研究所;
【基金】：国家自然科学基金项目(61272391)
【分类号】：TP333

【参考文献】

相关期刊论文 前1条

1 陈志刚,李登,曾志文;分布式系统中一种动态负载均衡策略、相关模型及算法研究[J];小型微型计算机系统;2002年12期

【共引文献】

相关期刊论文 前10条

1 杨鹏;李幼平;;二元互补未来互联网体系结构[J];复杂系统与复杂性科学;2014年01期

2 刘宇;李丹实;石祥滨;;人口信息系统中动态负载均衡算法的研究[J];沈阳航空工业学院学报;2007年02期

3 梁根;郭小雪;秦勇;魏文红;;多逻辑链路中反馈信息共享令牌流量调度算法[J];计算机工程与应用;2009年03期

4 陈志刚,许伟,曾志文;一种基于预测的动态负载均衡模型及算法研究[J];计算机工程;2004年23期

5 孟令奎;张文;;分布式空间数据库的动态负载平衡算法[J];计算机工程;2008年11期

6 梁根;郭小雪;秦勇;魏文红;;多逻辑链路间共享令牌调度流量负载模型[J];计算机工程;2009年11期

7 温少君;陈俊杰;郭涛;;一种云平台中优化的虚拟机部署机制[J];计算机工程;2012年11期

8 周克江;基于分布式多媒体的最佳实时综合负载平衡算法及相关模型研究[J];计算技术与自动化;2004年04期

9 谢菲;;面向多媒体系统的负载均衡策略研究[J];计算机工程与科学;2009年S1期

10 张文昌;夏学知;;基于剩余计算能力的动态负载均衡系统[J];计算机与数字工程;2010年09期

相关博士学位论文 前4条

1 曾碧卿;分布式计算中并行I/O调度策略研究[D];中南大学;2005年

2 柳伟;自治资源聚合中信誉机制的评价方法研究[D];国防科学技术大学;2012年

3 郑重;面向动态网络环境的高鲁棒性数据分发技术研究[D];国防科学技术大学;2011年

4 汪漪;内容中心网络路由查找关键技术研究[D];清华大学;2013年

相关硕士学位论文 前10条

1 秦晓晨;基于动态负载均衡技术的培训系统的设计与实现[D];西安电子科技大学;2010年

2 刘汉邦;一种基于反馈机制的负载均衡改进算法研究[D];青岛理工大学;2010年

3 李登;分布式系统负载均衡策略研究[D];中南大学;2002年

4 姜红梅;分布环境下试验与测试任务的协同综合技术研究[D];西北工业大学;2004年

5 夏晓东;基于Web和CORBA的工作流系统的研究[D];华北电力大学（河北）;2004年

6 许伟;分布式系统中的主机负载预测与动态负载均衡研究[D];中南大学;2004年

7 姚莉;协作学习系统的分析与实现[D];东南大学;2004年

8 曾望年;增值业务计费系统负载均衡算法研究[D];华中科技大学;2004年

9 吴家祺;WEB服务器集群系统的设计与实现[D];南京航空航天大学;2005年

10 吴雷;计费系统服务器负载均衡算法研究[D];哈尔滨工程大学;2005年

【二级参考文献】

相关期刊论文 前1条

1 傅强,郑纬民;一种适用于机群系统的任务动态调度方法[J];软件学报;1999年01期

【相似文献】

相关期刊论文 前10条

1 陈志贤,王绍棣;SIP协议中认证注册机制的研究[J];南京邮电学院学报;2003年03期

2 李杰,张学旺;MD5报文摘要算法与文件系统完整性保护[J];湘潭大学自然科学学报;2003年03期

3 张学旺,唐贤伦;MD5算法及其在文件系统完整性保护中的应用[J];计算机应用;2003年S2期

4 崔国华,余文杰;一种快速的键控散列算法[J];计算机与数字工程;2004年01期

5 王建勇,谢正茂,雷鸣,李晓明;近似镜像网页检测算法的研究与评价[J];电子学报;2000年S1期

6 付强,帅青红;PGP软件系统[J];西南民族学院学报(自然科学版);2001年04期

7 易红军;佘名高;;MD5算法与数字签名[J];计算机与数字工程;2006年05期

8 陈玮;;MD5加密原理及安全性分析[J];电脑知识与技术(学术交流);2007年19期

9 陈善利;姚滢;;网页防篡改系统的研究与设计方案[J];科技信息;2010年09期

10 阚义;高等学校管理信息系统的分析、设计与实现[J];计算机工程与设计;1994年02期

相关会议论文 前10条

1 杜方;刘利萍;蒙应杰;赵书城;;基于分布式数据库的物流系统的设计和实现[A];第十八届全国数据库学术会议论文集（研究报告篇）[C];2001年

2 杜会林;袁小京;;分布式数据库在油田中的应用[A];第十届全国数据库学术会议论文集[C];1992年

3 习新魁;张斌;郑怀远;;基于客户/服务器模型的分布式数据库中复制字典系统的设计与实现[A];数据库研究与进展95——第十三届全国数据库学术会议论文集[C];1995年

4 芦礼祥;高俊;何守才;;分布式数据库中死锁检测[A];第十届全国数据库学术会议论文集[C];1992年

5 许智君;叶新铭;张s，

本文编号：2377348