基于FPGA的GZIP硬件压缩电路设计

发布时间：2017-03-20 20:12

  本文关键词：基于FPGA的GZIP硬件压缩电路设计，由笔耕文化传播整理发布。

【摘要】：当今社会,在信息呈现出爆炸式增长,云计算的兴起,大数据时代的到来,新的工作负载不断增大,海量数据传输和存储的问题不断引起关注,如何能够高效的传输海量的数据,同时不对处理器造成过于沉重的负荷的问题亟待解决。当处理和传输海量数据的时候,必然会占用大量的内存和带宽,所以在数据传输和存储之前对数据进行有效的压缩将是非常必要的。GZIP作为一种适宜实现的压缩算法。该算法综合了字典模式LZ77算法(Abraham Lempel和Jacob Zib在1977年提出)和统计冗余的Huffman(David A.Huffman提出)两种算法,不但可以达到很高的压缩率,而且该算法已经开源,没有专利保护,适合硬件来实现,通过该算法高效的数据压缩率,能够显著减少存储数据所需要的空间,同时提升数据带宽效率。虽然GZIP压缩算法已经取得很好的压缩率,但是基于软件的GZIP压缩算法速率并不高,而且存在过多占用处理器资源的缺点,对于海量数据进行处理的时,长时间占用大量CPU资源,不能充分的发挥CPU的性能,且软件基于串行执行特性,速率较低,使其难以实现处理数据实时性的要求。本论文提出基于FPGA实现的GZIP压缩电路,利用FPGA低功耗,强大的并行计算能力等优势,大幅提高压缩速率,基于该硬件设计实现了多种用于加速的硬件电路,加速方案包括:修改字典存储器,高效的哈希算法和匹配方法等。针对所设计的电路,完成了在FPGA开发平台上的测试,运行频率125MHz,压缩单通道吞吐率可达400Mbps;同时采用卡尔加里语料库进行测试,相对比软件模型,压缩测试结果表明,本文所设计的电路在支持标准GZIP文件压缩格式的同时,尽管压缩率有所降低,但压缩速率提升10倍左右。本文提出的基于FPGA实现的压缩电路对于通用数据具有较好的数据压缩效果,同时拥有较高的吞吐量,可广泛用于需要进行实时数据压缩的云计算、数据通信、卫星遥感等领域。
【关键词】：无损压缩 压缩率 LZ77 Huffman GZIP
【学位授予单位】：西安电子科技大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TN791
【目录】：

• 摘要5-6
• ABSTRACT6-11
• 符号对照表11-12
• 缩略语对照表12-15
• 第一章 绪论15-19
• 1.1 课题背景和意义15-16
• 1.2 国内外研究现状16-17
• 1.3 研究内容17
• 1.4 论文章节安排17-19
• 第二章 数据压缩与总线接口19-29
• 2.1 数据压缩算法与性能分析19-20
• 2.1.1 数据压缩算法分类19-20
• 2.1.2 数据性能指标20
• 2.2 PCIE总线接口20-23
• 2.2.1 协议栈结构21-22
• 2.2.2 PCIe包处理机制22-23
• 2.3 DMA存取机制23-27
• 2.4 本章小结27-29
• 第三章 GZIP数据压缩算法研究与性能分析29-45
• 3.1 GZIP算法设计实现与性能分析29-42
• 3.1.1 GZIP压缩算法实现流程29-31
• 3.1.2 LZ77算法实现流程31-36
• 3.1.3 Huffman算法实现流程36-39
• 3.1.4 静态Huffman实现流程39-42
• 3.2 基于软件模型的压缩率仿真分析42-43
• 3.3 本章小结43-45
• 第四章 硬件设计和加速设计45-65
• 4.1 设计要求与系统整体构建45-48
• 4.1.1 设计要求45
• 4.1.2 系统整体构建45-48
• 4.2 基于LZ77算法的无损压缩模块设计48-60
• 4.2.1 输入缓存模块49-52
• 4.2.2 哈希计算模块52-54
• 4.2.3 哈希链表实现54-58
• 4.2.4 匹配数据比对模块58-60
• 4.3 基于Huffman算法无损压缩模块设计60-61
• 4.4 数据打包模块设计61-63
• 4.5 本章小结63-65
• 第五章 基于FPGA验证平台搭建和结果分析65-77
• 5.1 验证平台与仿真方案65-69
• 5.2 基于FPGA的验证69-72
• 5.3 测试结果与对比分析72-74
• 5.4 本章小结74-77
• 第六章 总结和展望77-79
• 6.1 总结77
• 6.2 展望77-79
• 参考文献79-81
• 致谢81-82
• 作者简介82-83

【相似文献】

中国期刊全文数据库 前10条

1 吴国清;陈虹;;一种科学数据无损压缩方法[J];计算机工程与应用;2006年05期

2 沈兰荪,魏海;图像的无损压缩研究[J];数据采集与处理;1999年04期

3 毋清明;;迎战!无损压缩挑战极限![J];电脑爱好者;2006年11期

4 李平,李伟光;医学图像视觉无损压缩的研究[J];长春理工大学学报;2005年03期

5 黄祥林;杨丽芳;;一种提高图像无损压缩效率的方法[J];电路与系统学报;2007年03期

6 刘方;一种数据无损压缩技术的研究[J];南京航空航天大学学报;1995年06期

7 王军;;基于谱间和帧内差分脉冲编码调制的超光谱图像无损压缩[J];中国光学;2013年06期

8 api;纤尘去尽还本真——无损压缩音频格式巡礼(下)[J];电脑;2004年11期

9 孙自广;古天龙;;一种基于代数决策图的多值图像无损压缩方法[J];桂林电子工业学院学报;2006年02期

10 李龙;周顽;;数字图像无损压缩[J];软件导刊;2007年07期

中国重要会议论文全文数据库 前6条

1 陈虹;宋磊;吴国清;;大规模数值模拟数据的无损压缩[A];中国工程物理研究院科技年报（2005）[C];2005年

2 赵国毅;杨晓春;王斌;;面向相似数据的无损压缩技术[A];NDBC2010第27届中国数据库学术会议论文集A辑二[C];2010年

3 陈蕴智;舒忠;;报业网络版数据无损压缩安全传输系统[A];第十三届全国包装工程学术会议论文集[C];2010年

4 王振海;;基于DSP的高速数据流无损压缩方法的研究[A];2007通信理论与技术新发展——第十二届全国青年通信学术会议论文集（下册）[C];2007年

5 颜彦;郭兴明;李立策;王景灿;;基于LZ77压缩算法的ECG信号无损压缩在DSP上的实现[A];中国生物医学工程进展——2007中国生物医学工程联合学术年会论文集（上册）[C];2007年

6 蒋宏;潘登;刘荻;孙志明;刘尔梅;;哈尔滨医科大学第一临床医学院PACC系统一期工程总结[A];首届中国IT与医药卫生高层论坛论文集[C];2004年

中国重要报纸全文数据库 前4条

1 湖南 古铜;无损压缩CD之APE[N];电脑报;2003年

2 李剑峰;影音不分家，无损音频知多少?[N];电脑报;2014年

3 通讯员聂小清;电话线就能当宽带用[N];科技日报;2002年

4 李霞;加快多媒体系统的研究与发展[N];甘肃日报;2003年

中国博士学位论文全文数据库 前1条

1 武晓s，

本文编号：258400