压缩编码的硬件并行加速方法研究与验证

发布时间：2021-10-13 07:21

　　随着互联网和人工智能等行业的发展,每时每刻都在产生海量数据,数据的存储和传输问题显得十分重要。采用恰当的数据压缩算法能够记录数据的同时极大的节约传输带宽,减少存储空间,同时,数据压缩和解压缩的速度问题也直接影响着数据处理系统和网路的吞吐量;另一方面,相比于CPU,FPGA、GPU等专用硬件具有大规模并行计算能力的优势。因此,本文就基于硬件对数据压缩和解压缩的并行加速方法进行了研究与验证。首先,本文提出了一种基于专用硬件的面向万兆带宽的FAST协议并行解码结构,该结构分为三大模块,字段划分模块、字段匹配模块和并行解码单元,并用SystemC语言对该结构进行建模和仿真,仿真结果显示该结构解码一条包含64个字段的FAST消息大约花费435ns时间,相比以往研究性能了有很大的提升。其次,本文基于OpenCL语言,并使用SDAccel编译器在xilinx:adm-pcie-7v3开发板上高效地实现了deflate压缩算法,测试结果表明,该硬件加速器的最大压缩速度可以达到3019MB/s,在Calgary标准测试集上的压缩率为2.48。相比软件压缩方式,本文方案能够在基本保持压缩率的同时,使得硬件... 

【文章来源】：上海交通大学上海市 211工程院校 985工程院校 教育部直属院校

【文章页数】：84 页

【学位级别】：硕士

【部分图文】：

全球数据储量规模走势[1]

上海交通大学硕士学位论文段和 1985 年以后的实用化阶段[3]。在基础研究阶段，1952 年，哈夫曼发曼压缩算法，采用可变长的编码对原始字符进行压缩编码；此后，两位家在 1977 年发明了 Lemqel-Ziv 压缩算法，对冗余的字符串进行编码替如今被广泛应用的 LZ77 算法。而在实际应用阶段，直接将压缩算法用用当中，并根据不同的数据类型发明专用的压缩算法，并制定了一系列准，比如目前广泛应用的图形压缩的 JPEG 标准和视频压缩的 H.261 标压缩算法经过几十年的发展，种类繁多，图 1-2 对压缩算法进行了比较类，从本质上可以分为有损压缩和无损压缩两大类。无损压缩的过程可后的数据没有失真，通常用于要求数据保真的场合，但具有保真效果的压缩算法的压缩率往往只有几倍；有损压缩则是在压缩过程中损失数据高压缩率，例如大部分的图像压缩算法都采用有损压缩的方式来进行高压缩。

协议的设计就是通过压缩高频交易信息的方式来降低传输解码的速度直接影响着高频交易的延时，继而影响着高频交采用软件的方式进行 FAST 协议解码，软件解码的优势是开。OpenFast 和 QuickFast 是其中具有代表性的两个开源的 FAS区别在于 OpenFast 基于 java 实现，QuickFast 基于 C++实现T 协议解码的研究仍在继续，[15]就基于 C++采用软件的方式了软件解码的新思路。高频交易的发展，软件进行 FAST 协议解码已经不能将解码围，这促进了硬件解码的发展，利用硬件的大规模并行计算解码在理论上的解码延时要比软件解码的延时小得多。ate 压缩算法硬件加速已经提到数据压缩算法分为无损压缩和有损压缩两大类，本文缩进行。无损压缩算法从压缩原理上又可以分为两类：基于压缩算法和基于字典实现的无损压缩算法[16]。详细分类如图

【参考文献】：
期刊论文
[1]基于FPGA的卷积神经网络加速器[J]. 余子健,马德,严晓浪,沈君成.  计算机工程. 2017(01)
[2]低延迟证券交易系统关键技术研究[J]. 徐广斌,武剑锋,白硕.  计算机工程. 2011(18)
[3]几种常用无损数据压缩算法研究[J]. 郑翠芳.  计算机技术与发展. 2011(09)

硕士论文
[1]基于CUDA的PostgreSQL数据库扫描加速器设计[D]. 廖若晨.上海交通大学 2017
[2]面向数据中心数据密集型应用的I/O硬件加速技术研究[D]. 钱斌海.浙江大学 2016
[3]CPU和GPU协同运算下的DEFLATE算法性能加速研究[D]. 李晶.吉林大学 2013



本文编号：3434209