面向高速采集与实时存储的无损压缩编码设计与实现

发布时间：2018-08-24 20:12

【摘要】：高速数据采集与实时存储技术广泛应用于科学研究和军事电子信息系统中。在雷达信号的获取和处理等应用中,对数据采集与存储系统的采集存储带宽和容量要求也越来越高。传统的存储方式和存储介质已经不能满足高速海量存储的要求,在这种情况下,如果能够对采集到的数据进行实时的无损压缩,就可以有效地减少存储时的数据量,使得高速数据流可以被实时存储下来,方便科研人员进一步分析处理。本文在常用压缩编码算法的基础上,考虑高速数据采集和存储的应用场合,基于LZW算法,在字典模块的快速存取和本身结构方面,对压缩编码算法进行了改进。设计了哈希函数用于字典模块的快速存取,并对耗时最大的字典模块进行并行化改进,利用硬件对算法进行并行加速,达到对高速数据量进行实时压缩的目的。随后,本文基于Verilog硬件描述语言对该压缩编码算法进行硬件优化与实现,并利用Xilinx Kintex7 FPGA对算法进行仿真、验证和测试。算法实测结果表明,本算法在33MHz的系统主频下,实现了275.4Mbps的数据吞吐量,压缩比在20%到50%之间。证明该数据压缩方法是切实可行的。最后,对课题进行了总结,提出了算法存在的一些缺点,并明确了进一步研究的方向。
[Abstract]:High-speed data acquisition and real-time storage are widely used in scientific research and military electronic information systems. In radar signal acquisition and processing applications, the acquisition and storage bandwidth and capacity of the data acquisition and storage system are more and more demanding. Traditional storage methods and storage media can not meet the requirements of high-speed mass storage, in this case, if the collected data can be real-time lossless compression, it can effectively reduce the amount of data stored. So that the high-speed data stream can be stored in real-time, for further analysis and processing. Based on the commonly used compression coding algorithms and the application of high-speed data acquisition and storage, based on the LZW algorithm, the compression coding algorithm is improved in terms of the fast access of dictionary module and its own structure. The hash function is designed for the fast access of dictionary module, and the parallelization of the dictionary module is improved, and the algorithm is accelerated by hardware to achieve the purpose of real-time compression of high speed data. Then, this paper optimizes and implements the compression coding algorithm based on Verilog hardware description language, and simulates, verifies and tests the algorithm with Xilinx Kintex7 FPGA. The experimental results show that the algorithm achieves the data throughput of 275.4Mbps in the main frequency of 33MHz system, and the compression ratio is between 20% and 50%. It is proved that this data compression method is feasible. Finally, the paper summarizes the problem, puts forward some shortcomings of the algorithm, and clarifies the direction of further research.
【学位授予单位】：国防科学技术大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：TN791;TP301.6

【相似文献】

中国期刊全文数据库 前10条

1 赵军;图像的无损压缩[J];重庆邮电学院学报(自然科学版);2001年03期

2 吴国清;陈虹;;一种科学数据无损压缩方法[J];计算机工程与应用;2006年05期

3 沈兰荪,魏海;图像的无损压缩研究[J];数据采集与处理;1999年04期

4 毋清明;;迎战!无损压缩挑战极限![J];电脑爱好者;2006年11期

5 李平,李伟光;医学图像视觉无损压缩的研究[J];长春理工大学学报;2005年03期

6 黄祥林;杨丽芳;;一种提高图像无损压缩效率的方法[J];电路与系统学报;2007年03期

7 刘方;一种数据无损压缩技术的研究[J];南京航空航天大学学报;1995年06期

8 王军;;基于谱间和帧内差分脉冲编码调制的超光谱图像无损压缩[J];中国光学;2013年06期

9 api;纤尘去尽还本真——无损压缩音频格式巡礼(下)[J];电脑;2004年11期

10 孙自广;古天龙;;一种基于代数决策图的多值图像无损压缩方法[J];桂林电子工业学院学报;2006年02期

中国重要会议论文全文数据库 前9条

1 陈虹;宋磊;吴国清;;大规模数值模拟数据的无损压缩[A];中国工程物理研究院科技年报（2005）[C];2005年

2 赵国毅;杨晓春;王斌;;面向相似数据的无损压缩技术[A];NDBC2010第27届中国数据库学术会议论文集A辑二[C];2010年

3 陈蕴智;舒忠;;报业网络版数据无损压缩安全传输系统[A];第十三届全国包装工程学术会议论文集[C];2010年

4 王振海;;基于DSP的高速数据流无损压缩方法的研究[A];2007通信理论与技术新发展——第十二届全国青年通信学术会议论文集（下册）[C];2007年

5 颜彦;郭兴明;李立策;王景灿;;基于LZ77压缩算法的ECG信号无损压缩在DSP上的实现[A];中国生物医学工程进展——2007中国生物医学工程联合学术年会论文集（上册）[C];2007年

6 蒋宏;潘登;刘荻;孙志明;刘尔梅;;哈尔滨医科大学第一临床医学院PACC系统一期工程总结[A];首届中国IT与医药卫生高层论坛论文集[C];2004年

7 孙杰;;高速数据采集的全新解决方案[A];21世纪中国电子仪器发展战略研讨会文集[C];2004年

8 刘布民;王旭东;罗刚;;高速数据采集系统时钟设计[A];电工理论与新技术学术年会论文集[C];2005年

9 尚志武;万淑敏;王太勇;;基于高速数据采集和实时信号分析的结构实验分析系统的研究与应用[A];中国仪器仪表学会第三届青年学术会议论文集（下）[C];2001年

中国重要报纸全文数据库 前4条

1 湖南 古铜;无损压缩CD之APE[N];电脑报;2003年

2 李剑峰;影音不分家，无损音频知多少?[N];电脑报;2014年

3 通讯员聂小清;电话线就能当宽带用[N];科技日报;2002年

4 李霞;加快多媒体系统的研究与发展[N];甘肃日报;2003年

中国博士学位论文全文数据库 前2条

1 张O，

本文编号：2201911