云平台下光谱数据快速无损压缩技术的研究

发布时间：2017-12-13 16:19

  本文关键词：云平台下光谱数据快速无损压缩技术的研究

  更多相关文章： LZO 快速无损压缩 近红外光谱 关键波段集 小波变换 Hadoop

【摘要】：近年来,随着计算机性能的大幅提升、近红外光谱仪器的改进和化学计量学数据处理方法的研发,光谱技术在工业、农业、医药等领域得到了广泛应用。由于近红外光谱仪器具有快速和非损坏性检测、操作成本低、无需复杂预处理等一系列特点,与化学计量法相结合,非常适合烟叶成分的定性定量分析。光谱仪器会产生海量的数据,如何对这些数据进行存储、分析、挖掘成为制约光谱技术应用的瓶颈。针对这些问题,本文从以下几个方面来进行云存储环境下光谱数据快速无损压缩技术的研究:一、深入研究了云存储的概念、体系结构和技术原理。对云存储涉及到的关键技术如虚拟化技术、并行编程模式、分布式文件管理作了深度剖析,重点分析了Hadoop平台中使用的Map Reduce、HDFS等技术原理和实现过程。二、通过实验比较LZO、LZW和LZSS三种压缩算法在使用内存、压缩时间、压缩率和对不同数据压缩效率等四个方面的不同表现。实验分析得出,在相同环境下,LZO的压缩、解压缩速度是另外两种压缩算法的20倍以上,而压缩率只比LZW和LZ77算法低10%左右。压缩数据量越大,LZO的时间优势越明显。在云平台分布式处理和并行传输环境下,通过损失部分压缩率来换取压缩时间是值得的,LZO算法更适合近红外光谱文件在云平台下的快速实时压缩。三、为了提高压缩效率,针对光谱数据的完整性要求,只需对关键波段压缩就能达到目的,因此,通过连续小波变换(CWT)建立关键波段集检测数学模型,可快速检测出海量光谱、质谱文件中的关键波段集。该算法可通过个性化设定光谱文件中关键波段集的检测范围和步长,达到控制压缩文件大小的目的。最后,通过LZO算法对检测到的关键波段集进行压缩,提高了文件处理效率。四、根据用户需求和系统需要,建立在Hadoop框架下的烟叶光谱数据信息管理系统。该系统能够实现用户对光谱数据的传输、删除、查询、分析和管理等功能。通过在烟叶光谱信息管理系统中测试表明,论文的数据压缩方法和关键波段集检测方法是可行的。
【学位授予单位】：湖南师范大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：TH744.1

【参考文献】

中国期刊全文数据库 前1条

1 孙念;胡炳j;王爽;闫鹏;孙朗;王铮杰;;基于FISTA算法的编码孔径光谱图像压缩与复原系统[J];红外与激光工程;2014年01期

，

本文编号：1285786