基于云计算的图像稀疏表示算法分布式并行优化

发布时间：2017-12-13 17:32

  本文关键词：基于云计算的图像稀疏表示算法分布式并行优化

  更多相关文章： 图像稀疏表示 Spark 分布式并行优化 MapReduce K-SVD TV

【摘要】：随着社会的发展,基于图像的应用越来越多,例如人脸识别,高光谱图像矿物勘探、环境监测等。同时图像的分辨率也越来越高。图像的稀疏表示(Sparse Representation,SR)是一种非常有效的图像处理方法,它利用少量的系数来表示图像,从而为后续的图像分析和应用提供便利。然而由于图像所包含的信息多样化,稀疏表示算法具有较高的复杂度等原因使得现有的单机计算平台难以分析大规模图像,且执行效率低下。云计算是近些年新起的一个可扩展的分布式并行计算框架和存储大规模数据的平台,具有强大的计算能力和广泛的应用前景。本文在研究Hadoop的MapReduce计算框架、分布式文件系统HDFS,Spark系统结构、任务调度和分布式弹性数据集RDD等云计算关键技术的基础上,结合图像去噪修复中的实际应用背景,设计了基于Spark的图像稀疏表示K-SVD算法分布式并行优化方法和组稀疏-TV算法高光谱图像去噪修复分布式并行优化方法,并利用大量的图像数据,进行实验验证。实验结果表明,本文提出的图像稀疏表示分布式并行优化方法在保证处理结果正确性的同时,能够获得较高的加速比和处理大规模数据的能力。主要内容包括:1.基于Spark云计算平台进行了图像稀疏表示K-SVD算法的分布式并行优化。在分析了图像稀疏表示的K-SVD算法和OMP算法的基础上,并结合了 Spark任务调度和MapReduce计算框架,改进了 K-SVD算法的字典更新方式,采用原子单独更新的方式,从而增加了算法的并行度。根据系数向量具有稀疏性的特点,设计了三元组结构记录每一个稀疏向量,从而压缩数据规模,减少数据传输量和冗余计算。针对OMP算法在求解过程中会产生残差向量和K-SVD算法字典更新过程中需要计算误差矩阵的特点,优化误差矩阵的计算方式,减少误差矩阵的计算量。同时设计了合理的中间数据结构,并充分利用数据本地性的任务调度策略,减少数据在各个节点之间的来回传输和MapReduce任务之间的数据shuffle。通过与单机串行实验作对比,验证了本文方法的有效性和加速效果。2.基于Spark云计算平台进行了高光谱图像组稀疏-TV去噪修复算法分布式并行优化。在分析了基于高光谱图像的组稀疏算法、TV去噪修复算法和PCA算法的基础上,并结合了 Spark任务调度和MapReduce计算框架,改进了 PCA算法计算方式,减少算法的计算量。利用多节点之间并行的网络传输能力,减少在去噪修复过程中的数据传输时间。同时设计合理的中间数据结构和利用RDD数据本地性,减少在TV算法中不同RDD之间的数据传输。通过共享变量的内存空间,减少在迭代过程中中间数据申请新空间的次数,从而减少GC时间。优化TV算法中梯度矩阵的计算方式,合并部分矩阵的计算,减少算法的计算量。通过与单机串行实验作对比,验证了本文方法的正确性和加速效果。
【学位授予单位】：南京理工大学
【学位级别】：硕士
【学位授予年份】：2017
【分类号】：TP391.41

【参考文献】

中国期刊全文数据库 前8条

1 刘建学;杨莹;韩四海;李璇;李佩艳;张卫卫;张天泽;杨国迪;焦肖飞;;高光谱成像技术在食品品质无损检测中的应用[J];食品工业科技;2016年03期

2 孟祥贵;汲自强;王伟;邱军钦;;基于图像处理的实时环境监测系统设计[J];仪表技术;2014年08期

3 吴光文;王昌明;包建东;陈勇;胡扬坡;;基于自适应阈值函数的小波阈值去噪方法[J];电子与信息学报;2014年06期

4 李飞;纠博;刘宏伟;王英华;张磊;;基于稀疏表示的SAR图像属性散射中心参数估计算法[J];电子与信息学报;2014年04期

5 杨海平;沈占锋;骆剑承;吴炜;;海量遥感数据的高性能地学计算应用与发展分析[J];地球信息科学学报;2013年01期

6 张晓阳;柴毅;李华锋;;基于K-SVD和残差比的低信噪比图像稀疏表示去噪算法[J];光学技术;2012年01期

7 方红;杨海蓉;;贪婪算法与压缩感知理论[J];自动化学报;2011年12期

8 孙玉宝;韦志辉;吴敏;肖亮;费选;;稀疏性正则化的图像泊松去噪算法[J];电子学报;2011年02期

，

本文编号：1286000