基于压缩域的视频图像插值和重建技术研究

发布时间：2019-01-26 20:28

【摘要】：如今,数字化的多媒体技术在人类社会的各个领域内有着极为广泛的应用。在各类数字多媒体信号当中,图像/视频等视觉信号逐渐成为人类最主要的信息载体。由于源图像/视频信号数据量较大,目前大量的图像/视频等视觉信号通过有损压缩编码技术,变换为压缩域码流,实现了高效的传输和存储。但是压缩视频图像也存在一些问题:一方面,受低分辨率采集设备、存储空间或传输带宽的限制,一些压缩视频图像的分辨率较低;另一方面,一些经过压缩感知编码技术重建的视频图像,其重建质量较差。这些低分辨率或压缩感知重建质量低的图像/视频信号会影响人们的视觉感受。视频图像插值和重建技术能够增强压缩图像/视频的分辨率和重建质量,提高人们的视觉感受。因此压缩图像/视频的插值和重建技术是数字视频图像处理领域有实际意义的研究课题。通过码流解码得到的重建图像/视频信号可以看作是源图像/视频信号的退化信号,从退化信号恢复源信号的问题具有病态特性。该问题涉及到视频编码技术和图像处理等领域。压缩视频图像的码流在解码过程中能够产生指导重建的边信息,边信息可以对源信号的退化过程进行有效估计。根据图像/视频等视觉信号的固有特性,自然视频图像的先验模型也可以约束源信号的真实解空间,将该病构性问题转化为适应性问题。综上所述,压缩图像/视频的插值和重建技术是数字视频图像处理领域有理论意义的研究课题。本文以压缩码流边信息和视频图像的先验模型作为出发点,重点针对压缩视频图像的插值问题和压缩感知视频图像的重建问题展开深入的研究。具体研究内容分为以下四个部分:第一,提出了一种基于局部自回归模型和非局部自相似模型的正则化的压缩图像插值技术。通过分析压缩图像码流的边信息,我们推导出压缩图像变换域系数的置信区间,并以此提出了基于变换域的软数据精度项。基于图像的局部和非局部特性,我们联合两种互补的图像先验模型:局部自回归模型和非局部自相似模型,作为联合的正则化约束。不同于传统的只利用高低分辨率之间几何二元性的自回归模型,我们提出了一种自适应加权的在高分辨率图像上迭代的自回归模型;而在非局部的自相似模型中,我们用相似块组变换域的稀疏性来对非局部相似块组进行统一约束。结合我们提出的软数据精度项和局部非局部联合的正则化约束,我们提出压缩图像插值的优化目标函数,并采用分裂布莱格曼方法来求解。实验数据表明,我们提出的方法相比于一些经典的对比方法在主观和客观效果上均具有一定的质量增益。第二,提出了一种基于方向性的压缩视频插值技术。传统的源视频插值技术直接应用于压缩视频时,插值视频效果往往不尽如人意。其原因是忽略了压缩视频码流中的边信息。通过借鉴视频帧内预测技术和边缘指导的插值模型,我们提出了基于方向性的压缩视频(帧内编码帧和帧间编码帧)插值技术。整体压缩视频插值框架充分利用压缩码流的空域和时域边信息。对帧内编码帧(I帧)来说,插值滤波器利用了帧内方向性纹理的预测模式信息的指导作用。针对每一个帧内方向预测模式,我们在训练集上(经典视频序列及其对应的低分辨率压缩视频)训练出相对应的优化插值滤波器,所以插值滤波器能通过帧内方向预测模式自适应选择。而且,量化因子作为码流边信息也参与到插值滤波器的训练与选择。对帧间编码帧(P帧和B帧)来说,帧间预测模式是获取图像块运动向量的信息,该向量指向与当前块的纹理相似的参考块。每一个帧间帧中的插值像素,其插值滤波器由对应参考像素的纹理方向决定。第三,提出了一种基于局部结构化随机矩阵的图像压缩感知重建技术。通常,高斯随机矩阵被广泛应用于压缩感知技术,但是该矩阵存在以下问题:一是该矩阵是复杂且非稀疏的矩阵,导致了计算复杂度很高且不利于硬件实现;二是该矩阵具有全局随机性,导致由其映射产生的测量值也具有高度的全局随机性,使得测量值的编码效率很低。故,我们利用图像的局部平滑特性,设计了具有局部结构化特点的随机采样矩阵。该矩阵有两个优点,一是其高度稀疏,利于硬件实现且在低码率下的重建效果优于高斯随机矩阵;二是测量值的相邻元素之间具有很强的相关性,该相关性被利用来增强编码效率。进而,我们设计了基于局部结构化的随机矩阵的整体编码框架,包括:测量值的生成,测量值的编码和图像的压缩感知重建。在重建时,通过分析压缩码流的边信息,我们提出了一种基于测量值置信区间的软解码重建方法,其在低码率下相比于传统的重建方法具有更好的重建效果。实验数据表明,我们提出的方法相比于一些经典的对比方法在主观和客观效果上均具有一定的质量增益第四,提出了基于层次帧的时空域结合的视频压缩感知重建技术。在编码端,不同于传统的各帧同采样率的压缩感知视频编码,我们设计了层次帧的采样策略,在编码端不同层次的帧采用不同的采样率,以便于更好的利用空域相关性来增强视频的重建质量,同时减轻了误差漂移对视频重建的影响。在解码端,我们提出了时空域相结合的视频重建技术。在该时空域模型中,考虑到视频的时域相关性和空域相关性特性,我们将具有相似纹理的时空域的图像块组成一个图像块组,并将组内块在自适应字典下的稀疏表示作为该视频重建技术的先验约束。而且,通过分析压缩码流的边信息,我们提出了一种基于测量值置信区间的软数据精度项。联合时空域先验约束和软数据精度项,我们提出了正则化的目标函数,进而采用分裂布莱格曼方法迭代求解该目标函数。我们提出的方法相比于对比方法在客观效果上具有一定的质量增益。综上,本文针对压缩视频图像的插值问题和压缩感知视频图像的重建问题提出了以压缩码流边信息和视频图像的先验模型相结合的插值和压缩感知重建技术,实验表明我们提出的方法相比于一些经典的对比方法在具有一定的质量增益。
[Abstract]:......
【学位授予单位】：哈尔滨工业大学
【学位级别】：博士
【学位授予年份】：2016
【分类号】：TP391.41

【相似文献】

相关期刊论文 前10条

1 唐永茂,施鹏飞;基于区域相关性的图像插值[J];微型电脑应用;2004年10期

2 曾爱华,殷瑞祥,崔海霞;基于小波的图像插值方法[J];河南科技大学学报(自然科学版);2005年02期

3 杨金柱;赵大哲;徐心和;;基于距离场的非线性图像插值分割方法[J];东北大学学报;2006年08期

4 张玉叶;王学伟;王春歆;;图像插值分析的交互式分层复原[J];光电工程;2008年05期

5 王亮;黄晓涛;周智敏;;2维复图像插值技术研究[J];中国图象图形学报;2008年08期

6 符祥;郭宝龙;;图像插值技术综述[J];计算机工程与设计;2009年01期

7 郝鹏威，朱重光;基于小波的图像插值方法[J];遥感学报;1998年02期

8 邱伟;;浅谈图像插值技术[J];科技致富向导;2011年17期

9 谭璐,吴翊,刘卓;高维图像数据的最优表达[J];国防科技大学学报;2003年05期

10 张辉;胡广书;;基于二维卷积的图像插值实时硬件实现[J];清华大学学报(自然科学版);2007年06期

相关会议论文 前10条

1 胡巍;张桂林;陈朝阳;;基于正交函数积分理论的图像插值方法[A];1998年中国智能自动化学术会议论文集（下册）[C];1998年

2 姚春莲;高丽华;陈谊;李炜;;基于图像插值的帧内预测[A];全国第19届计算机技术与应用（CACIS）学术会议论文集（上册）[C];2008年

3 肖义男;文玉梅;罗毅;;基于边缘敏感滤波的图像插值模糊消除[A];中国仪器仪表学会第六届青年学术会议论文集[C];2004年

4 仵冀颖;阮秋琦;;偏微分方程约束的非局部均值图像插值模型[A];第十三届全国图象图形学学术会议论文集[C];2006年

5 郑钢;;体育运动视频图像实时分析系统初步构建[A];第九届全国体育科学大会论文摘要汇编(2)[C];2011年

6 郝光远;魏崇健;张建廷;;血管造影视频图像的数字化处理[A];2009中华医学会影像技术分会第十七次全国学术大会论文集[C];2009年

7 孟兵林;张淞华;陈长庚;;视频图像技术在武术项目技术分析中的应用[A];第十一届全国运动生物力学学术交流大会论文汇编（摘要）[C];2006年

8 严圣华;罗兵;;一种视频图像退化帧的恢复新法[A];计算机技术与应用进展——全国第17届计算机科学与技术应用（CACIS）学术会议论文集（上册）[C];2006年

9 吴锋;成奇名;周玉彬;潘玮;刘娟;张信民;俞梦孙;;基于视频图像提取肌电生物反馈仪放松反馈信号的设计及实现[A];自主创新与持续增长第十一届中国科协年会论文集（3）[C];2009年

10 胡芊;杨正球;;基于去噪声的视频图像中的字幕提取[A];2007北京地区高校研究生学术交流会通信与信息技术会议论文集（上册）[C];2008年

相关重要报纸文章 前10条

1 ;爱国者自然窗330T[N];中国计算机报;2001年

2 徐向军邋王轶星;视频图像清晰流畅 检验监管效率倍增[N];中国国门时报;2007年

3 ;大同市公共安全视频图像信息系统管理办法[N];大同日报;2008年

4 ;长沙市公共安全视频图像信息系统管理办法[N];长沙晚报;2011年

5 湖南 双龙一剑;截取视频图像两法[N];电脑报;2002年

6 本报记者 刘新晖 特约记者 应春明 通讯员 钟水容 石振军;打造“天眼”工程 构建平安韶关[N];韶关日报;2009年

7 山东省安丘市景艺耀华中学 裴玉兰;“空手巧抓视频图像”更通用的技巧[N];中国电脑教育报;2005年

8 张慧;我市将大力建设公共安全视频图像信息系统[N];太原日报;2011年

9 ;吉林省公共安全视频图像信息系统管理办法[N];吉林日报;2012年

10 记者 颜家文 实习生 苑晓阳 通讯员 袁志明;“天网”：人过留面车过留牌[N];长沙晚报;2012年

相关博士学位论文 前10条

1 高欣玮;基于压缩域的视频图像插值和重建技术研究[D];哈尔滨工业大学;2016年

2 马里千;高真实感可视媒体的智能编辑与合成[D];清华大学;2015年

3 魏平;数字乳腺钼靶图像的软拷贝显示技术研究[D];浙江大学;2009年

4 Rukundo Olivier;灰度图像插值优化方法的研究[D];华中科技大学;2012年

5 刘芳;图像可逆信息隐藏技术若干问题研究[D];大连理工大学;2013年

6 刘哲星;医学图像回溯性配准研究[D];第一军医大学;2002年

7 许博谦;星载相机微振动下图像补偿技术研究[D];中国科学院研究生院(长春光学精密机械与物理研究所);2015年

8 付晓薇;基于量子力学的图像处理方法研究[D];华中科技大学;2010年

9 张健;复杂图像文本提取关键技术与应用研究[D];南开大学;2014年

10 冯宇平;图像快速配准与自动拼接技术研究[D];中国科学院研究生院（长春光学精密机械与物理研究所）;2010年

相关硕士学位论文 前10条

1 刘雪峗;移动终端图像插值快速算法的研究[D];华南理工大学;2015年

2 翟珍珍;多尺度分析方法在医学影像诊断系统中的应用研究[D];郑州大学;2015年

3 王飞宇;多核图像处理平台及其在夜视图像融合中的应用[D];南京理工大学;2015年

4 王洋;基于多图谱的人脑MR图像的分析与可视化[D];上海交通大学;2015年

5 张向泽;基于图像的景深渲染算法的研究与实现[D];上海交通大学;2015年

6 孟蕊;虚拟试衣系统关键算法研究[D];哈尔滨工业大学;2015年

7 王海雁;多路图像数据集中处理系统设计与开发[D];电子科技大学;2014年

8 郑成龙;基于云计算的脑部MR图像可视化的研究与实现[D];电子科技大学;2014年

9 柳舒怀;基于Hough变换的图像配准算法[D];大连理工大学;2015年

10 朱喜玲;图像的复数基表达及其在图像伪装中的应用[D];北方工业大学;2016年

，

本文编号：2415879