基于深度强化学习的哈特曼传感器标定优化技术研究

发布时间：2020-10-11 14:23

　　 哈特曼传感器是一种常见的波前探测器,它的基本工作流程是:首先将待测波前进行采样,得到光斑图像;然后选取合理的质心算法得到各个子光斑图像的质心位置,再从中减去标定质心位置,得到波前斜率;最后通过波前复原算法,由斜率信息复原出待测波前,完成波前探测。为了复原出准确的波前,一方面,需要选取合适的质心算法;另一方面,需要用近似理想的光源进行同光轴标定,得到标定质心位置。自适应光学系统需要对哈特曼传感器探测到的波前畸变进行校正。由于在校正过程中,标定质心位置被近似等效为理想波前,因此标定位置的准确性是决定校正能力上限的重要因素。当标定过程受到多方面误差影响较大时,会带来三个问题:1.如何选取合适的光斑质心计算方法;2.如何解决因标定光源的波前状况不理想导致的标定位置不准确;3.当系统其余部分的误差较大且误差不能等效为质心偏移时,如何解决标定位置不能被等效为理想波前的问题。为了解决哈特曼传感器面临的上述问题,本文提出了一种新的解决思路。以自适应光学系统为平台,为了得到系统的最佳标定位置,首先将过程中所有误差的影响看作是线性映射与非线性映射的集合;然后通过end-to-end的方式,对斜率到控制信号的过程进行寻优,得到最优策略,最优策略下的波前残差代表了系统对于当前入射像差的最大校正能力;最后,用这个残差去更新传统的有误差的标定位置,得到了基于系统的标定。这样的思路解放了在物理过程建模和误差分析中的工作量以及对标定光源光束质量的苛刻要求,理论上仅依靠算法便能完成任务。基于这种新思路,本文提出了一种基于深度强化学习的哈特曼传感器标定优化方法,并取得了一系列创新性成果。第一,对强化学习理论在目标场景的可行性进行了研究。马尔可夫相关理论是解决时间贯序问题的有力数学工具,但在自适应光学领域,并没有过深入的相关研究。本文针对这一空白的研究方向,验证了自适应光学系统的状态转移过程满足马尔可夫性;自适应光学系统的波前补偿过程属于马尔可夫决策过程。最后,在马尔可夫的理论框架下研究了适用于自适应光学系统的基于强化学习的优化方法。第二,进一步确定了目标场景属于确定性策略范畴。在这个结论下,针对系统中的非线性误差集合和固定误差集合,可采用end-to-end的全局优化方式并运用深度学习设计了end-to-end的策略网络和动作值函数网络结构;然后将上述两个网络植入强化学习的Actor-Critic的框架;最后在确定性策略梯度理论下,确定了Actor网络与Critic网络的梯度交互和梯度更新的方式,并研究了适合自适应光学系统的网络结构和参数范围。第三,确立了基本结构后,在策略探索方面,针对自适应光学系统高维连续输出的特点,提出了一种带衰减项的正态分布探索策略,并和传统的OU探索策略进行了对比;在奖励函数方面,以斯特列尔比、因子、像清晰度函数等光束评价指标为基础,设计出值域统一且梯度上升方向一致的奖励函数,并分别验证了其收敛特性,并在仿真中完成验证。第四,针对强化学习的训练过程中样本量需求大的问题,在训练Critic网络时提出了基于k回合随机TD-n的方法,将样本利用率提高了1.5倍;针对训练前期收敛过程震荡、收敛速度慢的问题,提出了基于有监督学习的网络预训练和加入引导经验池的Double Reply Buffer两种方案。最后在实验中验证了方法的可行性。通过本文的研究,证明了在自适应光学系统中,一种基于深度强化学习的哈特曼传感器的end-to-end标定优化方式是可行的,并为光学领域其他满足马尔可夫性的过程优化问题提供了一种新的解决思路。
【学位单位】：中国科学院大学(中国科学院光电技术研究所)
【学位级别】：博士
【学位年份】：2019
【中图分类】：TP212;TP391.41
【部分图文】：

波前探测技术夏克哈特曼波前传感器是一种精密的波前探测仪器，广泛应用于各种光学文围绕夏克哈特曼波前传感器在自适应光学系统中的标定优化，开展了的工作。其中波前和波前探测是研究本论题时需要了解的最基本的概念首先围绕这两个概念展开论述。 波前及波前探测技术原理.1 波前针对波前，本小节将从几何光学[1,2]和波动光学[3,4]的角度分别阐述。几何光学中，将光的传播看作矢量光线，最直观的例子就是影子的形成和像现象[5]（如图 1.1 所示）。在对这些现象进行分析时，一束光被看作由无向直线组成。

0U u exp( w r) 2w 代表光波的矢向量， 为波长； 表示光程的矢向量的相位[3-5]。根据以上定义，在波动光学理论中，波前代表了前探测技术波前的基本概念后，本小节主要简述了波前探测技术原理匀介质中传播时，波前相位信息可以反映光程的不同。根据测目标表面信息。如图 1.2，在同种均匀介质中，等相位的反射后，波面形成了一定光程差，因此，反射波面包含了目息。

第一章 绪论1.1.2 现有波前探测技术波前探测器按波前探测技术的不同，可分为基于干涉技术的波前探测器、基于斜率测量的夏克哈特曼波前传感器和其他波前探测器。1.1.2.1 基于干涉技术的波前探测器基于干涉技术的波前探测器，通过干涉技术复原被测波前。主要指干涉仪，包括径向剪切干涉仪（图 1.3(a)）、四波横向剪切干涉仪（图 1.3(b)），点衍射干涉仪（图 1.3(c)）等[6-9]。由于大部分干涉仪面临硬件结构相对复杂、光能利用率较低等限制，在实时波前探测领域中逐渐被其他技术替代。由于这部分不是本文主要内容，在此只做简单的介绍。
【相似文献】

相关期刊论文 前10条

1 李新阳,姜文汉;哈特曼传感器对湍流畸变波前的泽尼克模式复原误差[J];强激光与粒子束;2002年02期

2 颜宏;雒仲祥;叶一东;向汝建;王锋;何丽;;高分辨力哈特曼传感器的快速波面重构和拼接[J];强激光与粒子束;2012年06期

3 张锐;杨金生;田雨;饶学军;;焦面哈特曼传感器波前相位复原[J];光电工程;2013年02期

4 刘敏时;王晓曼;景文博;王斌;;用于激光光束检测的夏克-哈特曼传感器参量设计[J];光学学报;2013年03期

5 陈红丽;饶长辉;;根据远场光班确定夏克-哈特曼传感器采样率的一种方法[J];光学学报;2009年05期

6 ;光学传感、传感器[J];中国光学与应用光学文摘;2003年01期

7 李旭旭;李新阳;王彩霞;;哈特曼传感器子孔径光斑的局部自适应阈值分割方法[J];光电工程;2018年10期

8 ;自动测试及其系统[J];电子科技文摘;2001年02期

9 武超群;李梅;周璐春;;哈特曼传感器仿真平台设计[J];红外与激光工程;2015年02期

10 宋定安;李新阳;彭真明;;0-1故障模型在自适应光学系统中的应用[J];红外与激光工程;2018年11期

相关博士学位论文 前5条

1 胡珂;基于深度强化学习的哈特曼传感器标定优化技术研究[D];中国科学院大学(中国科学院光电技术研究所);2019年

2 李旭旭;低信噪比下点源目标哈特曼传感器的子光斑定位算法研究[D];中国科学院大学(中国科学院光电技术研究所);2018年

3 汪晓波;高平均功率固体激光的热效应研究[D];国防科学技术大学;2008年

4 付强;天文望远镜大气湍流下优化控制技术研究[D];中国科学院研究生院（光电技术研究所）;2014年

5 宁禹;双压电片变形反射镜的性能分析与应用研究[D];国防科学技术大学;2008年

相关硕士学位论文 前4条

1 周彦超;基于CMOS相机的哈特曼传感器建模优化与仿真研究[D];中国科学院研究生院(光电技术研究所);2016年

2 丁功明;基于夏克—哈特曼传感器的波前检测关键技术研究[D];合肥工业大学;2014年

3 刘妍;基于微扫描的像质检测用哈特曼传感器研究[D];长春理工大学;2013年

4 鲜浩;自适应光学系统波前传感器设计与优化[D];电子科技大学;2008年

本文编号：2836708