光电工程  2018, Vol. 45 Issue (3): 180075      DOI: 10.12086/oee.2018.180075     
计算光场自适应光学成像技术研究
吕洋1 , 宁禹1 , 马浩统2 , 孙全1 , 张烜喆1 , 刘文广1 , 许晓军1     
1. 国防科技大学前沿交叉学科学院,湖南 长沙 410073;
2. 中国科学院光电技术研究所,四川 成都 610209
摘要:计算光场自适应光学成像技术将目标和干扰的光场进行整体测量,再利用目标与干扰光场的四维光场信息分布特点,通过计算方法将其进行有效地区分、滤除,能在大视角范围内对干扰导致的目标光场波前畸变进行探测复原,并以计算方式自适应地补偿成像空间中的复杂波前像差扰动。与传统自适应光学成像方法相比,该方法具有较大的探测视场,可以直接以扩展目标作为信标进行波前信息解算。本文从传统自适应光学技术面临的挑战出发,简述了计算光场自适应光学成像技术的优势及发展现状,介绍了研究团队在计算光场自适应光学成像方面开展的主要工作。
关键词自适应光学    计算成像    光场成像    光场相机    
Research on computationally adaptive plenoptic imaging
Lv Yang1, Ning Yu1, Ma Haotong2, Sun Quan1, Zhang Xuanzhe1, Liu Wenguang1, Xu Xiaojun1     
1. College of Interdisciplinary Studies, National University of Defense Technology, Changsha, Hunan 410073, China;
2. Institute of Optics and Electronics, Chinese Academy of Sciences, Chengdu, Sichuan 610209, China
Abstract: As for computational adaptive plenoptic imaging system, the light-field of the target and interference are measured together, and then according to distribution characteristics of the four-dimensional light-field information between the target and the disturbed factors, target and disturbed factors can be effectively separated. This technique can be used to detect and recover the wavefront distortion caused by interference in the large field of view, and adaptively compensate for complicated wavefront aberration by means of computation. Compared with the traditional adaptive optics imaging method, the proposed method has a larger detecting field of view, and can directly analyze and compute wavefront information based on the extended target.
Keywords: adaptive optics    computational imaging    plenoptic imaging    plenoptic camera    

1 引言

传统自适应光学技术在天文观测、暗弱目标成像等领域已经取得巨大成功。但是随着应用领域的不断拓展,在更加复杂苛刻的成像环境下,自适应光学面临诸多挑战,主要来自以下两个方面:

1) 大视场问题。由于受到等晕区的限制,传统自适应光学系统只能在一个较小的视场内进行高精度成像。为了能在更大的视场范围内获得清晰的扩展目标成像,研究人员提出了多层共轭自适应光学(multi-conjugate adaptive optics,MCAO)。该方法虽然有效地扩大了等晕区范围,但是增加了系统的复杂度和研制成本;

2) 复杂成像环境中的适用性问题。传统自适应光学是以光场波前像差为研究对象的校正系统,由于复杂成像环境中,光传输通道上可能存在障碍物对目标光场进行了调制,不仅使目标光场信息缺失,还可能使系统无法通过传统自适应光学方法以目标为信标获取波前畸变,进而对目标清晰成像。

计算光场自适应光学成像技术将光场成像系统应用于自适应光学波前探测领域,能够不受信标扩展性限制,同时具有大视场波前探测能力.通过一套光学系统、一次曝光来获取目标的光场信息,一次性获得多视角对应的波前畸变,具有结构简单、测量动态范围大、探测视场大的优点,同时绕开了传统大视场波前探测技术中多传感器采样同步性和均匀性难以保证的问题。开展计算光场自适应光学成像技术研究,探索大视场波前探测方法及复杂环境中的像清晰化方法,具有重要的研究意义和实用价值。

近年来,计算光场成像在自适应光学技术中的应用逐步受到关注,研究工作以波前相位探测为主。2003年,新西兰的Clare和Lane提出将夏克-哈特曼波前传感器中的微透镜阵列替换到主透镜的焦面处来实现波前测量[1-2],这实际上就是光场相机。光场相机不仅记录了光线的位置信息,同时也记录了光线的角度信息,因而可以从图像中提取光场信息,从而获得入射的畸变波前信息。同时,他们还指出四棱锥波前传感器是光场相机在微透镜阵列为2×2时的特殊情况,通过对四棱锥传感器[3-4]的斜率测量公式进行一般性总结得到了光场相机的波前斜率测量公式。2007年,西班牙La Laguna大学申请了一个光场相机用作波前传感器的专利——CAFADIS相机[5]。CAFADIS相机的光学结构和波前重建原理与Clare的基本相同,CAFADIS相机能够测量物体的深度信息。此外,CAFADIS相机利用傅里叶切片技术进行波前重构,采用GPU和FPGA进行并行计算,大大加快了波前重构的速度,使之能满足实时探测波前畸变的要求[6]

2009年,Rodriguez-Ramos等人搭建了实验系统,分别以照明的十字架和太阳微粒组织照片为信标进行了波前探测,得到了子孔径图像[7],但他们并未进行子孔径的质心测量和波前重构,也没有进行波前探测精度分析。由于CAFADIS相机可以同时获得来自各个方向的波前信息,能够提取出大气湍流的层析波前信息,欧洲太阳望远镜(european solar telescope,EST)拟将CAFADIS相机作为波前传感器备选方案[8]。2010年,Rodriguez-Ramos等人研究了光场相机对大气湍流的波前层析探测能力。利用CAOS系统建立了一个多层共轭自适应光学(MCAO)系统,包含6层湍流、5个激光导星(1个轴内,4个轴外),仅用一个光场相机就可以代替多个波前传感器完成测量波前的任务[9]。2012年,Rodriguez-Ramos等将光场相机安装到实际望远镜(OGS,口径1 m,焦距38.95 m)上,以点星(Vega)和扩展目标月球表面为信标进行了波前探测,得到了两者的子孔径图像,并对点星所测子孔径图像进行了波前重构,结果表明,CAFADIS相机测量到的波前畸变符合大气湍流Kolmogrov谱[10]

2014年,西班牙La Laguna大学的Trujillo-Sevilla等利用光场相机测量出畸变波前,然后利用测量得到的波前信息进行解卷积[11],实现高分辨率重建。除了La Laguna大学的研究组外,美国Maryland大学的Wu等于2015年对光场相机传感器进行了改造,他们将光场相机中微透镜阵列的位置变换到主透镜与微透镜焦距之和的距离处,指出改造后的光场相机可以探测畸变严重的入射波前[12]。此外,美国Nanohmics公司为了给军事飞机或无人机空间侦察提供更高的成像质量,在2014年研制了基于光场相机的自适应光学系统原型机。他们以分辨率标准板为信标,以光场相机为波前传感器,对简单的离焦畸变进行了探测和自适应补偿,得到了较好的结果,但没有在实际湍流测量中得到验证,且没有报道具体的波前探测方法。

国内对计算光场自适应光学成像的研究相对较少,主要集中在光场相机自由空间成像领域。在光场相机波前探测技术方面,中科院张锐[13]等以点源为信标对光场相机的波前探测能力进行了初步仿真验证;国防科技大学的许杰平、蒋鹏志等[14]对光场相机的波前探测精度进行了仿真分析。

本文将介绍国防科技大学许晓军研究团队在计算光场自适应光学成像方面开展的主要工作,简述计算光场自适应光学成像清晰化理论方法,并给出仿真和实验研究结果。

2 计算光场自适应光学成像系统的图像清晰化方法

基于国内外的相关研究,我们提出了基于光场波前测量的图像清晰化方法,利用光场成像装置采集的物空间光场信息,解算得到目标物光场波前畸变信息后,结合直接解卷积的图像后处理方法,对传统相机采集的受到波前畸变影响的模糊图像进行清晰化复原,并建立了相关算法:

$ d(x, y) = o(x, y) \otimes h(x, y) + n(x, y), $ (1)

式中:$ d(x, y) $为相机记录的模糊图像,$ o(x, y) $为目标的理想图像,$ h(x, y) $为光学系统的点扩散函数,$ n(x, y) $为探测相机的噪声:

$ h(x, y) = {\rm{|}}\Im {\rm{\{ }}p(u, v) \cdot \exp [{\rm{i}}\varphi (u, v)]{\rm{\} }}{{\rm{|}}^{\rm{2}}}, $ (2)

式中:$p(u, v)$是光学系统的光瞳函数,$ \varphi (u, v) $是恢复的波前分布。近衍射极限的恢复图像可由下式给出:

$ O({f_x}, {f_y}) = \frac{{D({f_x}, {f_y}){H^*}({f_x}, {f_y})}}{{|H({f_x}, {f_y}){|^2}}}, $ (3)

式中:$ O({f_x}, {f_y})$$ H({f_x}, {f_y}) $$ D({f_x}, {f_y})$分别为$o(x, y) $$ h(x, y) $$ d(x, y) $的二维傅里叶变换。

在对光场成像装置采集的物空间光场信息进行解算,得到目标物光场波前畸变信息后,结合直接解卷积的图像后处理方法,对传统成像采集的受到波前畸变影响的模糊图像进行清晰化处理,该方法具体流程如下:

1) 采集成像目标的四维光场分布和退化图像;

2) 解算目标物光场相位波前畸变;

3) 估计成像系统的相干成像点扩散函数,求解成像系统的系统成像点扩散函数;

4) 在频域对退化图像进行解卷积运算,求解得到成像目标理想成像的傅里叶变换、进行傅里叶逆变换,得到成像目标接近于衍射极限的理想成像。

为了验证上述图像清晰化算法的有效性,搭建了如图 1所示的目标图像清晰化系统,开展了数值仿真和实验验证工作。

图 1 计算光场清晰化成像系统 Fig. 1 Computationally adaptive plenoptic imaging configuration
3 算法仿真验证

仿真中取望远镜主镜口径为100 mm,F数为10,微透镜的尺寸为100 μm,成像光束中心波长为0.632 μm,每个微透镜下像素采样为128×128。采用均匀照明的分辨率板作为拓展目标,目标发出的光经光学相位板后进入主镜,一部分光通过分束镜成像于传统相机靶面,获得目标图像;另一部分光进入光场相机用于波前探测。该系统可同时获取目标光场波前信息与受到扰动的目标图像。

选取离焦像差及低阶混合像差,对基于扩展目标的光场波前测量和传统成像图像的像清晰化进行了仿真分析。图 2为输入的离焦波前畸变和低阶混合像差波前畸变,图 3为受扰动模糊的传统相机图像,图 4为光场相机原始图像,图 5为利用光场信息解算的相位畸变相对于输入波前的复原残差,图 6为利用波前测量结果清晰化的目标图像。

图 2 加载的波前畸变。(a)离焦;(b)低阶混合像差 Fig. 2 Phase screens used in numerical simulation. (a) Defocus phase screen; (b) Atmosphere turbulence phase screen

图 3 传统相机模糊图像。(a)离焦;(b)低阶混合像差 Fig. 3 Blurred images captured by imaging CCD with phase aberrations. (a) With defocus phase aberration; (b) With atmosphere turbulence phase aberration

图 4 光场相机原始图像。(a)离焦;(b)低阶混合像差 Fig. 4 Intensity distribution of images captured by plenoptic detector CCD with phase aberrations. (a) With defocus phase aberration; (b) With atmosphere turbulence phase aberration

图 5 复原波前残差分布。(a)离焦(RMS=0.038λ);(b)低阶混合像差(RMS=0.063λ) Fig. 5 Phase errors of the wavefront distortion restoration. (a) Defocus phase aberration restoration; (b) Atmosphere turbulence phase aberration restoration. The RMS phase errors of defocus aberration and atmosphere turbulence aberration restoration are 0.038λ and 0.063λ, respectively

图 6 清晰化目标图像。(a)去除离焦;(b)去除低阶混合像差 Fig. 6 Corresponding reconstructed near-diffraction-limited images. (a) Disturbed by defocus phase aberration; (b) Disturbed by atmosphere turbulence phase aberration

从仿真结果可以看出,在离焦像差及低阶混合像差的影响下,传统相机得到的目标图像变得模糊。光场相机得到的原始图像中各微透镜的子图像强度分布也发生变化。在采用本文提出的图像清晰化方法后,分辨率板的图像清晰化程度得到有效提高,可初步验证算法的有效性。

4 实验研究

在实验研究中,利用大口径光学相位板产生离焦像差,基于图 2所示的实验系统验证本文算法的有效性。结果如图 7图 8所示。

图 7 (a) 加载的离焦波前畸变;(b)传统相机得到的模糊图像 Fig. 7 Defocus aberration generated in the experiment and its corresponding blurred image. (a) Defocus aberration; (b) Blurred image

图 8 (a) 原始光场相机图像;(b)利用光场信息解算的波前畸变 Fig. 8 Plenoptic image and its corresponding restored phase distribution. (a) Plenoptic image; (b) Restored phase distribution

利用解算得到的目标物光场相位波前畸变信息,估计成像系统的相干成像点扩散函数求解成像系统的系统成像点扩散函数,在频域对退化图像进行解卷积运算,求解得到成像目标理想成像,图像复原结果如图 9图 10所示。

图 9 (a) 清晰化目标图像;(b)复原波前残差分布(RMS值0.0187λ) Fig. 9 Reconstructed near-diffraction-limited image and phase error of wavefront distortion restortion. (a) Reconstructed near-diffraction-limited image; (b) Phase error. The RMS phase error of aberration restoration is 0.0187λ

图 10 距实验系统4 km外的发射塔清晰化成像实验结果。(a)传统相机目标图像;(b)清晰化目标图像 Fig. 10 The experimental results of computationally plenoptic imaging of the launching tower 4 kilometers away from the experimental system. (a) Blurred image captured by traditional imaging CCD; (b) Reconstructed image

实验结果表明,基于波前测量数据和传统成像数据的高清晰图像复原方法使目标图像清晰度得到了有效提升。实验过程中,受到光场相机微透镜阵列加工误差等因素影响,复原得到的离焦波前相位对称性欠佳,这一问题将在进一步的实验器件优化中得到改善。

5 结论

本文从传统自适应光学技术面临的挑战出发,简述了计算光场自适应光学成像技术的优势及发展现状,介绍了研究团队在计算光场自适应光学成像方面开展的主要工作。仿真和实验研究结果表明,通过采集目标四维光场信息,从中解算出目标光场的波前相位,可以对传统相机得到的模糊图像进行有效的清晰化处理。

计算光场自适应光学成像技术是自适应光学与计算成像学科交叉产生的新兴技术。我们在这方面的研究才刚刚起步,如何发挥光场相机结构和算法优势,使自适应光学成像技术应用于更多领域,是我们研究的不竭动力;如何兼顾大视场和成像分辨率、针对特定环境展开光场自适应光学系统结构设计是下一步要解决的主要问题。

参考文献
[1]
Clare R M, Lane R G. Phase retrieval from subdivision of the focal plane with a lenslet array[J]. Applied Optics, 2004, 43(20): 4080-4087. DOI:10.1364/AO.43.004080
[2]
Clare R M. Comparison of wavefront sensing using subdivision at the aperture and focal planes[J]. Proceedings of SPIE, 2004, 1211-1222.
[3]
Esposito S, Pinna E, Puglisi A, et al. Pyramid sensor for segmented mirror alignment[J]. Optics Letters, 2005, 30(19): 2572-2574. DOI:10.1364/OL.30.002572
[4]
Esposito S, Riccardi A. Pyramid wavefront sensor behavior in partial correction adaptive optic systems[J]. Astronomy & Astrophysics, 2001, 369(2): L9-L12.
[5]
Rodríguez J M, Femenía B, Montilla I, et al. The CAFADIS camera: a new tomographic wavefront sensor for Adaptive Optics[C]// Adaptative Optics for Extremely Large Telescopes, 2010.
[6]
Rodríguez-Ramos J M, Magdaleno Castelló E, Domínguez Conde C, et al. 2D-FFT implementation on FPGA for wavefront phase recovery from the CAFADIS camera[J]. Proceedings of SPIE, 2008, 7015: 701539. DOI:10.1117/12.789312
[7]
Rodríguez-Ramos J M, Femenía Castellá B, Pérez Nava F, et al. Wavefront and distance measurement using the CAFADIS camera[J]. Proceedings of SPIE, 2008, 7015, 70155Q.
[8]
Eduardo M, Manuel R, Manuel R R J. An Efficient Pipeline Wavefront Phase Recovery for the CAFADIS Camera for Extremely Large Telescopes[J]. Sensors, 2010, 10(1): 1. DOI:10.1109/JSEN.2009.2039287
[9]
Rodríguez-Ramos L F, Montilla I, Lüke J P, et al. Atmospherical wavefront phases using the plenoptic sensor (real data)[J]. Proceedings of the SPIE, 2012, 8384: 83840D.
[10]
Rodríguez-Ramos L F, Montilla I, Fernández-Valdivia J J, et al. Concepts, laboratory, and telescope test results of the plenoptic camera as a wavefront sensor[J]. Proceedings of SPIE, 2012, 8447, 844745.
[11]
Trujillo-Sevilla J M, Fernandez-Valdivia J J, Marichal-Hernandez J G, et al. Plenoptic deconvolution in turbulent scenarios[C]//Information Optics, IEEE, 2014: 1-3. http://ieeexplore.ieee.org/document/6933286
[12]
Wu C, Ko J, Davis C C. Imaging through turbulence using a plenoptic sensor[C]//Oceans. International Society for Optics and Photonics, 2015. http://spie.org/Publications/Proceedings/Paper/10.1117/12.2190975
[13]
Zhang R, Yang J S, Tian Y, et al. Wavefront Phase Recovery from the Plenoptic Camera[J]. Opto-Electronic Engineering, 2013, 40(2): 32-39.
张锐, 杨金生, 田雨, 等. 焦面哈特曼传感器波前相位复原[J]. 光电工程, 2013, 40(2): 32-39.
[14]
Xu J P, Liang Y H, Jiang P Z. Performance analysis of light field wave-front sensor[J]. Acta Optica Sinica, 2014, 34(B12): 201001.
许洁平, 梁永辉, 蒋鹏志. 光场相机波前传感器性能分析[J]. 光学学报, 2014, 34(B12): 201001.