高光谱光场层析成像:一次拍照获得五维信息
技术背景
一个光场可以用七维全光函数来表征,。沿所有维度记录光线可揭示输入场景的体积、光谱和时间信息。然而,传统的图像传感器仅测量二维全光函数,大部分信息都未记录,且测量效率低下。
测量高维全光函数面临两个主要难题:降维和测量效率。一方面,由于大多数光子探测器是二维(图像传感器)、一维(线传感器)或零维(单像素传感器)的,用低维传感器采集高维全光函数通常需要沿另一个维度进行大量扫描。例如,为了获取全光数据立方体
,高光谱成像仪通常在空间域或光谱域中进行扫描,从而导致采集时间延长。相比之下,像映射光谱仪(image mapping spectrometer, IMS)、编码孔径快照光谱成像(coded aperture snapshot spectral imaging)和计算机层析成像光谱(computed tomography imaging spectrometry)等快照技术将三维全光数据立方体以光学手段重新映射到二维探测器阵列,从而实现数据立方体体素的并行测量并让光通量最大化。为了表征这种能力,作者将降维因子定义为,其中NP和ND分别是要测量的全光函数和部署的检测器的维度。因为低维检测器通常比高维检测器成像速度更快且成本更低,所以越大,帧率越高,系统也就越经济。另一方面,在常规Nyquist采样条件下,测量高维全光函数通常需要探测器阵列具有大量元素,这对数据传输和存储提出了挑战。打破这一限制的一种有效方法是压缩感知,它允许使用更少的测量来恢复场景,前提是对象在特定域中可以被认为是稀疏的。为了量化采样效率,将压缩比定义为,其中SN和SC分别是由 Nyquist-Shannon定理和压缩感知确定的采样数。r越高,测量效率越高。
尽管在降低全光函数维数方面的技术取得了显著进步,但在保持高图像质量的同时构建具有大压缩比的成像器并非易事。例如,在高光谱光场成像中,为了获取 五维数据立方体,目前大多数成像仪都建立在Nyquist采样上,并且压缩比r=1。对于给定的探测器阵列,这会导致沿空间、光谱和角轴的采样之间进行权衡。例如,在本文作者2020年基于IMS的高光谱光场相机中,全光数据立方体体素的总数限制为66×66×5×5×40,限制了其在高分辨成像中的应用。尽管可以通过使用多摄像头配置来减轻这种权衡,但它会增加系统的外形尺寸和复杂性。还有一种利用压缩感知从频谱域中的欠采样测量中恢复大小为1000×1000×3×3×31的五维数据立方体,但压缩率仅为3.4(2017年 Y.Xue提出)。由于具有任意透射光谱曲线的滤光片制造的复杂性限制了选择低相干感知矩阵的自由度,因此扩大压缩比具有挑战性。
技术要点:
基于此,美国加州大学洛杉矶分校的Qi Cui(一作)和Liang Gao(通讯)等人提出一种快照高光谱光场层析成像技术(Hyperspectral light field tomography, Hyper-LIFT),可以记录五维(x,y,空间坐标;角度坐标;,波长)全光函数。使用二维探测器阵列在单个快照中捕获 270×270×4×4×360数据立方体。Hyper-LIFT通过同时记录沿稀疏间隔角度的输入场景的正面平行光束投影来高效获取光场数据,实现16.8 的压缩比。此外,Hyper-LIFT通过进一步分散光谱域中的正面光束投影来采集额外的光谱信息。通过将角度信息转换为深度,Hyper-LIFT还具有高光谱体积成像能力。
(1)图像形成和光学系统
将光场采集看作为一个稀疏视图计算层析问题。利用道威棱镜阵列和柱透镜阵列组合,采集到物体的角度信息,利用衍射光栅获得物体的光谱信息。如图1,以一个视角为例,道威棱镜将输入视角图像旋转 角度(是道威棱镜自身的旋转角),旋转后的视角(perspective)图像由柱透镜再次成像,所得图像本质上是旋转物体图像与柱透镜的线扩散函数的卷积。在柱透镜后焦平面上放置一个狭缝,沿水平轴对图像进行采样,所得一维信号是物体在 角度的"投影",这类似于传统X射线CT中的投影测量(柱透镜和狭缝的组合,通过丢弃大部分光线将二维图像压缩成一维)。图像形成可以描述为:
其中g是矢量化的二维视角图像。是旋转算子,表示道威棱镜在角度处的函数的。T表示在一维狭缝处的信号积分,而是一维狭缝采样的信号。通过衍射光栅后,一维投影沿垂直轴分散。最终图像由二维探测器阵列测量,同时获得投影的光谱分布。
对于阵列道威棱镜,图像形成为:
其中A是前向算子,表示不同角度的平行光束投影,而b是波长处的正弦图。因为每个道威棱镜从不同的角度观察相同的场景,所以光场在投影数据中自然采样,角分辨率等于道威棱镜的数量。
光学系统由物镜(f=50mm,f/#=1.4),道威棱镜阵列(16个,每一个高度为2mm,长8.4mm),柱透镜阵列(5X1,高度2mm米,长12mm,焦距20mm),狭缝(宽10um),4F系统(焦距100mm,f/#=2),衍射光栅(透射式,300 groves/mm),相机(Lumenera, Lt16059H, 7.4um)组成,光路图见图2。
(2)图像重建
单个波长场景的重建可以通过迭代求解优化问题得到:
其中是对图像进行稀疏化的变换函数,是范数,而 是对正则化项进行加权的超参数。
实验结果:
(1)平面物体的高光谱成像
平面物体在横向上光谱连续变化,照明光源如(a),(b)为采集到的原始图像,(c)\(d)为重建图像。
(2) 三维物体高光谱体积成像
(a)为ground-truth, (b)为三维重建图。
(3) 分辨率测试
对10um针孔成像,测得横向分辨率22um,轴向分辨率1mm。
参考文献:Qi Cui, Jongchan Park, Yayao Ma, and Liang Gao, "Snapshot hyperspectral light field tomography," Optica 8, 1552-1558 (2021)
DOI:https://doi.org/10.1364/OPTICA.440074
关于昊量光电:
上海昊量光电设备有限公司是国内知名光电产品专业代理商,代理品牌均处于相关领域的发展前沿;产品包括各类激光器、光电调制器、光学测量设备、精密光学元件等,涉及应用领域涵盖了材料加工、光通讯、生物医疗、科学研究、国防及更细分的前沿市场如量子光学、生物显微、物联传感、精密加工、先进激光制造等;可为客户提供完整的设备安装,培训,硬件开发,软件开发,系统集成等优质服务。
您可以通过昊量光电的官方网站www.auniontech.com了解更多的产品信息,或直接来电咨询4006-888-532。
本文章经光学前沿授权转载,商业转载请联系获得授权。