博览：2021Photonics Research基于混合编码孔径的千万像素快照压缩成像

正文

博览：2021Photonics Research基于混合编码孔径的千万像素快照压缩成像

技术背景：

高分辨率图像易得，但是高分辨高速的视频采集难以实现。机器视觉在机器人、无人机、自动驾驶汽车和手机应用中的最新进展已将高分辨率图像带入我们的日常生活。高速高分辨率视频虽然在物理现象观察、生物荧光成像、体育直播等各个领域有着广泛的应用，但现有相机工作在高分辨率模式下时，由于受到帧率有限、内存、带宽和功率的限制，往往通量低。

关于高通量成像，快照压缩成像（snapshot compressive imaging,SCI)被提出并成为广泛使用的框架。千万像素(10-mega pixel )镜头和传感器技术已经成熟，但高速和高分辨率成像的主要挑战在于当前成像系统的处理能力不足。高速高分辨率记录采集的海量数据给系统的存储和传输模块带来巨大压力，无法进行长时间的采集。近几十年来，计算摄影的兴起为研究人员提供了新思路，并在超分辨率、去模糊、深度估计等许多与成像相关的领域取得了突破。快照压缩成像旨在实现从二维探测器捕获的单个编码快照中重建视频和高光谱图像等高维数据。视频SCI系统通常由物镜、随时间变化的掩模、单色或彩色传感器和一些额外的中继镜头组成。在每次曝光期间，数十个时间帧由相应的随时间变化的掩膜调制，然后集成到单个快照中。SCI 系统中的高维数据重建可以表述为线性不适定模型(ill-posed linear model)。经典 SCI 系统通常依赖于光刻技术产生的平移掩模(shifting mask)或空间光调制器投影的动态图案作为随时间变化的掩模。平移掩模方案可以提供高空间分辨率调制，但它依赖于平移台的机械运动，存在不准确或不稳定、难以紧凑集成的问题。对于空间光调制器生成的掩膜，它们可以通过微机械控制器快速切换，但其分辨率通常仅限于百万像素级别，难以放大。

当前不足：

现有的视频SCI系统，当空间分辨率达到千万像素时，在硬件实现和算法开发上都难以实现(很少有SCI系统可以在现实场景中实现1000 × 1000像素分辨率的成像。通常分辨率大多为 256×256 或 512×512)。

文章创新点：

基于此，清华大学戴琼海组的Zhihong Zhang(第一作者)等人提出了一种基于混合编码孔径的千万像素快照压缩成像方案。实现了千万像素的SCI系统，用于采集高速场景，每秒通量高达4.6G体素(voxels)。

（1）通过联合使用动态 LCoS 和高分辨率光刻掩模，提出一种新颖的混合编码孔径快照压缩成像 (HCA-SCI) 方案，该方案可以提供多路复用平移模式(shifting pattern)来编码像平面，而无需物理移动掩模。

（2）受大规模SCI中的即插即用 (PnP) 算法的启发，提出了一种重建算法，该算法涉及全变分 (TV) 降噪器和基于学习的FastDVDNet降噪器的级联和系列降噪过程。仿真结果表明，该算法能够在合理的时间内提供较好的重建结果。

（3）基于HCA-SCI方案和开发的重建算法,构建了一个千万像素的大规模 SCI 系统。实现了6、10、20、30的压缩率，使得帧率为15fps的传统相机可以实现高达 450 帧/秒的重建帧率，验证了所提出方案在实际场景中的有效性。

原理解析：

（1）整个硬件系统集成在一块面包板上。包含了主镜头(primary lens)、偏振分光棱镜(polarizing beamsplitter,PBS)、偏振片、振幅调制LCoS(2048*1536像素，4.5k刷新率)、三个中继镜头、光刻掩膜(lithography mask,5120*5120像素，4.5um*4.5um像元尺寸)、cmos相机(5120*5120像素，4.5um*4.5um像元尺寸)以及固定支架等。实物图见图1a，光路图见图1b。入射光首先被主镜头采集聚焦到第一个虚拟像平面上(图1b中的Image plane)。然后由两个中继镜头组成4f系统，将第一个像经编码孔径和光刻掩膜后传递到第二个虚拟像平面(图1b中mask后相隔为d的虚线处)。孔径编码模组置于4f系统中央，包含了PBS、两个偏振片和一个振幅调制LCoS。最后，第二个虚拟像平面处的像由中继镜头传递到CMOS相机上被采集。

（2）编码掩膜生成。如图2所示，LCoS的有效区域(图2中的aperture)被分成几个子块(即子孔径)，每一个子孔径对应着相应的光束传播方向。光刻掩膜置于像平面之前，当不同的子孔径打开的时候，相应子孔径的光束将投影到像平面的不同区域，从而生成相应的平移编码掩膜(shifting encoding mask)。为了提高光通量，多个子孔径同时打开生成一个多路复用的掩膜被相机记录。在一次相机曝光时间内，依照时间顺序，积分记录多个不同的多路复用掩膜，即将时间上的场景通过不同的编码掩膜记录在同一个相机帧上，实现时间上的压缩。同时大大缩小了需要存储的数据量。(数学模型见附录)

（3）重建算法。在PnP-GAP的基础上，增加级联降噪器，用于提升性能。算法流程见Algorithm 1。（具体数学表述见附录）

重建效果图：

参考文献：Zhang Z, Deng  chao, Liu Y, Yuan X, Suo J, Dai Q. 10-mega pixel snapshot compressive imaging with a hybrid coded aperture. Photonics Research [Internet]. The Optical Society; 2021 Aug 19

DOI：http://dx.doi.org/10.1364/prj.435256

附录：

（1）掩膜生成数学模型

令O表示中心子孔径打开时中心视角的掩膜，每一个由多个子孔径多路复用生成的掩膜C可以表示成：

Si表示掩膜平移算子，对应第i个子孔径；mi取0或1，表示第i个子孔径的开关状态；N是子孔径的数量。考虑一个大小为nx*ny*B的视频X，B代表帧率。视频X被B个编码的掩膜C调制，并在相机上积分采集，生成一个快照编码的测量γ：

⊙代表Hadamard product(即对应元素相乘)。G是nx*ny大小的测量噪声， 经过简单推导，（2）可以转化为：

y是向量化的γ，g是向量化的G，元素数都是nx*ny。

（2）系统校正

临时移除光刻掩膜，用Lambertian白板作为物，I是LCoS全亮时采集的图像，B是LCoS全暗时采集的背景，C是加入光刻掩膜后记录的每一张动态编码掩膜图案。C‘是校正后的编码掩膜。

（3）重建算法模型

Pnp-GAP:SCI 逆问题可以如下描述

求解x

求解v

再基于算法1应用级联降噪器降噪。

关于昊量光电：

上海昊量光电设备有限公司是国内知名光电产品专业代理商，代理品牌均处于相关领域的发展前沿；产品包括各类激光器、光电调制器、光学测量设备、精密光学元件等，涉及应用领域涵盖了材料加工、光通讯、生物医疗、科学研究、国防及更细分的前沿市场如量子光学、生物显微、物联传感、精密加工、先进激光制造等；可为客户提供完整的设备安装，培训，硬件开发，软件开发，系统集成等优质服务。

您可以通过昊量光电的官方网站www.auniontech.com了解更多的产品信息，或直接来电咨询4006-888-532。

本文章经光学前沿授权转载,商业转载请联系获得授权。