神经元细胞兴奋的时候，会产生一个电冲动，使得钙离子流入该细胞，促使该细胞分泌神经递质，下一级神经元就接收到上一级神经元的信号。 钙成像借助于钙离子荧光指示剂，将神经元中钙离子浓度的变化反映在荧光强度的变化上，从而可以推测神经元的活动（当前钙成像常用的手段是双光子显微成像手段）。准确神经元提取和尖峰推断（spike inference）是进行进一步分析的前提，这需要高信噪比钙成像。然而，由于体内钙瞬变(calcium transients)的低峰值积累和快速动态变化导致荧光光子的缺乏，使得钙成像容易受到噪声污染（即光子散粒噪声和电子噪声）的影响。
获得高信噪比钙成像最直接的方法是提高激发光强度， 但其导致的光漂白、光毒性和组织加热对样品健康和光敏生物过程不利。更有效的策略包括使用更亮的钙指示剂和更先进的光电检测技术 ，但在光子受限的条件下，它们的性能仍然不足（例如树突成像和深部组织成像）。除了这些物理或生物方法之外，由数据驱动的深度学习方法可以降低光子数要求，并在荧光成像中展现出了良好的性能。
2021 Nature Methods:使用深度自监督去噪加强钙成像中的神经元提取和尖峰推断
技术背景：
神经元细胞兴奋的时候，会产生一个电冲动，使得钙离子流入该细胞，促使该细胞分泌神经递质，下一级神经元就接收到上一级神经元的信号。 钙成像借助于钙离子荧光指示剂，将神经元中钙离子浓度的变化反映在荧光强度的变化上，从而可以推测神经元的活动（当前钙成像常用的手段是双光子显微成像手段）。准确神经元提取和尖峰推断（spike inference）是进行进一步分析的前提，这需要高信噪比钙成像。然而，由于体内钙瞬变(calcium transients)的低峰值积累和快速动态变化导致荧光光子的缺乏，使得钙成像容易受到噪声污染（即光子散粒噪声和电子噪声）的影响。
获得高信噪比钙成像最直接的方法是提高激发光强度， 但其导致的光漂白、光毒性和组织加热对样品健康和光敏生物过程不利。更有效的策略包括使用更亮的钙指示剂和更先进的光电检测技术 ，但在光子受限的条件下，它们的性能仍然不足（例如树突成像和深部组织成像）。除了这些物理或生物方法之外，由数据驱动的深度学习方法可以降低光子数要求，并在荧光成像中展现出了良好的性能。
当前不足：
然而，钙瞬变构成的高动态变化、非重复的活动，以及放电模式不能被第二次捕捉等特性，使得以前通过延长积分时间或平均多个噪声帧来获得训练用ground truth的方案不再可行。因此，传统的监督学习方法不再有效。
文章创新点：
基于此，清华大学的Xinyang Li(第一作者)和Qionghai Dai(通讯作者)提出了一种用于钙成像数据去噪的自监督学习方法，命名为DeepCAD，可实现十倍以上的信噪比提高，而无需任何高信噪比ground truth进行训练。
（1）直接使用噪声图像重建高信噪比的图像。
（2）模型输入输出均为三维（(x,y,t)格式)数据，可以充分利用延时堆栈中的时空信息。
原理解析：
所提自监督策略的底层机制是，使用噪声目标图像进行训练，生成噪声梯度。因为整个训练集的平均梯度近似等于真实梯度，所以训练的结果不会受无高信噪比ground truth的影响。
(1)基本流程，原始低信噪比堆栈(stack)中的连续帧被分成两个子堆栈，分别作为输入和目标来训练深度神经网络，网络选用3D U-Net架构。 训练后，可以建立去噪模型并记忆网络参数。 见图1a，比例尺，50 μm。模型建立后，将三维数据输入网络，获得高信噪比的三维数据输出。见图1b。图1c-g为网络性能验证实验。
（2）所用3D U-net网络架构。如图2所示，它由一个 3D 编码器模块、一个 3D 解码器模块和三个从编码器模块到解码器模块的跳跃连接组成。在编码器模块中，有三个编码器块。每个块由两个 3 × 3 × 3 卷积层组成，后跟一个LeakyReLU、一个组归一化层（group nomalization layer）、一个在三个维度上步长都为 2的2 × 2 × 2 最大池化层。在解码器模块中，有三个解码器块，每个块包含两个 3 × 3 × 3 卷积层，后跟一个 LeakyReLU、一个组归一化层和一个 3D 最近邻插值层。跳跃连接可以将特征图从编码器模块传递到解码器模块，以集成低级特征和高级特征。编码器模块和解码器模块的特征图以不同的颜色表示。所有操作都是 3D 的，特征图都是 4D 张量。
（3）数据处理流程。网络训练如图3a，成像系统捕获的原始数据以 3D (x, y, t) 形式组织并保存为时间堆栈。原始的噪声堆栈被划分为数千个 3D 子堆栈（64×64×600 像素），每个维度大约有 25% 的重叠。对于横向尺寸较小或记录周期较短的时间堆栈，可以从原始堆栈中随机裁剪子堆栈以扩充训练集。然后，提取每个子堆栈的交错帧（interlaced frames）以形成两个 3D 图块（64 × 64 × 300 像素）。其中一个作为输入，另一个作为网络训练的目标，用于训练网络。预训练模型的部署如图3b，成像系统获得的新数据被划分为 3D 子堆栈（64 × 64 × 300 像素），每个维度有 25% 的重叠。然后，将预训练的模型加载到内存中，并将子堆栈直接输入到模型中。增强的子堆栈从网络中依次输出，并从输出子堆栈中减去重叠区域（横向和时间重叠）。通过拼接所有子堆栈可以获得最终的增强堆栈。
（4）实验采集系统见图4，用于同时采集高信噪比和低信噪比钙成像数据。Ti:sapp：波长可调的钛蓝宝石激光器；HWP：半波片；EOM：电光调制器；M1：反射镜；L1、L2、L3、L4、L5、L6、L7、L8、L9：透镜；scanner：振镜共振扫描仪；DM：长通二向色镜，用于将荧光信号（绿色路径）与激发光（红色路径）分开；BS：1:9（反射率：透射率）非偏振分束镜；PMT1、PMT2：光电倍增管。荧光信号分为低信噪比 (~10%) 分量和高信噪比 (~90%) 分量，并由两个 PMT 同步检测。
视频1：DeepCAD 在单神经元记录上的去噪性能。视频上部为神经元的同步电生理记录，反映了真实的神经活动。检测到的尖峰用黑点标记。原始噪声数据和 DeepCAD 增强数据分别显示在视频中部和下部。
视频2：从左到右分别是大型神经元群（第 2/3 层，GCaMP6f）的自发钙瞬变的低信噪比记录、DeepCAD 增强对应和相应的高信噪比记录。底部显示了局部区域的放大视图。
视频3：相同的预训练模型用于跨系统的数据去噪仍然有效。视频中数据来源于三个不同系统设置的双光子激光扫描显微镜。
参考文献：Li, X., Zhang, G., Wu, J. et al. Reinforcing neuron extraction and spike inference in calcium imaging using deep self-supervised denoising. Nat Methods (2021).
DOI：https://doi.org/10.1038/s41592-021-01225-0
文章创意来源文献：Lehtinen, J. et al. Noise2Noise: learning image restoration without clean data. in Proc. 35th International Conference on Machine Learning (eds Dy, J. & Krause, A.) 2965–2974 (PMLR, 2018).
关于昊量光电：
上海昊量光电设备有限公司是国内知名光电产品专业代理商，代理品牌均处于相关领域的发展前沿；产品包括各类激光器、光电调制器、光学测量设备、精密光学元件等，涉及应用领域涵盖了材料加工、光通讯、生物医疗、科学研究、国防及更细分的前沿市场如量子光学、生物显微、物联传感、精密加工、先进激光制造等；可为客户提供完整的设备安装，培训，硬件开发，软件开发，系统集成等优质服务。
您可以通过昊量光电的官方网站www.auniontech.com了解更多的产品信息，或直接来电咨询4006-888-532。
本文章经光学前沿授权转载,商业转载请联系获得授权。
展示全部 
展示全部
