基于光谱可调LED光源颜色精度导向数据简化多光谱成像

正文

基于光谱可调LED光源颜色精度导向数据简化多光谱成像

介绍

光谱成像是对文化遗产材料进行科学检查、记录和可视化的有力工具。单一可见光谱成像数据集中捕获的丰富信息可用于估计材料诊断反射曲线，创建高精度的颜色再现，并模拟在观察和照明条件变化时的外观变化[1]，[2]。光谱成像的这些特点使它比传统的RGB成像更全面和通用，并使其在文化遗产工作中越来越受欢迎。基于LED的光谱成像尤其令人感兴趣，尤其是随着LED变得越来越普遍，它们在灵活性、效率和成本效益方面持续改进，超过基于滤波器的方法[3]、[4]。

尽管光谱成像具有公认的优点，但它仍主要被用作一次性技术研究的科学工具，使用复杂的仪器进行，需要大量的计算数据处理[5]-[7]。因此，它还没有在更常规的文化遗产数字化工作流程中找到一席之地。为了使光谱成像从实验室有效地转换到工作室，必须权衡复杂性、效率、质量和成本。

本文的研究探索了基于需求的方法实现光谱成像作为常规成像技术更实际的D1步。这涉及到在Z终渲染的图像中确定高颜色精度所需的图像波段的数量。在保持特定水平的颜色再现质量的同时减少波段数量是降低捕获和处理复杂性同时提高工作流效率的一种简单方法。考虑到预算和空间补偿，在本次研究中使用的系统包括一个商业摄像机和LED光源，这些光源已经在工作室设备体系中找到或很容易添加到工作室设备体系中。

在本研究的背景下，“多光谱”被用来描述捕获的光谱图像波段数。从使用LED光源全部容量10，逐步减少波段的数量，Z终下降到6的这个范围。此外，所有的图像波段都在可见范围内，峰值波长从385 nm到725 nm。由于本研究的重点是显色性，在其他光谱成像方法中通常包括的紫外和近红外波段的成像波段在这里不考虑。

装置

更实用的光谱成像策略需要使用熟悉的和负担得起的工具。D1种是商用RGB相机。这里展示的图像是使用改良的索尼7R III数码相机进行的。对相机进行了改进，去掉了其内部的红外滤光片，这扩展了相机红色通道的灵敏度(图1)。也提高了在较长可见波长下的光谱估计精度。用于成像的光是SPECTRA TUNE LAB(LEDMotive)光谱可调LED光源[8]。每个光源包含10个独立寻址的LED颜色通道。LED的光谱功率分布如图2所示，各LED的峰值波长如表1所示。这些源是定制的，包含10个通道，可以为艺术家的材料提供的颜色复制。特定的LEDZ初是根据模拟使用LED光谱功率分布和彩色目标反射光谱与单色相机[4]。这里展示的工作概括了它们的用途，通过将它们与颜色传感器配对而不是单色传感器，并通过描述使用少于10个LED全套实现的颜色再现。

这款光谱可调LED光源有一个轻量级的外壳以及一个小的体积(16 x 12 x 12厘米)。每一台光源都包含一个内部积分球并配有外置反射器，确保照明均匀。成像采用典型的相机/光源0˚/45˚studio设置(图3)。

 

图1所示，改进后的RGB相机的光谱灵敏度

 

图2，在定制的SPECTRA TUNE LAB LED光源中，10个LED的归一化光谱功率分布

 

表1，每个LED的峰值波长

 

图3，工作室成像装置

方法

成像

一个场景包含几个彩色目标，然后是一个平场，使用每个LED轮流成像进行照明。这就产生了10张目标和平场的3通道RGB图像。同样的场景和平场然后由LED的策略组合照明下成像，进一步解释如下。同时也捕捉到了相同曝光时间的暗色图像。灯光被调到近似D50照明，并捕获一个单一的RGB图像，使传统RGB成像和各种多光谱组合之间的比较进行评估。

波段约减

RGB相机在三个波段捕捉相对广泛的光谱灵敏度。光谱可调LED光源可以提供多达10个不同的通道照明。每个LED依次捕捉一个RGB图像，收集10张3波段(RGB)图像，共30个波段。这对于实际处理和精确的色彩渲染来说是必要的或有用的。由于窄带输出的大多数LED，在大多数的RGB图像中，只有一个通道包含了大部分的信号。例如，当使用450nm蓝光LED时，只有蓝色的相机通道在这个波长有很高的灵敏度，因此比绿色或红色通道包含更多的信号。灵敏度高的相机通道，LED输出峰值处将包含Z多的信号。按照这个逻辑，通过从每个RGB图像中选择包含Z多信号的通道，将30个波段的集合减少到10个。这个10波段的集合包含了Z初的多光谱波段集。系统的光谱灵敏度结果被绘制在图4上。

从10个波段集合系统的一个波段一个波段的去除，创建9个波段，然后是去除一对波段，创建8个波段，Z终创建7和6个波段。对每个组合的显色性进行评估，以确定每个波段总数的哪个组合导致的颜色精度损失小。以该方法确定的8波段集的系统光谱灵敏度为例，如图5所示。比较了8波段和10波段的系统灵敏度，得出了方案8波段系统缺少505和对应的波段620 nm LED (LED 4和LED 8)。

 

图4，10波段多光谱系统的光谱灵敏度

 

图5，通过波段去除获得8波段集合的系统灵敏度

在第二种波段缩减策略中，通过系统地配对和分组来捕获光照下的图像，将10个波段集缩减为同时使用9、8、7和6个LED灯的波段集。再次评估每个组合的显色性，以确定每个波段总数的哪个组合导致颜色精度损失小。例如，使用这种方法获得的8波段集是将600、620和660 nm LED (LED 7、8和9)在单个捕获中组合而成的。红色相机的通道在这些波长上收集的信号多，因此，这也是8个波段中包含的信号。图6绘制了这个8波段集的系统灵敏度结果。请注意使用两种不同的波段缩减方法获得的8波段集合的灵敏度分布的差异。

 

图6，通过LED组合得到的8波段集合的系统灵敏度

显色性评价

根据图7所示的目标: Next Generation Target V2(Avian Rochester, LLC)和Artist Paint Target (Image Science Associates,LLC)的交叉分析来评估颜色渲染。总之，这些目标为测试提供了广泛颜色分布，以及材料和光谱相关的油漆样品。在建立颜色配置文件之前，所有图像都经过平场和暗电流校正。对于给定的图像集，根据捕获的每个目标的相机信号与分光光度测量得到的参考三刺激值之间的关系，估计出颜色变换矩阵。为了计算从记录信号到渲染颜色的直接转换，在光谱校准中选择了比色校准。本实验未进行光谱校准，即先估计目标反射光谱，然后计算其显色性。

利用每一组中所有可用波段构建颜色变换矩阵。因此，矩阵的大小从10波段多光谱集的3 × 10到6波段多光谱集的3 × 6，常规的3 ×3RGB图像，其中每个矩阵的第2维对应于总波段数。根据直接比色校准，对这个矩阵迭代优化，得到目标中所有补丁的小平均值E00。优化后，每个目标得到的矩阵被用于交叉剖面波段集，预测相反的L*a*b*值，核验目标。具有低平均值和90%验证目标E00值的波段设置对每一种减少策略和每一种总波段数目都确定为满足这些要求的波段组，报告如下。

 

图7，Next Generation Target V2 (NGT)和Artist Paint Target (APT)用于色彩渲染评估做交叉分析

结果

表2总结了带减实验的结果。波段集按总频带数分类在顶部行。下一行标识从集合中删除的波段，或者在捕获过程中合并的LED，以获得D1行中所指示的总数。

 

表2，每个指定图像集的验证目标平均值和90%E00值

报告的组合是那些给出低的平均值和每个减少的波段集大小(9、8、7和6)和每个波段减少方法的90%E00值(去除波段与组合LED)。还报告了每个组合的大E00值。结果表明，无论采用何种波段缩减方法，减少波段数量对平均颜色精度的影响都不大。这可以通过从左到右读取表中的E00的平均值发现。随着波段数量的减少，两个目标的均值都没有显著增加。事实上，在任何一个6波段的情况下，NGT的均值从1.1增加到仅1.2，几乎保持不变，通过波段移除得到7波段和6波段的情况下，APT从1.1增加到1.3。90%分位值和大E00值确实随着波段数量的减少而增加，这表明有些离群斑块在光谱覆盖越少的情况下，越难以精确地重现，尽管这种增加并非单调的。请注意，平均值和90%E00值在两个目标之间具有可比性，这表明在交叉分析中具有良好的目标独立性。

所有测试用例的平均值和90%E00值都低于数字图像可感知色差的极限，这表明90%的补丁呈现的色差误差小于可感知色差[10]。在大多数情况下，大值E00仅代表一个没有被很好地描述的补丁。当使用从完整的10到6个波段集来创建分析，均值和90%E00值没有明显的显著增加。所有测试用例都明显优于传统的RGB成像，后者的度量在表的Z后一列中报告。比较6波段集和RGB的结果表明，将波段数加到6，平均值和90%E00值降低了2倍以上。对于这两个目标，从RGB成像中获得的值相对于其它任何多光谱波段集合中获得的值都较大，表明使用多光谱成像比在RGB中获得更高的精度。图8和图9显示了10波段、6波段组合和RGB图像中APT的显色对比图。

 

图8。颜色渲染可视化测量的颜色(每个正方形的左半部)，从RGB图像渲染的颜色(每个正方形的右上四分之一)，以及从10波段图像渲染的颜色(每个正方形的右下四分之一)

 

图9。颜色渲染可视化测量的颜色(每个正方形的左半部)，从RGB图像渲染的颜色(每个正方形的右上四分之一)，以及从6波段组合图像渲染的颜色(每个正方形的右下四分之一)

观察根据这组特定LED提供的光谱覆盖范围、相机的灵敏度和获得的E00值之间的关系。当先创建9个波段，再创建8个波段，组合是把琥珀色和红色LED去掉或结合起来，即峰值输出在600、620和660 nm的LED(LED 7、8、9)。这表明该区域被相邻LED覆盖，可能是在545 nm (LED6)的宽带LED峰值但能在600-700 nm范围内输出，足以维持颜色精度。首先修改了琥珀红色区域的光谱覆盖，当创建进一步减少的7和6波段集时，去除或结合绿色和蓝色峰值的LED给出了好的结果。例如，6波段集是通过移除通道475、505、600和660 nm (LED 3、4、7和9)来创建的。通过观察相邻LED之间的重叠，特别是475、505和600 nm LED之间的重叠，可以合理地解释这一点。注意，通过波段移除创建的组都没有去掉395、545或735 nm LED (LED 1、6和10)。LED两端的设置是必要的锚定和提供必要的覆盖到可见范围的边缘。位于装置中间的宽波带545 nm LED在去除相邻波段时提供覆盖，此外，还能模仿人类视觉系统的发光效率函数(V())峰值，这对颜色精度[9]很重要。

结论

本研究探讨了基于LED的多光谱成像的显色精度的局限性，研究了在颜色剖面构建过程中减少波段数量的影响，我们确定，虽然用于实验成像的光谱可调LED光源包含10个通道，只要使用6个就可以在渲染图像中获得几乎相等的平均颜色精度。这表明一种实用的基于LED的多光谱成像策略可以通过使用更简化的灯和更少的LED来实现，从而降低制造成本。在保持平均颜色精度的同时减少波段数量是可能的，这为构建文化遗产材料颜色精确再现的简化多光谱成像策略提供了一个简化框架。这是因为利用RGB相机通道固有的3通道灵敏度的捕获策略对于6个或更少波段的捕获比步进光谱范围的捕获序列更有效，就像在这项研究中使用的那样。未来的工作将解决利用特定的LED组合在所有三个摄像机通道中大限度地捕获信息，使仅在两个捕获波段[11]，[12]中捕获6个有用波段。 此外，结合光谱和比色校准过程将被研究，这样系统的轮廓是均方根光谱反射率误差，估计的光谱用于计算颜色呈现。

  

这项调查的结果将用于指导实际系统和策略的开发，以降低常规文化遗产成像的多光谱成像的复杂性。

参考文献

[1] A. Cosentino, “identification of pigments by multISPectral imaging; a flowchart method,” Heritage, vol. 2, no. 8, 2014.

[2] B. Hill, “High Quality color image Reproduction : The Multispectral Solution,” in 9th International Symposium on Multispectral Colour Science, 2007, pp. 1–7.

[3] R. Shrestha and J. H. Hardeberg, “An experimental study of fast multispectral imaging using LED illumination and an RGB camera,” in Final Program and Proceedings - IS&T/SID Color Imaging Conference, 2015, pp. 36–40.

[4] R. Shrestha and J. Y. Hardeberg, “Assessment of Two Fast Multispectral Systems for Imaging of a Cultural Heritage Artifact – A Russian Icon,” in Proceedings - 14th International Conference on Signal Image Technology and Internet Based Systems, SITIS 2018, 2018, pp. 645–650.

[5] J. K. Delaney, K. A. Dooley, A. van Loon, and A. Vandivere, “Mapping the pigment distribution of Vermeer’s Girl with a Pearl Earring,” Herit. Sci., vol. 8, no. 1, pp. 1–16, 2020.

[6] J. Striova, A. D. Fovo, and R. Fontana, “Reflectance imaging spectroscopy in heritage science,” Riv. del Nuovo Cim., vol. 43, no. 10, pp. 515–566, 2020.

[7] C. Cucci, J. K. Delaney, and M. Picollo, “Reflectance Hyperspectral Imaging for Investigation of Works of Art: Old Master Paintings and Illuminated Manuscripts,” Acc. Chem. Res., vol. 49, no. 10, pp. 2070– 2079, 2016.

[8] LEDMotive, “SPECTRA TUNE LAB: The light engine for scientists.” [Online]. Available: https://LEDmotive.com/stlab/. [Accessed: 23-Feb-2021].

[9] J. N. Paray, “LED Selection for Spectral (Multispectral) Imaging,” Rochester Institute of Technology, 2020.

[10] M. Stokes, M. D. Fairchild, and R. S. Berns, “Precision Requirements for Digital Color Reproduction,” ACM Trans. Graph., vol. 11, no. 4, pp. 406–422, 1992.

[11] R. S. Berns, L. A. Taplin, M. Nezamabadi, M. Mohammadi, and Y. Zhao, “Spectral Imaging using commercial colour-filter array digital camera,” in Proceedings of The Fourteenth Triennial ICOM-CC Meeting, 2005, pp. 743–750.

[12] R. S. Berns, “Color-Accurate Image Archives Using Spectral Imaging,” in Scientific Examination of Art: Modern Techniques in Conservation and Analysis, Washington, DC, 2005, pp. 105–119.

关于生产商：

LEDmotive基于其独特的光谱控制技术，开发出一系列应用于多光谱成像，艺术照明，颜色科学，机器视觉照明等领域的多通道

光谱可编程LED光源产品，并将持续推动光谱控制的智能解决方案向尊重人类，对环境友好，并与未来的智慧城市自然融合的方向前行。

 

上海昊量光电作为LEDmotive在中国大陆地区代理商，为您提供专业的选型以及技术服务。

您可以通过我们的官方网站了解更多的产品信息，或直接来电咨询4006-888-532。