基于单色条纹投影的高动态范围物体表面形貌三维测量
0 引 言
条纹投影轮廓术(Fringe Projection Profilometry, FPP)因测量速度快、精度高、鲁棒性强等优点,广泛应用于工业制造、文物保护、生物识别等领域[1-3]。传统FPP需要被测物体表面有均匀的反射率才能获得高精度的形貌数据。然而许多物体表面的反射率不均匀,在某些区域较小,另外一些区域很大,即具有高动态范围(High Dynamic Range, HDR)的表面。传统相机的有限动态范围难以从光学反射率变化很大的物体获得正确的条纹图像相位分布。忽略物体表面大范围反射率的影响会导致明亮区域的像素饱和,从而导致测量误差。高动态范围表面物体的测量是光学领域面临的重大挑战之一[4]。为解决这个问题,研究者们提出了多次曝光、调整投影条纹光强、改进曝光时间和投影条纹强度的混合以及其他方法[5-14]。多次曝光方法是利用不同曝光时间的一组条纹图像,选择未饱和的图像得到高质量的条纹图。Zhang和Yau[6]提出了一种HDR扫描技术,拍摄不同曝光时间的条纹图序列,选取原始条纹图序列中未饱和且具有最高灰度级的相应像素,得到高质量的条纹图。高反射率的区域从短曝光图像中提取条纹图像,而从高曝光时间图像中提取低反射率区域的图像。该方法有效地提高了测量的动态范围。由于曝光时间的效果不能量化,在测量复杂HDR物体时需要不同的曝光时间,需要大量的图像,存在着耗时、图像数据存在冗余的缺点。Ekstrand等[7]提出了一种根据被测物体表面反射率自动预测所需曝光时间的方法。通过在过度曝光的最亮区域和在阴影中最暗的区域之间进行权衡预测曝光时间。该方法不需人工干预,提高了三维测量系统的智能性,但单次曝光时间并不能满足表面反射率变化范围大的物体。Feng等[8]提出了一种自动HDR投影技术,根据表面反射率分布直方图来预测最佳曝光时间。上述多次曝光技术均需要采集大量的条纹图像。
第二种调整投影条纹光强方法是调整投影光强值,获得不同投影强度值的图像来避免图像饱和的方法。Waddington和Kofman[9]自适应地调整投影条纹图的最大输入灰度值和采集的不同强度值的复合图像,以避免图像饱和。但由于环境光的影响,该方法降低了黑暗区域的测量精度。Babaie等[10]提出了一种增强傅里叶变换轮廓术动态范围的技术,可以根据相机采集的图像反馈,递归控制像素级的投影条纹强度,获得高动态范围的条纹图。Lin等[11]提出了一种对饱和像素自适应调整投影像素强度的方法。标记图像中的饱和区域,然后将低强度的条纹图投影到这些标记区域,避免图像像素饱和。
第三种是同时改进曝光时间和投影条纹强度的混合方法。Jiang等[12]提出了一种基于改进曝光时间和投影条纹强度的混合方法。在不同的曝光时间和投影强度下采集高反射区域的条纹图像,但是,此种方法存在投影条纹图像多等缺点。
此外还有其他方法来实现高动态范围的物体测量,如使用偏振光法[13]、多个摄像头[14]、彩色相机的不同颜色通道[15-16]等。然而,这些方法有的需要额外的辅助硬件来提高系统性能,导致成本增加,或是计算复杂,所需的图像多。
因此,亟需发展一种简便且所需图像较少的高动态范围物体的三维测量方法。提出了一种基于单色条纹投影的高动态范围物体表面形貌三维测量方法。投影单色条纹图到被测物体表面,彩色相机(Charge Coupled Device, CCD)采集变形的彩色条纹图像,分离不同颜色通道的条纹信息。从不同通道条纹图像中选择不饱和且调制度最大的一组像素生成掩膜图像,然后利用掩膜图像和条纹图像合成HDR图像。应用相位解算技术和系统标定方法,实现高动态范围物体表面形貌的三维测量。
1 原理实验分析
1.1 FPP的原理
条纹投影测量系统一般由相机、投影仪和计算机组成。计算机产生编码正弦条纹图像,由投影仪投射到被测物体表面;受被测物体高度调制,条纹发生变形;相机采集包含高度信息的变形条纹图像,通过合适的相位解算方法获得相位信息;标定系统的几何参数后,就可以得到被测物体的表面三维数据[17]。相位解算是FPP的关键步骤,此处采用可独立计算每个像素点相位的相移法。
1.2 三步相移法
相移法是众多相位解算方法中应用最广泛、最精确的算法之一[18],而三步相移法适用于快速三维测量。采用三步相移法求解相位,相移为
式中:
条纹调制度为:
求解的折叠相位为:
当条纹图包含一个以上的周期性条纹时,由上述方法解算得到的相位通常包裹在区间(−π, π],相位存在2π阶跃。为了获得连续的相位分布,需要对获得的折叠相位进行展开。选用最佳三条纹选择法[19]获得绝对相位。
1.3 相机采集的条纹图像
在条纹投影测量系统中,需要考虑照明来源的影响[8],如图1所示。相机采集的条纹图像亮度
式中:k为相机灵敏度;t为曝光时间;k和t属于相机参数;
由公式(6)可以看出,对一个确定的相机,k为常量,当曝光时间t一定时,可以改变投影条纹图像的强度,或是投影条纹图像强度一定时,改变相机的曝光时间t实现对高动态范围表面物体的测量。
2 高动态范围表面测量方法
2.1 彩色图像分离技术
彩色CCD相机分为单CCD相机和3CCD相机。常用的单CCD相机采用一个拜耳(Bayer)滤镜显示三种颜色,相机的处理单元执行空间颜色插值得到其他两种颜色。一幅彩色图像可以分离为红(R)、绿(G)和蓝(B)三种颜色。为了使光谱中不存在盲区,常见的彩色相机中,红、绿、蓝的光谱总是重叠,如图2所示。绿通道分别与红通道和蓝通道相互重叠,红通道与蓝通道的重叠程度最小。由于Bayer滤镜的波长选择性,三个通道波长与波长之间的量子效率曲线不同。因此,在单色照明(例如蓝光)下,红、绿、蓝通道的量子效率保持
2.2 提出的HDR方法
应用彩色相机对蓝光不同颜色通道的不同响应,通过彩色图像分离技术将采集的彩色条纹图像,分离成蓝绿条纹图像,再将蓝绿条纹图像合成一个HDR图像,如图3所示。数字光处理器 (Digital Light Processing, DLP)投影仪用于投影蓝色条纹图像到被测物体的表面。CCD相机采集彩色变形条纹图像,如图3(a)所示。将彩色变形条纹图像分别在蓝和绿通道中分离出蓝通道条纹图像和绿通道条纹图像,分别如图3(b)和图3(c)所示。从蓝绿通道条纹图像选择不饱和且调制度最大的一组像素,利用公式(7)和公式(8)生成蓝通道和绿通道的掩膜,如图3(d)和3(e)所示。蓝绿通道条纹图像和掩膜图像,由公式(9)合成HDR图像,如图3(f)所示。将合成的HDR图像作为相位解算图像。
图 3. 合成HDR条纹图像的过程。(a) 相机采集的彩色条纹图像;(b) 蓝通道条纹图像;(c) 绿通道条纹图像;(d) 蓝通道的掩膜;(e) 绿通道的掩膜;(f) 合成的HDR图像
Fig. 3. Process of fusion HDR fringe images. (a) Captured color fringe pattern by the camera; (b) Blue channel fringe pattern; (c) Green channel fringe pattern; (d) Mask of the blue channel; (e) Mask of the green channel; (f) Composite HDR image
式中:
式中:
合成HDR图像的流程图如图4所示,方法步骤如下:
第一步:投影蓝色条纹图像到被测物体的表面,彩色CCD相机采集被物体表面调制的变形条纹图像。
第二步:利用彩色图像通道分离技术,分离出蓝绿通道条纹图像。
第三步:生成蓝绿通道的掩膜图像。
第四步:利用彩色图像通道分离技术得到蓝绿通道条纹图像和蓝绿通道掩膜图像合成HDR条纹图像。
3 高动态范围表面物体测量实验
为了验证所提方法的有效性,搭建了一个条纹投影测量系统,如图5所示,包括DLP投影仪(型号:TI LightCrafter 4500)和CCD工业相机(型号:AD-080GE)。其中,CCD相机和DLP投影仪的分辨率分别为1024×768和912×1140。
实验主要包括三个步骤:
第一步:测量前期准备工作。包括获取系统的标定参数,条纹图像的生成和采集。
第二步:图像合成。在此步骤中,利用彩色图像通道分离技术得到的蓝绿通道条纹图像和蓝绿通道掩膜图像,合成HDR图像。
第三步:获取物体的三维信息。利用系统标定方法[20]将绝对相位转换为实际三维坐标。
实验中,采用三步相移法和最佳三条纹选择法分别求解折叠相位和展开相位。故分别投射条纹个数为64、63和56的三组条纹(每组包含三步相移条纹图),共需要9幅彩色图像。
为证明所提方法的有效性,测量了具有高动态表面的金属平板和金属球面零件,分别如图6(a)和6(b)所示。投影仪投影蓝色条纹图到被测物体的表面,相机采集受金属平板表面调制的彩色条纹图像。分离的蓝通道条纹图像如图7(a)所示,合成的HDR图像如图7(b)所示。应用蓝通道条纹图像和合成的HDR图像获得的三维(Three-dimensional, 3D )结果如图8(a)和8(b)所示。从图8可以看出,蓝通道条纹获得的三维结果在饱和区存在明显的测量误差,而所提出的合成HDR方法获得的三维数据不受饱和区域的影响。
图 6. (a) 金属平板;(b) 金属球面零件
Fig. 6. (a) Photograph of a metal plate; (b) Photograph of a metal spherical part
图 7. 金属平板条纹图像。(a) 蓝通道条纹图像;(b) 合成HDR图像
Fig. 7. Fringe pattern of a metal plate. (a) Blue channel fringe pattern; (b) Composite HDR image
图 8. 金属平板的三维测量结果。(a) 蓝通道条纹获得的三维测量图;(b) HDR图像获得的三维测量图
Fig. 8. 3D measurement results of a metal plate. (a) 3D measurement results by blue channel fringe patterns; (b) 3D measurement results by HDR image
利用相同的方法测量了金属球面零件,其条纹图像如图9所示,图9(a)为分离的蓝通道条纹图像,图9(b)为合成的HDR条纹图像。
图 9. 金属球面零件条纹图像。(a) 蓝通道条纹图像;(b) 合成HDR图像
Fig. 9. Fringe pattern of a metal spherical part. (a) Blue channel fringe pattern; (b) Composite HDR image
金属球面零件的测量结果如图10所示,蓝通道条纹图像获得的三维数据如图10(a)所示,提出的HDR方法获得的三维数据如图10(b)所示。从图10可以看出,蓝通道条纹图像获得的三维数据在饱和区域存在严重的测量误差,而所提的HDR方法可以获得很好的三维数据,证明所提方法的有效性。
图 10. 金属球面零件的三维测量结果。(a) 蓝通道条纹获得的三维测量图;(b) HDR图像获得的三维测量图
Fig. 10. 3D measurement results of a metal spherical part. (a) 3D measurement results by blue channel fringe patterns; (b) 3D measurement results by HDR image
为了进一步验证方法的测量精度,测量了人造标准台阶面,如图11(a)所示。分离的蓝通道条纹图像、Zhang[6]的方法和所提的合成HDR图像分别如图11(b)、11(c)和11(d)所示。应用分离的蓝通道条纹图像、Zhang[6]的方法和所提的合成HDR图像,获得的三维结果如图12(a)~(c)所示。
图 11. (a) 人造标准台阶实物图;(b) 蓝通道条纹图像;(c) Zhang的方法获得的条纹图像;(d) 合成HDR图像
Fig. 11. (a) Photograph of an artificial standard step; (b) Blue channel fringe pattern; (c) Fringe pattern by Zhang’s method; (d) Composite HDR image
图 12. (a) 蓝通道条纹获得的人造标准台阶三维图;(b) Zhang的方法获得的人造标准台阶三维测量图;(c) HDR图像获得的人造标准台阶三维测量图
Fig. 12. (a) 3D measurement results of an artificial standard step by blue channel fringe patterns; (b) 3D measurement results of an artificial standard step by Zhang’s method; (c) 3D measurement results of an artificial standard step by HDR image
由测量得到的各个台阶面的三维数据拟合成不同的台阶平面,台阶平面上的点到相邻台阶平面的距离的平均值作为台阶高度。用三坐标测量机测量得到的台阶面的高度数据作为参考值,测量数据与参考值的差值如表1所示。从表1可以看出,提出的方法的精度略高于Zhang的方法。与现有的HDR方法相比,该方法所需图像较少,不需要额外的硬件设施。
表 1. 人造标准台阶的测量结果
Table 1. Measurement results of an artificial standard step
|
4 结 论
利用彩色相机对单色条纹投影的不同颜色通道的响应,提出了一种基于单色条纹投影的高动态范围物体表面形貌三维测量方法。投影蓝色条纹图像到被测物体表面,彩色CCD相机采集变形彩色条纹图像。从采集的变形彩色条纹图像分离蓝绿通道条纹图像。从蓝绿通道条纹图像中选择不饱和且调制度最大的一组像素生成蓝绿通道的掩膜图像,利用蓝绿通道的掩膜图像和蓝绿通道条纹图像合成高动态图像。然后应用相位解算方法获得绝对相位。利用标定好的系统实现高动态范围物体的测量。所提方法采用三步相移法和最佳三条纹选择法分别求解折叠相位和展开相位,共需要9幅彩色图像重建高动态范围物体的三维形貌。相比传统的方法,所提的方法减少了投影图像的数量,提高了测量效率。
[2] 左超, 张晓磊, 胡岩, , et al. 3D真的来了吗?-三维结构光传感器漫谈[J]. 红外与激光工程, 2020, 49(3): 0303001.
[3] Zhang S. High-speed 3D shape measurement with structured light methods: A review[J]. Optics and Lasers in Engineering, 2018, 106: 119-131.
[5] 张宗华, 于瑾, 高楠, , et al. 高反光表面三维形貌测量技术[J]. 红外与激光工程, 2020, 49(3): 0303006.
[11] Lin H, Gao J, Mei Q, , et al. Adaptive digital fringe projection technique for high dynamic range three-dimensional shape measurement[J]. Optics Express, 2016, 24(7): 7703-7718.
[13] 平茜茜, 刘勇, 董欣明, , et al. 基于偏振双目视觉的无纹理高反光目标三维重构[J]. 红外与毫米波学报, 2017, 36(4): 432-438.
[17] 李茂月, 肖桂风, 蔡东辰, , et al. 单目结构光测量中参数自适应标定方法[J]. 红外与激光工程, 2022, 51(8): 20210778.
Article Outline
王张颖, 张宁宁, 高楠, 李奎, 孟召宗, 张宗华. 基于单色条纹投影的高动态范围物体表面形貌三维测量[J]. 红外与激光工程, 2023, 52(8): 20230327. Zhangying Wang, Ningning Zhang, Nan Gao, Kui Li, Zhaozong Meng, Zonghua Zhang. 3D surface shape measurement of high dynamic range object based on monochrome fringe projection[J]. Infrared and Laser Engineering, 2023, 52(8): 20230327.