三个条纹图像即可！PSP运动误差最新解决方案！（像素匹配3D）

来源：3D视觉工坊

添加小助理：dddvision，备注：3D结构光，拉你入群。文末附行业细分群

论文题目：Motion-induced error reduction for high-speed dynamic digital fringe projection system

作者：Sanghoon Jeon, Hyo-Geon Lee等

作者机构：Department ofMechanical Engineering,

论文链接：https://arxiv.org/pdf/2401.15938.pdf

在相移轮廓测量中，运动引起的误差可以通过引入运动诱导误差减少算法进行减少，该算法利用了电机的编码器和相机、投影仪的针孔模型。通过应用数字条纹投影系统的几何约束，只需三个条纹图案即可进行3D形状测量。解决了由于运动诱导的相机像素不匹配问题，并减少了相移误差。这些过程易于实现，计算成本低。

读者理解：

本文提出的方法主要解决了相移轮廓测量中由于运动引起的像素级误差的问题。在这项研究中，作者设计了一种实验系统，包括相机、投影仪和线性台架等设备，用于评估他们提出的方法。实验结果表明，该方法可以有效减少运动引起的误差，无论系统处于均匀运动还是非均匀运动状态。通过实验证明，该方法能够在运动速度较快的情况下仍然有效，因为它考虑了相邻帧之间的不匹配问题。此外，该方法所需的计算成本较低，并且仅需要三个条纹图像，因此适用于实时应用。

1 引言

3D形状测量领域，相移轮廓测量（PSP）是一种常用方法。然而，PSP存在一些局限性，因为相移算法假定对象和测量系统都是静止的，而任何在获取条纹图案期间发生的运动都可能引入错误。为了解决这些问题，研究人员提出了各种方法来减少运动引起的错误。这些方法包括提高条纹图案获取速度、改进相移算法、利用傅立叶辅助方法、基于学习的方法等。虽然这些方法各有优缺点，但它们都在不同程度上改善了3D形状测量的准确性和稳定性。

2 方法

2.1 传统相移算法

传统相移算法是一种用于精确3D测量的常用方法，对噪声具有较强的鲁棒性。为了减少由系统或对象的顺序运动引起的误差，通常使用最少数量的三个条纹图像。传统相移算法的三个条纹图像描述了相机像素位置处的平均强度和调制，以及要解决的包裹相位。然而，该算法假定条纹投影系统和被摄物体保持静止，这可能导致运动引起的误差和相机像素误差。为了确定投影仪像素的连续位置，需要使用相位展开方法来获得未包裹相位图。传统相移算法的优点是简单易用，但在处理动态场景时可能存在局限性。因此，研究人员一直在寻找改进的方法来提高算法的稳健性和准确性，以满足不同应用领域的需求。

2.2 相机像素误差校正

在相位移动相移测量中，相机像素的位置在采集条纹图案过程中可能会发生变化，特别是当被摄物体靠近相机时。这种变化称为相机像素误差，是由于相邻条纹图像之间的不匹配问题引起的。为了解决这个问题，在三步相移算法中，需要校正相邻条纹图像中相机像素的位置，使其与第二个条纹图像的像素位置匹配，因为第二个条纹图像具有最大的重叠部分。校正相机像素位置的方法涉及到使用相机的针孔模型来计算相机像素的移动，从而纠正相机像素误差。通过这种校正，可以更准确地获得三个相邻条纹图像的像素强度和相位信息，从而提高了相位移动相移测量的准确性和可靠性。

2.3 相移误差校正

相移误差校正是相位移动相移测量中的一个关键步骤，用于解决由于物体运动引起的相位移动值变化而产生的问题。这种误差可以通过引入相移误差补偿项来纠正，从而提高相位移动相移测量的准确性和可靠性。校正方法包括校正相移值，以使其适应运动引起的变化，并通过使用投影仪的针孔模型和相移单位将像素单位转换为相移单位来计算相移误差。此外，如果运动是均匀的，校正后的相位可以通过简化公式来计算，进一步提高了校正的效率和准确性。

2.4 利用几何约束进行相位展开

在本节中，介绍了一种使用几何约束的相位展开方法。该方法可以在不需要额外图像采集的情况下，利用结构光系统的几何约束来展开被包裹的相位。方法基于相机和投影仪的针孔模型建立几何约束。首先，利用相机的针孔模型在中生成一个虚拟平面，该平面最接近感兴趣深度的位置。然后，利用投影仪的针孔模型确定每个相机像素对应的绝对相位值作为参考相位。假设展开相位与参考相位之间的差异不超过2π，可以应用该展开方法。在不连续点上，参考相位与包裹相位之间存在2π的倍数差异。通过计算这个差异，可以确定条纹序号。然而，该方法存在测量深度范围受限的限制。为了解决这个问题，提出了一种旋转虚拟的方法。通过根据扫描物体与相机之间的角度生成旋转矩阵，可以将虚拟参考平面旋转到适当的角度。通过平移旋转后的平面，使其与原始平面的中心对齐，并使用旋转后平面的深度创建最终的参考平面。这种方法在特定方向上扫描静止物体时非常有效，并且可以使用单个参考深度值来展开所有帧的相位。此外，参考平面不一定需要是平面形状，可以根据具体情况进行变形，如半圆柱形状。

2.5 总结方法

为了更直观地理解我们所描述的方法，我们在图3中绘制了一个流程图。相机像素误差和相移误差是独立估计的，利用传统方法获得的失真的3D结果作为粗略参考。然后，利用估计的两种误差值在运动诱导误差减少算法中，从而获得改进的3D结果。此外，提出的方法可以总结如下：第1步：利用传统的三步相移法和结构光系统的几何约束进行相位展开方法重建3D信息。第2步：执行相机像素误差校正，利用上一步获得的值作为初始值。第3步：执行相位移动误差校正。第4步：在第一步中应用相位展开方法后可以获得改进的结果。第5步：使用改进的结果作为初始值，并根据需要重复步骤2到4。

3 实验

实验部分主要介绍了作者们建立的相移轮廓测量系统以及针对该系统进行的实验。他们使用了CMOS相机、DLP投影仪等设备，并进行了系统校准。为了模拟动态环境，他们将系统集成到一个线性平台上，并使用伺服电机和控制器实现运动。实验分为三个部分：

匀速运动实验：PSP系统以80毫米/秒的恒定速度移动，捕获直径为100毫米的球体的图像，然后使用传统方法和提出的方法进行测量结果的比较。在传统方法中，由于运动引起的测量误差，球体的纹理发生扭曲，导致了相邻图像中相同像素对的不匹配。经过提出的方法的相机像素误差校正和相移误差校正后，最终结果表明，相较于传统方法，提出的方法能够显著减小误差，获得更接近理想球体形状的结果。
非均匀运动实验：PSP系统经历了均匀加速、恒定速度运动和减速停止的过程。与恒定速度实验相似，作者们发现在加速过程中，如果仅假设运动是均匀的，则会导致结果中出现明显的失真。通过对相机像素误差和相移误差进行独立校正，作者们提出的方法能够改善结果的准确性，减小误差。
复杂几何体实验：实验结果表明，提出的方法在测量复杂形状时也具有很好的效果。通过消除运动诱导的噪声，提高了测量结果的清晰度和准确性。但是，作者指出，在一些阴影区域，可能会引入噪点，因此他们对某些阴影区域进行了遮罩处理。

总体而言，实验结果表明，作者们提出的方法能够有效地改善相移轮廓测量系统在动态环境下的测量准确性，对于测量各种形状的对象具有很好的适用性和可靠性。

4 总结

本文提出了一种新颖的方法，用于减少相移轮廓测量中像素级别的运动引起的误差。实验结果表明，所提出的方法在数字激光投影系统处于均匀或非均匀运动时有效地减少了运动引起的误差。即使相机的捕获速度相对较慢，该方法也能很好地工作，因为该方法考虑了相邻条纹图像帧之间的不匹配问题。此外，这种方法适用于实时应用，因为它需要低计算成本和仅三个条纹图像，这是相移轮廓测量中所需的最少图案数量。作者展示了本文的方法可以减轻运动引起的误差，只要能够准确估计相邻帧之间的运动。因此，未来，我们计划开展研究，估计相邻帧之间的运动。这将展示作者提出的方法在数字激光投影系统和扫描对象都在运动的情况下的适用性。