TouchSDF: 结合视觉与触觉的3D形状重建的新方法！（重建物体）

作者：章鱼哥 | 来源：3DCV

在公众号「3DCV」后台，回复「原论文」可获取论文pdf和代码链接

添加*dddvision，备注：三维重建，拉你入群。文末附行业细分群

一种使用视觉和触觉传感器进行3D形状重建的方法，名为TouchSDF。该方法利用视觉触觉传感器提供的丰富信息，以及隐式神经表示DeepSDF的表达能力，从多个接触点预测连续的signed-distance function (SDF)，表示物体的形状。TouchSDF可以从模拟输入中重建平滑连续的3D形状，并在实际世界场景中进行物体探索和操作任务。该方法在模拟和真实世界中的实验结果表明，它可以有效地重建物体，并具有较好的性能。TouchSDF为3D形状重建领域提供了新的思路和方法。

我们提出的TouchSDF是一种利用视觉触觉进行三维形状重建的方法。通过利用隐式神经表示DeepSDF，我们的方法可以编码平滑和连续的表面，从而能够从部分观察结果中进行准确而稳健的重建。
我们通过对潜在变量的调节，展示了在模拟和现实中对未见物体和姿势进行泛化的能力，从而对各种几何变化进行编码。
我们首次利用纯视觉触觉传感技术对现实世界中的一些三维打印物体和家用物体进行了三维形状重建评估。

TouchSDF：首先机器人对物体表面进行采样，以获得真实的触觉图像（标记图案），然后将其转换为模拟图像（深度图）。其次卷积神经网络（CNN）将模拟图像映射到表示触摸位置处的局部对象表面的 3D 点集。最后预训练的DeepSDF模型根据多个接触点上的点云预测表示物体形状的连续符号距离函数（SDF）。

TouchSDF方法的具体步骤和实现方式。如下：

模拟：首先收集触觉图像和局部点云。触觉图像用于捕捉物体表面的接触信息，而局部点云则用于表示物体表面的三维结构。
接触几何预测：利用卷积神经网络（CNN）预测接触几何。通过对基础网格进行变形，从而实现对接触几何的预测。这个基础网格是根据触觉图像和局部点云信息生成的。
SDF预测：通过DeepSDF神经网络预测连续的signed-distance function（SDF），用以表示物体的形状。DeepSDF网络接受接触点和接触几何作为输入，输出物体的SDF值。
3D形状重建：利用预测的SDF值对物体进行3D形状重建。TouchSDF方法可以从模拟输入中重建平滑连续的3D形状，并在实际世界场景中进行物体探索和操作任务。
实验验证：在模拟和真实世界的实验中，验证TouchSDF方法的有效性和性能。实验结果显示，该方法可以有效地重建物体，具有较好的性能。

此外，TouchSDF方法主要针对视觉和触觉传感器的信息，而非纯视觉传感器。这种方法在捕捉接触丰富信息方面具有优势，并能有效地应对遮挡和外部光线条件等挑战。

TouchSDF方法适用于配备视觉和触觉传感器的机器人或设备。在本文中提到的具体设备是ABBIRB 120 6DTof机器人臂，它配备了一个高分辨率的视觉触觉传感器TacTip。此外，文中还提到了一些日常生活中的物体，如瓶子、相机、碗、透明罐和杯子，这些物体在实验中用于真实世界评估。

然而，文中并未明确说明TouchSDF方法仅适用于特定类型的机器人或设备。根据描述，该方法应该适用于其他配备视觉和触觉传感器的机器人或设备，只要这些机器人或设备能够捕获触觉图像和局部点云信息。所以，TouchSDF方法具有一定的通用性，可以应用于多种类型的机器人或设备。

在现实世界中测试TouchSDF方法时，文档提到采用了一种名为Real-to-Sim Image Transfer的方法。这种方法将现实世界的触觉图像转换为模拟环境中的触觉图像。具体来说，他们首先使用一个称为TacTip的视觉触觉传感器在现实世界中收集触觉图像。然后，将这些现实世界的触觉图像转换为模拟环境中的图像，以便在模拟环境中进行形状重建。

在转换过程中，可能遇到现实与仿真之间触觉图像差异的问题。为了解决这个问题，文档中提到了采用隐式神经表示DeepSDF以及局部点云预测技术来弥补这种差异。通过这些方法，TouchSDF方法在现实世界中的表现得以优化，实现了平滑连续的3D形状重建。

评估重构质量的主要指标有平均误差（Mean Error）和接触点集误差（Contact Set Error）。此外，还使用了表面误差（Surface Error）和CD分数（CD scores）作为评估指标。

实验结果表明，TouchSDF方法在多种物体种类上均具有较好的性能。

与之前的工作比较

我们将我们的方法与Smith等人进行了比较。的仅触摸重建方法，使用地球移动器距离（EMD）、凸轮距离（CD）和表面重建误差作为度量。TouchSDF实现了更好的EMD和表面重建误差，尽管视觉质量更好，但CD却略低。