来源：3D视觉工坊
在公众号「3D视觉工坊」后台，回复「原论文」可获取论文pdf、代码链接
添加*dddvision，备注：三维点云，拉你入群。文末附行业细分群
本文提出了一种新颖的弱监督框架，用于从未见过的3D形状类别中重建完整的形状。首先，通过端到端的先验辅助形状学习网络，在已见类别的数据上推断出一个粗略形状。接着，通过多尺度模式相关模块分析输入的局部模式与先验之间的相关性，学习完整形状。为了进一步改进粗略形状，提出了自监督形状细化模型，考虑到3D对象形状的变异性，构建了类别特定的先验库。通过设计基于体素的部分匹配损失，并利用部分扫描驱动细化过程，取得了比最先进方法更优越的实验结果。
PSLN利用多尺度模式相关模块，通过学习局部模式的多尺度相关性来重建粗略形状。而CSRN通过引入基于体素的自监督方法，包括体素级的部分匹配损失，从而在细化过程中生成更完整和合理的形状。这两个模型的结合使得对未见类别的3D形状完成在性能上取得显著的提升。
总体而言，这篇文章对于解决3D形状完成中的挑战提出了创新性的思路，并通过实验证明了该方法的有效性。
1 引言
本文介绍了3D感知技术的快速发展，尤其是在3D扫描设备普及的情况下。由于自遮挡和环境障碍遮挡，直接从这些设备获取高质量的3D形状在实际应用中变得具有挑战性。为了解决这一问题，作者回顾了现有的深度学习形状补全方法，并指出了它们在处理未见类别时的局限性。文中提到，现有方法要么只在特定类别上进行训练和测试，导致泛化性能差，要么采用无监督方法，但仍存在问题。
为了弥补这些不足，作者提出了一种弱监督方法，旨在从未见过的类别中推断完整的3D形状。他们首先介绍了一个端到端的先验辅助形状学习网络（PSLN），利用已见类别的先验信息推断出粗略的完整形状。为了更有效地捕捉局部模式，作者设计了一个多尺度模式相关（MPC）模块。与现有方法不同，PSLN在特征级别计算输入与先验之间的相关性，从而实现单次端到端训练。此外，通过利用未见类别的部分扫描信息，作者提出了类别特定形状细化网络（CSRN），用于优化粗略形状的输出。该方法考虑了不同类别的形状特征，实现了自监督的形状细化。
总体而言，这项研究的主要贡献在于引入了一种多尺度先验辅助形状学习网络和类别特定形状细化网络，分别用于推断未见类别的粗略完整形状和优化这些形状。这两个模型在性能上取得了显著的优势，并通过减少计算和存储需求实现了更高的效率。
2 方法
本文提出了一种用于3D形状完成的弱监督方法，主要包括先验辅助形状学习网络（PSLN）和类别特定形状细化网络（CSRN）两个模型。
在PSLN中，首先构建了一个先验库B，其中包含来自训练数据的代表性完整形状。然后设计了一个多尺度模式相关（MPC）模块，通过学习局部模式来重建未见类别的粗略完整形状。该模块使用两个编码器提取局部特征，并通过交叉注意力计算输入与先验之间的相关性。为了处理不同尺度的局部模式，引入了多尺度结构学习单元（MSL）。最后，通过解码层将组装的先验嵌入Fi分层解码为完整形状。整个PSLN模型通过优化L1损失来实现端到端训练。
在CSRN中，通过引入基于体素的部分匹配损失，提出了一种用于引导细化过程的自监督方法。为了适应体素数据，设计了一个基于体素的部分匹配损失，包括部分L1损失、占用损失和方差损失。此外，借鉴了点云自监督完成方法的思想，使用粗略形状的缺失部分作为弱监督引导细化过程。通过综合这些损失，CSRN模型通过解码层对PSLN输出的粗略形状进行细化，以生成更合理的完整形状。
总体而言，本文的方法通过利用已见类别的先验信息，以及通过自监督方式引导细化过程，实现了对未见类别的3D形状完成。该方法在实验证明在性能上显著优于现有方法，同时减少了计算和存储需求。
3 总结
本研究通过结合已见类别的形状先验信息和未见类别的部分扫描，提出了一种弱监督学习方法，用于完成来自未见类别的3D形状。引入的先验辅助形状学习网络有效地捕捉了局部模式的多尺度相关性，并通过类别特定先验、部分扫描和基于体素的部分匹配损失进行细化，得到更完整和合理的形状。未来的研究将尝试将该方法扩展到更多类型的数据，如点云、网格和连续隐式函数，希望本研究能够启发3D形状重建和场景理解领域的未来研究。
下载
在公众号「3D视觉工坊」后台，回复「 3dcv」,即可获取工业3D视觉、SLAM、自动驾驶、三维重建、事件相机、无人机等近千余篇最新顶会论文；巴塞罗那自治大学和慕尼黑工业大学3D视觉和视觉导航精品课件；相机标定、结构光、三维重建、SLAM，深度估计、模型部署、3D目标检测等学习资料。
3D视觉方向交流群成立啦
目前工坊已经建立了3D视觉方向多个社群，包括SLAM、工业3D视觉、自动驾驶、三维重建、无人机方向，细分群包括：
[工业3D视觉]相机标定、立体匹配、三维点云、结构光、机械臂抓取、缺陷检测、6D位姿估计、相位偏折术、Halcon、摄影测量、阵列相机、光度立体视觉等。
[SLAM]视觉SLAM、激光SLAM、语义SLAM、滤波算法、多、多传感器标定、动态SLAM、MOT SLAM、NeRF SLAM、机器人导航等。
[自动驾驶]深度估计、Transformer、毫米波|激光雷达|视觉摄像头传感器、多传感器标定、多传感器融合、自动驾驶综合群等、3D目标检测、路径规划、轨迹预测、3D点云分割、模型部署、车道线检测、Occupancy、目标跟踪等。
[三维重建]NeRF、多视图几何、OpenMVS、MVSNet、colmap、纹理贴图等
[无人机]四旋翼建模、等
除了这些，还有求职、硬件选型、视觉产品落地、最新论文、3D视觉最新产品、3D视觉行业新闻等交流群
大家可以添加小助理*dddvisiona，备注：加群 方向 学校|公司, 小助理会拉你入群。
