来源：3D视觉工坊
在公众号「3D视觉工坊」后台，回复「原论文」可获取论文pdf、代码、主页链接
v：dddvision，备注：3D高斯，拉你入群。文末附行业细分群
1. 写在前面
3D高斯现在还是蓝海，所有任务都可以重新推导来一遍。今天笔者为大家推荐一篇3D分割方向的工作，实现了交互式的3D分割一切高斯。
下面一起来阅读一下这项工作~
2. 摘要
由于在三维场景理解和操作中的重要性，辐射场中的交互式三维分割是一项有吸引力的任务。然而，现有方法要么在实现细粒度、多粒度分割方面面临挑战，要么与巨大的计算开销相抗衡，抑制实时交互。在本文中，我们介绍了Segment Any 3D GAussians ( SAGA )，一种新颖的3D交互式分割方法，它将2D分割基础模型与3D Gaussian抛雪球( 3DGS )无缝融合。SAGA通过精心设计的对比训练，将分割基础模型生成的多粒度2D分割结果高效地嵌入到3D高斯点特征中。对现有基准测试的评估表明，SAGA能够以最先进的方法获得有竞争力的性能。此外，SAGA实现了多粒度分割，并容纳各种提示，包括点、涂鸦和2D掩码。值得注意的是，SAGA可以在毫秒级的时间内完成三维分割，与之前的SOTA相比，实现了近1000倍的加速。
3. 效果展示
SAGA可以在毫秒级的3D高斯中进行细粒度的交互式3D分割。
4. 具体原理是什么？
SAGA整体的Pipeline。给定一个预训练的3DGS模型及其训练集，对模型中的每个高斯附加一个低维的3D特征。对于训练集中的每一幅图像，使用SAM提取2D特征和一组掩膜。然后，我们通过栅格化来渲染2D特征图，并使用两个损失来训练附加的特征：即SAM引导损失和匹配损失。前者采用SAM特征引导3D特征从模糊的2D掩码中学习3D分割。后者提取由掩模导出的点对应关系，以增强特征紧凑性。
5. 和其他SOTA方法的对比
NVOS上的定量对比。
在SPIn-NeRF数据集上的定量结果。Singe view表示将2D分割结果简单地投影到3D，因此省略了其时间消耗。
6. 总结
这项工作介绍了一种新颖的交互式三维分割方法SAGA，是3D Gaussians中交互式分割的首次尝试。SAGA使用两个精心设计的损失有效地将分割任何事物模型( SAM )中的知识提取到3D Gaussians中。经过训练后，SAGA允许在点、涂鸦和掩模等多种输入类型之间进行快速、毫秒级的三维分割。
对更多实验结果和文章细节感兴趣的读者，可以阅读一下论文原文~
下载
在公众号「3D视觉工坊」后台，回复「 3dcv」,即可获取工业3D视觉、SLAM、自动驾驶、三维重建、事件相机、无人机等近千余篇最新顶会论文；巴塞罗那自治大学和慕尼黑工业大学3D视觉和视觉导航精品课件；相机标定、结构光、三维重建、SLAM，深度估计、模型部署、3D目标检测等学习资料。
3D视觉方向交流群成立啦
目前工坊已经建立了3D视觉方向多个社群，包括SLAM、工业3D视觉、自动驾驶、三维重建、无人机方向，细分群包括：
[工业3D视觉]相机标定、立体匹配、三维点云、结构光、机械臂抓取、缺陷检测、6D位姿估计、相位偏折术、Halcon、摄影测量、阵列相机、光度立体视觉等。
[SLAM]视觉SLAM、激光SLAM、语义SLAM、滤波算法、多传感器融合、多传感器标定、动态SLAM、MOT SLAM、NeRF SLAM、机器人导航等。
[自动驾驶]深度估计、Transformer、毫米波|激光雷达|视觉摄像头传感器、多传感器标定、多传感器融合、自动驾驶综合群等、3D目标检测、路径规划、轨迹预测、3D点云分割、模型部署、车道线检测、Occupancy、目标跟踪等。
[三维重建]NeRF、多视图几何、OpenMVS、MVSNet、colmap、纹理贴图等
[无人机]四旋翼建模、等
除了这些，还有求职、硬件选型、视觉产品落地、最新论文、3D视觉最新产品、3D视觉行业新闻等交流群
大家可以添加小助理v：dddvisiona，备注：加群 方向 学校|公司, 小助理会拉你入群。
