来源：计算机视觉工坊
v：dddvisiona，备注：立体匹配，拉你入群。文末附行业细分群
论文题目：Boosting Multi-view Stereo with Late Cost Aggregation
作者：Jiang Wu, Rui Li等
作者机构：
论文链接：https://arxiv.org/pdf/2401.11751.pdf
代码链接：https://github.com/Wuuu3511/LAMVSNET
读者理解：本研究提出了一种后期聚合的方法，用于多视图立体匹配中的成对匹配代价聚合。与先前的早期聚合方案不同，本文的方法允许在整个网络前馈过程中进行成对代价的聚合，以实现准确的估计。相比于加权求和构建中间代价的方法，后期聚合通过在不同视图通道中保留所有成对代价，使得后续的深度网络能够充分利用关键的几何线索，而不丢失代价的准确性。本文还提出了一些进一步的技术，包括解决视图顺序依赖性、处理灵活的测试视图以及改进深度过滤过程。尽管方法相对简单，但在基线方法上取得了显著的改进，与最先进的方法相比，实现了可比较的结果，并具有有利的计算开销。
这篇文章主要关注多视图立体匹配（MVS）领域中的成对匹配代价聚合问题，并提出了一种后期聚合方法，以克服早期聚合方案的局限性。文章通过分析指出，早期聚合可能会损害信息丰富的匹配代价，因此引入了保留视图成本的概念，实现了在整个网络前馈过程中的成对代价聚合。此外，文章介绍了一系列技术，包括处理视图顺序依赖性、适应多样化测试视点以及优化点云过滤，以进一步提高多视图立体匹配的性能。
总体而言，这篇文章对于MVS领域中的成对匹配代价聚合问题提出了一种新颖的解决方案，并通过实验证明了该方法的有效性。文章的结构清晰，技术推导和实验设计都比较详细，为该领域的研究提供了有价值的思路和方法。
1 引言
本文介绍了在图像三维重建领域中取得显著进展的多视图立体匹配（MVS）技术，并重点关注了成对匹配代价的关键性贡献。随着深度学习的兴起，成对匹配代价成为基于（CNN）的方法的基本输入，减轻了深度网络对几何模糊的敏感性，提高了重建准确性。然而，先前的方法在早期聚合中存在问题，可能损害信息丰富的匹配代价。为解决这一挑战，本文提出了一种后期聚合方法，以及相应的视图洗牌、处理灵活测试输入和改进点云过滤等技术，以实现更好的信息利用和重建效果。通过在多个数据集上的实验证明，本方法显著优于基线方法，为MVS中的聚合设计提供了新的思路。
2 方法
本文提出了一种用于多视图立体匹配（MVS）的后期聚合方法，以改善深度网络对几何匹配中信息丰富成对匹配代价的利用效果。以下是方法学的详细总结：
成对代价构建：采样一组深度假设，通过可微分的单应矩阵将源视图的特征对齐到参考视图上，构建成对代价体积。这体积通过点乘相似性计算得到，保留了各个深度假设下的匹配代价。
后期聚合与保留视图：与先前采用的早期聚合不同，提出了后期聚合的思想，避免了构建中间代价，使深度网络能够一直受益于信息丰富的成对匹配代价。通过浅层卷积层对每个成对代价体积进行，形成保留视图的代价体积，其中每个通道保留了一个源视图的信息。
处理视图顺序依赖性：为了解决保留视图中的视图顺序依赖性，引入了视图洗牌技术，即对保留的代价体积进行通道的随机排列。这有助于深度网络更好地利用来自不同视图的信息。
灵活测试输入处理：针对测试阶段可能有不同数量的输入视图，提出两种测试时成对代价构建方法。当测试视图数增加时，通过迭代推断保留一部分视图，最终综合所有推断结果。当测试视图数减少时，复制可能更具信息的成对代价以适应训练时的代价形状。
多视图一致性过滤：引入了一种改进的深度图过滤方案，利用绝对深度值代替相对深度值进行动态，并加入了来自源视图的光度一致性约束，提高了点云生成的精度和完整性。
通过实验证明，本方法在DTU、Tanks and Temples以及ETH3D数据集上显著优于基线级联MVS，并与最先进方法在计算开销上取得可比较的结果。这一研究为多视图立体匹配中聚合设计提供了一种新的思路，强调了在信息丰富性和简单性之间的平衡，使得更好地利用成对匹配代价成为可能。
3 总结
本研究通过对早期聚合方案的局限性进行分析，提出了一种基于保留视图成本的后期聚合方法。在此基础上，引入了一系列技术，包括降低对视图顺序的依赖性、适应多样化的测试视点以及优化点云过滤。总体而言，我们的方法为多视图立体方法的聚合策略设计提供了新的思路。
下载
在公众号「计算机视觉工坊」后台，回复「3dcv」,即可获取工业3D视觉、SLAM、自动驾驶、三维重建、事件相机、无人机等近千余篇最新顶会论文；巴塞罗那自治大学和慕尼黑工业大学3D视觉和视觉导航精品课件；相机标定、结构光、三维重建、SLAM，深度估计、模型部署、3D目标检测等学习资料。
3D视觉方向交流群成立啦
目前工坊已经建立了3D视觉方向多个社群，包括SLAM、工业3D视觉、自动驾驶、三维重建、无人机方向，细分群包括：
[工业3D视觉]相机标定、立体匹配、三维点云、结构光、机械臂抓取、缺陷检测、6D位姿估计、相位偏折术、Halcon、摄影测量、阵列相机、光度立体视觉等。
[SLAM]视觉SLAM、激光SLAM、语义SLAM、滤波算法、多传感器融合、多传感器标定、动态SLAM、MOT SLAM、NeRF SLAM、机器人导航等。
[自动驾驶]深度估计、Transformer、毫米波|激光雷达|视觉摄像头传感器、多传感器标定、多传感器融合、自动驾驶综合群等、3D目标检测、路径规划、轨迹预测、3D点云分割、模型部署、车道线检测、Occupancy、目标跟踪等。
[三维重建]NeRF、多视图几何、、MVSNet、colmap、纹理贴图等
[无人机]四旋翼建模、无人机飞控等
除了这些，还有求职、硬件选型、视觉产品落地、最新论文、3D视觉最新产品、3D视觉行业新闻等交流群
大家可以 v: dddvisiona，备注：加群 方向 学校|公司, 小助理会拉你入群。
