来源：计算机视觉工坊
在公众号「计算机视觉工坊」后台，回复「原论文」可获取论文pdf、代码、主页链接
添加*dddvisiona，备注：图像匹配，拉你入群。文末附行业细分群
1. 写在前面
今天笔者为大家推荐一篇最新开源的图像匹配工作，使用扩散模型对数据和先验项进行显式建模以进行稠密匹配。
下面一起来阅读一下这项工作~
2. 摘要
建立成对图像之间稠密匹配关系的目标由两个项组成：一个数据项和一个先验项。虽然传统技术侧重于定义手工设计的先验项，但这些先验项难以制定，而最近的方法则侧重于使用深度神经网络学习数据项，而不对先验项进行显式建模，假设模型本身具有从大规模数据集中学习最优先验项的能力。然而，它们的性能改善是显而易见的，但它们往往不能解决匹配固有的模糊性，如无纹理区域、重复模式、大位移或噪声。为了解决这个问题，我们提出了DiffMatch，这是一个新颖的基于条件扩散的框架，旨在对数据和先验项进行显式建模，以便进行密集匹配。这是通过利用显式地考虑匹配代价并在生成过程中注入先验的条件去噪扩散模型来实现的。然而，扩散模型有限的分辨率是一个主要的障碍。我们通过级联的管道来解决这个问题，首先是一个低分辨率模型，然后是一个超分辨率模型，它依次向上采样，并将更精细的细节纳入匹配场。我们的实验结果表明我们的方法比现有的方法有显著的性能改进，消融研究验证了我们的设计选择以及每个组件的有效性。
3. 效果展示
DiffMatch的效果展示：( a )源图像，( b )目标图像，( c-d )SOTA方法匹配效果，( e ) DiffMatch匹配效果，( f )真值。DiffMatch的生成框架有效地学习了匹配场流形，从而更好地估计匹配关系，特别是在无纹理区域、重复模式和大位移处。
DiffMatch中逆向扩散过程的可视化：从左到右是源图像、目标图像，以及通过估计的匹配关系作为演化时间步长对源图像进行warp。也就是通过一个迭代的去噪过程，将源图像渐进地扭曲成目标图像
4. 具体原理是什么？
DiffMatch的整体网络架构。由两个关键组件组成：一个条件去噪扩散模块，根据条件生成匹配字段；一个成本注入模块，将成对的源图像和目标图像之间进一步的像素级交互嵌入到扩散模块中。
所提出的推理技术示意图：为了稳定反向扩散过程，测量来自不同初始化的估计多个匹配流的均值。用先前估计的匹配场迭代地重新初始化初始匹配场。随后通过循环一致性找到流候选中置信度最高的估计匹配。
5. 和其他SOTA方法的对比
HPatches和ETH3D的定量评价。
HPatches上的定性结果：利用预测的匹配关系将源图像warp为目标图像。
6. 总结
这篇文章提出了一种新颖的基于扩散的稠密匹配框架DiffMatch，对匹配场的似然和先验分布进行联合建模。条件去噪扩散模块基于初始匹配关系和由特征描述子导出的局部成本进行操作。为了缓解分辨率约束，进一步提出了一个流上采样扩散模块，该模块对预训练的去噪模块进行微调，从而以最小的优化为匹配场注入精细的细节。DiffMatch首次在稠密匹配中突出了生成式先验的力量，在标准基准上取得了最先进的性能。
对更多实验结果和文章细节感兴趣的读者，可以阅读一下论文原文~
下载
在公众号「计算机视觉工坊」后台，回复「3dcv」,即可获取工业3D视觉、SLAM、自动驾驶、三维重建、事件相机、无人机等近千余篇最新顶会论文；巴塞罗那自治大学和慕尼黑工业大学3D视觉和视觉导航精品课件；相机标定、结构光、三维重建、SLAM，深度估计、模型部署、3D目标检测等学习资料。
3D视觉方向交流群成立啦
目前工坊已经建立了3D视觉方向多个社群，包括SLAM、工业3D视觉、自动驾驶、三维重建、无人机方向，细分群包括：
[工业3D视觉]相机标定、立体匹配、三维点云、结构光、机械臂抓取、缺陷检测、6D位姿估计、相位偏折术、Halcon、摄影测量、阵列相机、光度立体视觉等。
[SLAM]视觉SLAM、激光SLAM、语义SLAM、滤波算法、多传感器融合、多传感器标定、动态SLAM、MOT SLAM、NeRF SLAM、机器人导航等。
[自动驾驶]深度估计、Transformer、毫米波|激光雷达|视觉摄像头传感器、多传感器标定、多传感器融合、自动驾驶综合群等、3D目标检测、路径规划、轨迹预测、3D点云分割、模型部署、车道线检测、Occupancy、目标跟踪等。
[三维重建]NeRF、多视图几何、OpenMVS、MVSNet、colmap、纹理贴图等
[无人机]四旋翼建模、等
除了这些，还有求职、硬件选型、视觉产品落地、最新论文、3D视觉最新产品、3D视觉行业新闻等交流群
大家可以添加小助理微信: dddvisiona，备注：加群 方向 学校|公司, 小助理会拉你入群。
