来源：3D视觉工坊
添加V：dddvision，备注：自动驾驶，拉你入群。文末附行业细分群
0. 这篇文章干了啥？
这篇文章旨在通过整合两种范式的特征来开发一种高效有效的车道检测器。作者认为，由于其有限的几何变化和空间覆盖，局部车道标记比全局车道更容易预测。这引发了一个问题：能否利用廉价的局部描述符来构建复杂的全局车道提案？
作者经验性地观察到前视图中的车道呈现出一定的几何一致性，例如，在局部区域内车道坡度的变化有限。这意味着车道的关键点可能位于或靠近车道段的延伸线上。因此，这篇文章提出了SRLane，其中车道形状通过使用局部几何描述符粗略描绘，然后进行精确的修正。
下面一起来阅读一下这项工作~
1. 论文信息
标题：Sketch and Refine: Towards Fast and Accurate Lane Detection
作者：Chao Chen, Jie Liu, Chang Zhou, Jie Tang, Gangshan Wu
机构：南京大学
原文链接：https://arxiv.org/abs/2401.14729
代码链接：https://github.com/passerer/SRLane
2. 摘要
车道检测旨在确定道路上车道的精确位置和形状。尽管当前的方法已经做出了努力，但由于现实场景的复杂性，这仍然是一项具有挑战性的任务。现有的方法，无论是基于提案还是基于关键点，都在有效而高效地描绘车道方面存在问题。基于提案的方法通过以流畅的自上而下方式区分和回归一系列提案来检测车道，然而在车道表示方面缺乏足够的灵活性。另一方面，基于关键点的方法通过局部描述符灵活构建车道，通常需要复杂的后处理。在本文中，我们提出了一种"Sketch-and-Refine"的范式，充分利用了基于关键点和基于提案的方法的优点。其动机在于车道的局部方向在语义上是简单而清晰的。在"Sketch"阶段，可以通过快速的卷积层轻松估计关键点的局部方向。然后，我们可以相应地构建一组具有适度准确性的车道提案。在"Refine"阶段，我们通过一个新颖的车道段关联模块（LSAM）进一步优化这些提案，该模块允许自适应的车道段调整。最后但同样重要的是，我们提出了多层次特征集成，以更有效地丰富车道特征表示。基于提出的"草图与细化"范式，我们提出了一种快速而有效的车道检测器，名为"SRLane"。实验证明，我们的SRLane可以以较快的速度运行（即278 FPS），同时获得78.9%的F1分数。
3. 效果展示
车道检测方法的示例：
(a) 基于关键点的方法的示例，其中局部关键点根据它们相互之间的偏移（橙色箭头）进行分组，以重建整个车道。
(b) 基于锚点的方法的示例，使用预定义的线锚点（青色线）来匹配和预测车道。
(c) 提出的范式首先为一组关键点勾画局部方向。然后将估计的局部方向扩展到建立车道提案。
(d) 通过提出的 Segment Association Module 对车道的细化（虚线段被替换以更好地适应真值情况）。
4. 主要贡献
（1）提出一种"Sketch-and-Refine"范式，能够高效而有效地检测车道。首先预测一个局部方向图，其中每个点的值表示最近车道段的大致方向。然后沿着每个点的方向构建相应的提案。以此来快速且相当准确地定位车道。
（2）为了适应具有大曲率变化的车道，开发了一个车道段关联模块（LSAM）来调整车道提案的非拟合段。通过强调基于段之间语义关系的前景段特征来实现。
（3）提出了针对车道检测的多级特征集成。它直接从不同层次的特征中采样多个特征，赋予车道一个整体视图。
5. 具体原理
SRLane的整体流程可分解为两个阶段：车道Sketch和Refine。在Sketch阶段，来自主干网络的最后特征图被编码以创建局部方向图，其中一组车道提议被初始化。在Refine阶段，从多尺度特征图中自适应采样提议的特征，然后通过车道段关联模块进行增强。随后，它们被输入到分类和回归分支，生成最终结果。
5.1 车道Sketch
为了在第一阶段提供良好的提案初始化，作者找到了三种车道草图的可能方案：
(a) 预定义一组线锚点，这种方法对于适应不同曲率的线条是不灵活的。更重要的是，锚点的初始状态与输入图像无关，这偏离了车道草图的目的。
(b) 插入一个中间车道提案网络来生成提案，然而捕捉车道的多样形状和分布需要相当复杂的网络结构。此外，生成过程难以解释，这是进一步分析和改进的障碍。
(c) 使用局部描述符更可取，因为局部模式相对简单且易于预测。并且从局部描述符构建车道在基于关键点的方法中长期以来一直在研究。
与它们不同的是，作者利用车道的局部连续性来消除复杂的后聚类过程，并简化整个检测流程。为简单起见，作者使用点的坐标和局部方向一起构建车道提案。
5.2 车道Refine
为了适应车道的复杂形状，作者开发了一个细化头，可以自适应地调整车道提议。它以车道提议的粗略位置作为输入，并动态集成多层车道特征。然后，收集到的车道特征投影到1D特征向量中。特征向量被分解为不同组，每组关注不同的车道段。随后，引入车道段关联模块（LSAM）以增强车道特征，并将更新后的特征输入分类和回归分支以生成预测。
多层特征集成： 在检测任务中，多个特征级别上的特征集成至关重要。
车道段关联： 在草图阶段提供了一组车道建议，大致描绘了实际车道，但某些位置可能需要调整。为此，作者提出了一种新颖的车道段关联模块（LSAM）用于段级精化，每个建议特征xi充当查询，通过交叉注意机制自适应地从所有L × G段特征中收集信息。预期前景样式的建议可以从前景样式的段收集提示，获得对车道变化的高容忍度。由于提议数量较少，所提出的LSAM在计算上是友好的。
6. 实验结果
实验Tusimple、CULane和Curvelanes三个数据集进行，使用准确性来评估Tusimple，使用F1来评估CULane，还在Tusimple上报告F1，FP和FN比率。运行设备是AMD EPYC 7232P CPU和NVIDIA Titan Xp GPU。
在CULane数据集上，SRLane可以运行得非常快，在曲线集上获得了竞争力强的74.7% F1，缩小了基于提议的检测器的先进关键点检测器与之前的最高曲线得分之间的差距2.3%。
Tusimple上，SRLane达到了最快的速度，比CLRNet快2.2倍，比FOLOLane快11.1倍。同时，SRLane保持了高准确性，还对不同的光照条件具有鲁棒性。
参数量对比。
消融实验
首先验证了基于方向的提案初始化的必要性，所提出的基于方向的初始化方法以40个提案取得了卓越的性能，优于相应的基于锚点的方法，后者需要更多的提案来弥补性能差距。这些发现表明，所提出的基于方向的初始化方法可以在稀疏提案下实现高性能。
为了消融提出的特征采样策略的有效性，将单级特征采样方法设为基准，为基准模型配备特征金字塔网络（FPN）以弥补多级信息。结果显示，使用单级特征导致性能较差，表明自适应采样多级特征的益处。
还验证了车道段关联模块（LSAM）的有效性。结果显示，LSAM使F1提高了最多0.9%。LSAM成功学习通过将更高的注意力值分配给感兴趣的段来精炼段特征，可以更好地适应具有显著曲率变化的车道。
7. 总结
这篇文章提出了一种新颖的2D车道检测方法，通过在局部几何描述符的条件下粗略勾勒车道形状，并逐步进行精细调整来实现。在不同数据集上的基准测试显示SRLane在各种场景下表现出色的速度、准确性和鲁棒性。
对更多实验结果和文章细节感兴趣的读者，可以阅读一下论文原文~
下载
在公众号「3D视觉工坊」后台，回复「 3dcv」,即可获取工业3D视觉、SLAM、自动驾驶、三维重建、事件相机、无人机等近千余篇最新顶会论文；巴塞罗那自治大学和慕尼黑工业大学3D视觉和视觉导航精品课件；相机标定、结构光、三维重建、SLAM，深度估计、模型部署、3D目标检测等学习资料。
3D视觉方向交流群成立啦
目前工坊已经建立了3D视觉方向多个社群，包括SLAM、工业3D视觉、自动驾驶、三维重建、无人机方向，细分群包括：
[工业3D视觉]相机标定、立体匹配、三维点云、结构光、机械臂抓取、缺陷检测、6D位姿估计、相位偏折术、Halcon、摄影测量、阵列相机、光度立体视觉等。
[SLAM]视觉SLAM、激光SLAM、语义SLAM、滤波算法、多传感器融合、多传感器标定、动态SLAM、MOT SLAM、NeRF SLAM、机器人导航等。
[自动驾驶]深度估计、Transformer、毫米波|激光雷达|视觉摄像头传感器、多传感器标定、多传感器融合、自动驾驶综合群等、3D目标检测、路径规划、轨迹预测、3D点云分割、模型部署、车道线检测、Occupancy、目标跟踪等。
[三维重建]NeRF、多视图几何、、MVSNet、colmap、纹理贴图等
[无人机]四旋翼建模、无人机飞控等
除了这些，还有求职、硬件选型、视觉产品落地、最新论文、3D视觉最新产品、3D视觉行业新闻等交流群
大家可以添加小助理V：dddvisiona，备注：加群 方向 学校|公司, 小助理会拉你入群。
