来源：3D视觉工坊
在公众号「3D视觉工坊」后台，回复「原论文」可获取论文pdf、代码链接
添加*dddvision，备注：自动驾驶，拉你入群。文末附行业细分群
1. 写在前面
今天笔者为大家分享一篇针对动态自动驾驶数据量身定制的NeRF：NeuRAD。具有简单的网络设计，并且针对相机和激光雷达的广泛传感器建模。
下面一起来阅读一下这项工作~
2. 摘要
神经辐射场( NeRFs )在自动驾驶( AD )社区中得到了广泛的应用。最近的方法显示了NeRFs在闭环仿真、AD系统测试以及作为先进的训练数据增强技术方面的潜力。然而，现有的方法往往需要较长的训练时间，密集的语义监督，或者缺乏泛化性。这反过来又阻碍了NeRFs在AD中的规模化应用。在本文中，我们提出了一种针对动态AD数据的鲁棒的新颖视图合成方法NeuRAD。我们的方法具有简单的网络设计，对相机和激光雷达广泛的传感器建模- -包括卷帘快门、光束发散和光线投射- -并且适用于盒子外的多个数据集。我们在五个流行的AD数据集上验证了其性能，达到了目前最先进的性能。为鼓励进一步开发，我们将公开发布NeuRAD源代码。
3. 效果展示
NeuRAD是一种为动态汽车场景量身定制的神经渲染方法。通过它，可以改变自车和其他道路使用者的姿态，以及自由添加和/或删除行动者。这些能力使得NeuRAD适合作为组件的基础，例如传感器逼真的闭环仿真器或强大的数据增强引擎。
4. 具体原理是什么？
NeuRAD为汽车场景的静力学和动力学学习一个联合神经特征场，其中两者仅由行动者感知哈希编码识别。落在执行器包围盒内的点被转换为执行器-局部坐标，并与执行器索引一起用于查询4D哈希网格。之后使用上采样CNN将体渲染的射线级特征解码为RGB值，并使用MLPs解码为射线下降概率和强度。
5. 和其他SOTA方法对比如何？
在五个数据集上与SOTA方法进行图像新视角合成性能比较。
Lidar新视角合成性能与SOTA方法的比较。
6. 总结
这篇文章提出了一种专门为动态自动驾驶( AD )数据量身定制的神经模拟器NeuRAD。该模型在360 °中联合处理激光雷达和相机数据，并将世界分解为静态和动态元素，允许创建真实世界驾驶场景的传感器可编辑克隆。NeuRAD融合了各种传感器现象的新颖建模，包括光束发散、光线下降和卷帘快门，提高了新视图合成的质量。
对更多实验结果和文章细节感兴趣的读者，可以阅读一下论文原文~
下载
在公众号「3D视觉工坊」后台，回复「 3dcv」,即可获取工业3D视觉、SLAM、自动驾驶、三维重建、事件相机、无人机等近千余篇最新顶会论文；巴塞罗那自治大学和慕尼黑工业大学3D视觉和视觉导航精品课件；相机标定、结构光、三维重建、SLAM，深度估计、模型部署、3D目标检测等学习资料。
3D视觉方向交流群成立啦
目前工坊已经建立了3D视觉方向多个社群，包括SLAM、工业3D视觉、自动驾驶、三维重建、无人机方向，细分群包括：
[工业3D视觉]相机标定、立体匹配、三维点云、结构光、机械臂抓取、缺陷检测、6D位姿估计、相位偏折术、Halcon、摄影测量、阵列相机、光度立体视觉等。
[SLAM]视觉SLAM、激光SLAM、语义SLAM、滤波算法、多传感器融合、多传感器标定、动态SLAM、MOT SLAM、NeRF SLAM、机器人导航等。
[自动驾驶]深度估计、Transformer、毫米波|激光雷达|视觉摄像头传感器、多传感器标定、多传感器融合、自动驾驶综合群等、3D目标检测、路径规划、轨迹预测、3D点云分割、模型部署、车道线检测、Occupancy、目标跟踪等。
[三维重建]NeRF、多视图几何、OpenMVS、MVSNet、colmap、纹理贴图等
[无人机]四旋翼建模、无人机飞控等
除了这些，还有求职、硬件选型、视觉产品落地、最新论文、3D视觉最新产品、3D视觉行业新闻等交流群
大家可以添加小助理*dddvisiona，备注：加群 方向 学校|公司, 小助理会拉你入群。
