北大最新开源 | 首次使用3D GS建模自动驾驶动态场景!

北大最新开源 | 首次使用3D GS建模自动驾驶动态场景!

首页模拟经营3D驾驶课2更新时间:2024-11-02

来源:3D视觉工坊

在公众号「3D视觉工坊」后台,回复「原论文」可获取论文pdf链接

添加*dddvisiona,备注:Gassian Splatting,拉你入群。文末附行业细分群

0. 笔者个人体会

最近3D GS在NeRF圈真是掀起了一股浪潮,不停地刷新NeRF的精度和渲染速度,还推广到了SLAM等很多领域。还有什么是3D GS做不到的呢?

还真有!原始的3D GS很难去建模大规模动态自动驾驶场景,尤其是很难处理包含动静结合区域和多个高速运动物体的复杂驾驶场景。

今天笔者将为大家分享一篇北大&谷歌&加州大学联合开源的最新工作DrivingGaussian,是第一个基于复合GS的大规模动态自动驾驶场景的建模框架,还能实现高保真和多相机一致的逼真环视合成。

下面一起来阅读一下这项工作,文末附论文和代码链接~

1. 效果展示

DrivingGaussian为周围的动态自动驾驶场景实现了真实感渲染性能,而其他方法(包括3D GS)要么产生大量伪影和模糊,要么很难重建几何细节。DrivingGaussian的思想是,引入复合GS,在复杂自动驾驶场景中高效地表示静态背景和多个动态对象。这里也推荐工坊推出的新课程《。

2. 具体原理是什么?

对于具有移动物体的复杂场景,DrivingGaussian首先使用增量静态3D Gaussians序列渐进地对整个场景的静态背景进行建模,然后利用复合动态Gaussian graph来处理多个移动对象,单独重建每个对象并恢复它们在场景中的准确位置和遮挡关系,最后进一步使用LiDAR先验进行GS来重建具有更多细节的场景并保持全景一致性。

3. 和其他SOTA方法对比如何?

nuScenes动态重建的定性比较,主要对比EmerNeRF和3D-GS。DrivingGaussian可以支持高速高质量地重建动态对象,同时保持时间一致性。

nuScenes上定量对比,Ours-S表示使用SfM初始化的驱动高斯模型,Ours-L表示使用LiDAR先验训练高斯模型。这里也推荐工坊推出的新课程《。

对更多实验结果和文章细节感兴趣的读者,可以阅读一下论文原文~

下载1

在公众号「3D视觉工坊」后台,回复「3d001」,即可获取工业3D视觉(结构光、缺陷检测、三维点云)、SLAM(视觉/激光SLAM)、自动驾驶、三维重建、事件相机、无人机等近千余篇最新顶会论文。

下载2

在公众号「3D视觉工坊」后台,回复「3d002」,即可获取巴塞罗那自治大学3D视觉课件、慕尼黑工业大学3D视觉和视觉导航精品课件。

下载3

在公众号「3D视觉工坊」后台,回复「3d003」,即可获取相机标定、结构光、三维重建、激光-视觉-IMU-GPS多模态融合SLAM、LOAM、ORB-SLAM3,深度估计、模型部署、3D目标检测等学习课件。注:非完整版。

第一步 加入行业交流群,保持技术的先进性

目前工坊已经建立了3D视觉方向多个社群,包括SLAM工业3D视觉自动驾驶三维重建无人机方向,细分群包括:

[工业3D视觉]相机标定、立体匹配、三维点云、结构光(面/线/散斑)、机械臂抓取(2D/3D)、2D缺陷检测、3D缺陷检测、6D位姿估计、相位偏折术、Halcon、光场重建、摄影测量、阵列相机、偏振三维测量、光度立体视觉、激光雷达、综合群等。

[SLAM]视觉SLAM、激光SLAM、ORB-SLAM、Vins-Fusion、LOAM/LeGo-LOAM、cartographer、VIO、语义SLAM、滤波算法、多传感器融合、多传感器标定、MSCKF、动态SLAM、MOT SLAM、NeRF SLAM、FAST-LIO、LVI-SAM、LIO-SAM、事件相机/GPS/RTK/UWB/IMU/码盘/TOF(iToF/dToF)/激光雷达/气压计/毫米波雷达/RGB-D相机/超声波等、机器人导航、综合群等。

[自动驾驶]深度估计、Transformer、毫米波|激光雷达|视觉摄像头传感器、多传感器标定、多传感器融合、自动驾驶综合群等、3D目标检测、路径规划、轨迹预测、3D点云分割、模型部署、车道线检测、Occupancy、目标跟踪、综合群等。

[三维重建]NeRF、多视图几何、OpenMVS、MVSNet、colmap、纹理贴图等

[无人机]四旋翼建模、无人机飞控等

除了这些,还有求职、硬件选型、视觉产品落地、最新论文、3D视觉最新产品、3D视觉行业新闻等交流群

大家可以添加小助理微信: dddvisiona,备注:加群 方向 学校|公司, 小助理会拉你入群。


查看全文
大家还看了
也许喜欢
更多游戏

Copyright © 2024 妖气游戏网 www.17u1u.com All Rights Reserved