AI 从单个雷达图像生成 3D 城市地图

AI 从单个雷达图像生成 3D 城市地图

首页休闲益智城市服务3D更新时间:2024-04-27

在重大灾难发生后的几个小时里,这些地图可以拯救生命。

由合成孔径雷达图像创建的3D地图可以在重大灾难发生后不久协助救援工作

一种新的机器学习系统可以从单个合成孔径雷达(SAR)图像创建城市环境的高度图,从而可能加速灾难规划和响应。

慕尼黑联邦国防军大学的航空航天工程师声称,他们的SAR2Height框架是第一个从单个SAR卫星提供完整(如果不是完美)三维城市地图的框架。

当地震摧毁一个城市时,信息可能供不应求。由于基本服务中断,很难评估造成了多大的破坏或哪里最需要人道主义援助。

一种新的机器学习系统可以从单个合成孔径雷达(SAR)图像创建城市环境的高度图,从而可能加速灾难规划和响应。

慕尼黑联邦国防军大学的航空航天工程师声称,他们的SAR2Height框架是第一个从单个SAR卫星提供完整(如果不是完美)三维城市地图的框架。

当地震摧毁一个城市时,信息可能供不应求。由于基本服务中断,很难评估造成了多大的破坏或哪里最需要人道主义援助。

“能够仅从[合成孔径雷达]产生3D真的是一场革命。—卡尔·普奇(CARL PUCCI),EO59

使用激光雷达系统的航空测量为3D测绘提供了金标准,但这种激光测距系统的购买和操作成本很高,即使没有重大灾难的额外后勤困难。

遥感是另一种选择,但如果该区域被云层或烟雾遮挡,光学卫星图像几乎毫无用处。

另一方面,合成孔径雷达无论白天还是黑夜都可以工作,无论天气如何。SAR是一种有源传感器,它使用从卫星向地球表面发射的信号的反射 - “合成孔径”部分来自雷达,使用卫星自身的运动来模拟更大的天线,以捕获具有相对较长波长的反射信号。有数十颗政府和商业SAR卫星在地球轨道上运行,其中许多卫星可以在几个小时内对新地点进行成像。

然而,SAR图像本质上仍然是二维的,可能比照片更难解释。这在一定程度上是由于一种称为雷达停留的效应,其中未受损的建筑物似乎正在向传感器倾倒。

“高度本身就是一个超级复杂的话题,”慕尼黑联邦国防军大学教授迈克尔·施密特说。“关于什么是高度有一百万个定义,在有意义的世界几何中将卫星图像转换为有意义的高度是一项非常复杂的工作。

施密特和他的同事迈克尔·雷克拉(Michael Recla)首先从TerraSAR-X卫星上获取了51个城市的SAR图像,TerraSAR-X卫星是公共德国航空航天中心(German Aerospace Center)和私人承包商空中客车防务与航天公司(Airbus Defence and Space)之间的合作项目。

然后,研究人员获得了相同城市的高质量高度图,这些地图主要由激光雷达测量生成,但也有一些是由携带立体摄像头的飞机或无人机生成的。下一步是在高度图和SAR图像之间进行一对一的像素到像素映射,他们可以在此基础上训练深度神经网络。

结果令人惊叹,施密特说。“我们纯粹在TerraSAR-X图像上训练了我们的模型,但开箱即用,它在其他商业卫星的图像上效果很好。他说,该模型只需几分钟即可运行,可以预测SAR图像中建筑物的高度,精度约为3米,相当于典型建筑物中单层的高度。

这意味着该系统应该能够发现城市中遭受严重破坏的几乎每座建筑物。

休斯顿大学(University of Houston)地球传感系统工程教授彼得罗·米利洛(Pietro Milillo)希望在美国宇航局(NASA)资助的地震恢复项目中使用施密特和雷克拉的模型。“我们可以从建筑物高度的地图变成建筑物倒塌概率的地图,”他说。本月晚些时候,米利略打算通过访问去年摩洛哥地震现场来验证他的申请,该地震造成2,900多人死亡。

“关于什么是高度有一百万个定义,将卫星图像变成有意义的高度......这是一项非常复杂的工作。—MICHAEL SCHMITT,慕尼黑联邦国防军大学

但施密特警告说,人工智能模型还远非完美。它很难准确预测摩天大楼的高度,并且偏向于北美和欧洲城市。这是因为发展中国家的许多城市没有定期的激光雷达测绘飞行来提供代表性训练数据。激光雷达飞行和SAR图像之间的间隔越长,建造或更换的建筑物就越多,模型的预测就越不可靠。

即使在较富裕的国家,“我们真的依赖于政府飞行激光雷达任务和公开数据的缓慢重访周期,”EO59的创始人卡尔·普奇(Carl Pucci)说,EO59是一家位于弗吉尼亚海滩的专门从事SAR软件的公司。“这太糟糕了。能够仅从SAR中生成3D将是一场革命。

一种新的机器学习系统可以从单个合成孔径雷达(SAR)图像创建城市环境的高度图,从而可能加速灾难规划和响应。

慕尼黑联邦国防军大学的航空航天工程师声称,他们的SAR2Height框架是第一个从单个SAR卫星提供完整(如果不是完美)三维城市地图的框架。

当地震摧毁一个城市时,信息可能供不应求。由于基本服务中断,很难评估造成了多大的破坏或哪里最需要人道主义援助。

“能够仅从[合成孔径雷达]产生3D真的是一场革命。—卡尔·普奇(CARL PUCCI),EO59

使用激光雷达系统的航空测量为3D测绘提供了黄金标准,但这种激光测距系统的购买和操作成本很高,即使没有重大灾难的额外后勤困难。

遥感是另一种选择,但如果该区域被云层或烟雾遮挡,光学卫星图像几乎毫无用处。

另一方面,合成孔径雷达无论白天还是黑夜都可以工作,无论天气如何。SAR是一种有源传感器,它使用从卫星向地球表面发射的信号的反射 - “合成孔径”部分来自雷达,使用卫星自身的运动来模拟更大的天线,以捕获具有相对较长波长的反射信号。有数十颗政府和商业SAR卫星在地球轨道上运行,其中许多卫星可以在几个小时内对新地点进行成像。

然而,SAR图像本质上仍然是二维的,可能比照片更难解释。这在一定程度上是由于一种称为雷达停留的效应,其中未受损的建筑物似乎正在向传感器倾倒。

“身高本身就是一个超级复杂的话题,”慕尼黑联邦国防军大学教授迈克尔·施密特说。“关于什么是高度有一百万个定义,在有意义的世界几何中将卫星图像转换为有意义的高度是一项非常复杂的工作。

施密特和他的同事迈克尔·雷克拉(Michael Recla)首先从TerraSAR-X卫星上获取了51个城市的SAR图像,TerraSAR-X卫星是公共德国航空航天中心(German Aerospace Center)和私人承包商空中客车防务与航天公司(Airbus Defence and Space)之间的合作项目。

然后,研究人员获得了相同城市的高质量高度图,这些地图主要由激光雷达测量生成,但也有一些是由携带立体摄像头的飞机或无人机生成的。下一步是在高度图和SAR图像之间进行一对一的像素到像素映射,他们可以在此基础上训练深度神经网络。

结果令人惊叹,施密特说。“我们纯粹在TerraSAR-X图像上训练了我们的模型,但开箱即用,它在其他商业卫星的图像上效果很好。他说,该模型只需几分钟即可运行,可以预测SAR图像中建筑物的高度,精度约为3米,相当于典型建筑物中单层的高度。

这意味着该系统应该能够发现城市中遭受严重破坏的几乎每座建筑物。

休斯顿大学(University of Houston)地球传感系统工程教授彼得罗·米利洛(Pietro Milillo)希望在美国宇航局(NASA)资助的地震恢复项目中使用施密特和雷克拉的模型。“我们可以从建筑物高度的地图变成建筑物倒塌概率的地图,”他说。本月晚些时候,米利略打算通过访问去年摩洛哥地震现场来验证他的申请,该地震造成2,900多人死亡。

“关于什么是高度有一百万个定义,将卫星图像变成有意义的高度......这是一项非常复杂的工作。—MICHAEL SCHMITT,慕尼黑联邦国防军大学

但施密特警告说,人工智能模型还远非完美。它很难准确预测摩天大楼的高度,并且偏向于北美和欧洲城市。这是因为发展中国家的许多城市没有定期的激光雷达测绘飞行来提供代表性训练数据。激光雷达飞行和SAR图像之间的间隔越长,建造或更换的建筑物就越多,模型的预测就越不可靠。

即使在较富裕的国家,“我们真的依赖于政府飞行激光雷达任务和公开数据的缓慢重访周期,”EO59的创始人卡尔·普奇(Carl Pucci)说,EO59是一家位于弗吉尼亚海滩的专门从事SAR软件的公司。“这太糟糕了。能够仅从SAR中生成3D将是一场革命。

施密特说,SAR2Height模型现在整合了来自177个城市的数据,并且一直在变得更好。“我们非常接近从单个SAR图像重建实际的建筑模型,”他说。“但你必须记住,我们的方法永远不会像经典的立体声或激光雷达那样准确。它将永远是一种最佳猜测的形式,而不是高精度的测量。

在大地震后的混乱中,即使是最好的猜测也总比没有好。

参见https://spectrum.ieee.org/synthetic-aperture-radar

查看全文
大家还看了
也许喜欢
更多游戏

Copyright © 2024 妖气游戏网 www.17u1u.com All Rights Reserved