点-线特征联合的全景图像位姿解算方法（点和线）

摘要

目前，全景图像位置和姿态参数的解算多基于点特征，而场景中普遍存在的线特征尚未得到充分利用。本文提出一种点-线特征联合的全景图像位姿解算方法，不仅可用于点特征缺失场景中全景图像位姿参数的解算，而且在点特征充足的场景中可提高位姿解算的精度和稳健性。该方法中的线特征使用线上的任意两点表示，不要求全景图像和三维场景同名线上的选点具有对应关系，因而易于选取，具有极大的实用性。首先，使用直接线性变换构建点-线特征联合的全景图像位姿解算模型，并针对水平线和垂直线获取简化后的模型；然后，利用仿真道路场景，从特征点和线的不同组合方式及大姿态角两方面分析该模型的适用性，并通过人工引入不同类型及量级的点-线误差分析该模型的容差性；最后，将本文方法应用于全景图像与激光点云的融合，从理论和实践两方面证明点-线特征联合的位姿解算方法在精度、稳健性和容差性方面优于单纯的点特征解算方法。这里也推荐「3D视觉工坊」新课程。

关键词全景图像；点-线特征联合；位姿解算；仿真分析；全景图像与激光点云融合

引言

准确、稳健地获取全景图像的位姿参数是一项基础且关键的工作。目前线特征在航空影像的位姿解算中得到了较为广泛的应用，但全景图像的位姿解算仍多基于点特征，而真实场景中普遍存在的线特征尚未得到充分利用，如建筑物轮廓、杆状地物等，且缺少点-线特征联合的全景图像位姿解算模型。因此，本文提出一种点-线特征联合的全景图像位姿解算方法，其中，点特征可直接计算位置和姿态参数，线特征可对姿态参数进行约束，将点-线特征结合有利于提高全景图像位姿解算的精度和稳健性。

作者：鱼骨 | 来源：计算机视觉工坊

在公众号「3D视觉工坊」后台，回复「原论文」即可获取论文pdf。

添加*dddvisiona，备注：自动驾驶，拉你入群。文末附行业细分群。

方法

本文方法流程如图1所示。

图1 本文方法流程

1、点-线特征联合的全景图像位姿解算模型

1.1、基于点特征的全景图像位姿解算模型

目前最常用的是球面全景图像，如图2所示，球面模型分别以竖直角()和水平角()表示全景图像的行和列坐标，属于等角投影成像。

图2 全景图像的位置和姿态参数

点模型可表示为：

式中参数分别为：

其中，、为地物点(, , )在全景图像上的行和列坐标。点模型中的待求解矩阵 X 包含11个参数(, , …, )，因此至少需要6对同名特征点( ≥6 )进行解算。在计算出 X 后可求解姿态矩阵和位置参数。

1.2、基于线特征的全景图像位姿解算模型

三维空间中直线上任意两点、和成像位置( , , )的共面方程可表示为：

根据共面特性，使用全景图像中对应直(曲)线上的任意两点

分别替换、，可将上式表示为：

其中：

因此，线模型可表示为：

1.3、点-线特征联合的全景图像位姿解算模型

综合点特征和线特征的全景图像位姿解算模型，可得点-线特征联合的全景图像位姿解算模型，如下式所示：

上式为对同名点和对同名线组成的联合模型。在平差求解出后,可计算姿态矩阵和位置参数( , , )。

针对垂直线特征，即 Δ=Δ=0，联合模型可简化为：

针对水平线特征，即Δ=0，联合模型可简化为：

式中，表示水平线的斜率，计算公式如下：

1.4、联合模型的精度评价指标

解算出后获取检查点在全景图像中的俯仰角和水平角(', ')：

基于下式计算各个检查点的模型误差()和模型求解中误差()，为联合模型的精度评价指标：

式中，、为检查点在全景图像中的真实行、列坐标，为检查点的个数。

2、联合模型的仿真分析

使用仿真数据检验联合模型的适用性和容差性。首先，仿真道路场景点云，由此可获取不同位姿参数下的虚拟全景图像；然后，从特征点和线的不同组合方式分析联合模型的适用性；在特征点和线最少条件下检验该模型的适用性，如图3所示分别试验2点 7线、3点 5线、4点 3线和5点 1线这4种组合方式。结果表明4种组合下模型误差均为0像素，由此证明联合模型在不同特征点和线组合情况下的适用性，同时也表明联合模型可用于点特征缺失场景中全景图像位姿参数的解算。