高效单对应投票用于点云配准
摘要
3D点云配准是远程感知制图、计算机视觉、虚拟现实和自动驾驶等多个领域中的关键任务。然而,由于噪声、不均匀性、局部重叠缺失以及大型场景点云中重复局部特征等挑战,该任务仍然具有挑战性。在本文中,我们提出了一种用于大型场景点云配准的高效单对应投票方法。具体而言,我们首先提出了一种名为SCVC的高效假设变换预测方法,该方法通过单一对应关系确定变换的5个自由度,然后使用霍夫投票来确定最后一个自由度。该算法能够显著提升室内和室外场景的配准精度。另一方面,我们提出了一种更鲁棒的变换验证函数VDIR,能够获取两幅原始点云的最优配准结果。最后,我们进行了一系列实验,证明我们的方法在四个真实世界数据集(3DMatch、3DLoMatch、KITTI和WHU-TLS)上达到了最先进的性能。我们的代码可在https://github.com/xingxuejun1989/SCVC.
##获取 Authors
Xuejun Xing 中国科学院大学人工智能学院,北京,中国 ORCID: 0009-0007-9295-8206
Zhengda Lu 中国科学院大学人工智能学院,北京,中国 ORCID: 0000-0002-9581-2268
Yiqun Wang 重庆大学计算机学院,重庆,中国
Jun Xiao 中国科学院大学人工智能学院,北京,中国 ORCID: 0000-0002-1799-3948
出版信息
期刊: IEEE Transactions on Image Processing 年份: 2024 卷号: 33 页码: 2116-2130 DOI: 10.1109/TIP.2024.3374120 文章编号: 10471280 ISSN: Print ISSN: 1057-7149, Electronic ISSN: 1941-0042
指标
论文引用数: 5 总下载量: 1383
资助
中国国家自然科学基金(项目:U21A20515, U2003109, 62102393, 62206263, 62271467, 62202076 和 62306297)
中国博士后科学基金(项目:2022T150639 和 2021M703162)
重庆自然科学基金(项目:CSTB2023NSCQ-BSX0004 和 CSTB2022NSCQ-MSX0924)
国家机器人与系统重点实验室 哈尔滨工业大学 (HIT)
中央高校基础科研基金
关键词
IEEE 关键词: 点云压缩, 迭代方法, 三维显示, 特征提取, 深度学习, 计算效率, 任务分析
Index Terms: 点云, 点云配准, 自由度, 局部特征, 真实世界数据集, 配准精度, 户外场景, 配准结果, 原始点云, 计算效率, 百分点, 局部对齐, 奇异值分解, 基于学习的方法, 对应点, 特征匹配, 配准方法, 低重叠, 局部坐标系, 局部配准, 迭代最近点, 全局配准, 低计算效率, 最终变换, 验证指标, 转化体数, 配准问题, 高异常值, 平移向量, 点对
Author Keywords: 单一对应投票, 视角偏差距离, 配准, 3D 点云
未定义
第一节:引言
点云代表了场景表面的最直接的三维结构信息,在环境监测、地质勘测、大规模城市重建、无人驾驶等众多应用中发挥着关键作用。 1。近年来,随着3D扫描技术的快速发展,获取各种场景(如室内、大规模城市和荒野环境)的点云变得更加便捷和经济。然而,由于遮挡和视角受限,单一扫描的点云只能表示场景有限的内容。实际上,需要从多个视角获取一系列点云帧,才能重建完整的场景,如图1所示。
图1. (a) Lab [2]、(b) Mountain [3]和(c) RiverBank [3]的大场景配准。左侧为两组点云的输入,右侧为我们的配准结果。
点云配准是三维场景重建的关键组成部分,其涉及在三维空间中寻找最优的欧几里得变换,以对齐两组点云,使其能够在共同的参考框架下表示 2、3、4。计算机视觉领域的研究人员提出了大量创新的点云配准方法。这些方法大体上可分为两类:全局配准(e.g., ICP 5、FGR 6、和 DGR 7)) 和局部迭代采样对齐(e.g., RANSAC 8、SC2-PCR 9、和 LGR 10))。全局配准包括基于对应集的整体预测对齐变换和端到端的深度学习方法。然而,这些方法容易受到点云中重复几何特征和非重叠区域的影响,尤其在大场景中,这阻碍了它们的泛化 11、12。
本研究聚焦于局部迭代采样方法,这些方法已被广泛研究并在点云配准中取得了卓越的成果。 这些方法通常通过一组局部特征对应点对来生成假设变换。 随后,它们在验证策略后挑选评估指标最高的最优变换作为最终结果。 然而,这些方法存在两个主要问题。 首先,变换的计算至少需要三组点对应,这大大提高了采样异常值的概率,因为它们不可避免地包含在对应集 13 中。 为解决此问题,某些方法如 RANSAC 14 和 4PCS 15 通常采用大量迭代采样来获取无异常值的子集,但这导致计算效率低下。 另一方面,它们通常通过最大化内点集合 16, 17, 18 来验证最终变换,但这并不总是可靠,尤其是在低重叠比时。 如图 2 所示,我们分析了具有最大内点数的负配准结果比例。 随着重叠比降低,具有最大内点数的负配准结果比例上升,即使在 ICP 优化后也无法有效提升。
图 2. 在不同重叠点云下,具有最大内点数的变换的负配准分布。所有配准均通过穷举方法从 3 对对应点确定,并经过 ICP 进行优化。这里,图例中的数字表示对应集的大小,ICP_P 表示 ICP 校正后的正向结果,ICP_N 为负向结果,二者之和为 ICP 前的负配准;(a) 左侧为 FPFH 对应点,(b) 右侧为 FCGF 对应点。
在本文中,我们提出了一种高效的单对应投票方法用于点云配准。具体而言,我们首先介绍了基于单点对应投票与聚类的假设变换预测方法(SCVC)。SCVC利用单点对应实现点对的局部对齐,并使用霍夫投票完成点云的整体配准。该方法仅需一次对应即可计算变换,将算法复杂度降低到 O(N_{c}),其中 N_{c} 为点对应的数量。理论上,我们的方法在每次迭代生成正确结果的概率为 p,其中 p 为对应集合中的内点比例。相比之下,RANSAC 的概率仅为 p^{k},其中 k 是每次迭代采样对应的数量,最小值为 3 19。因此,我们的方法显著提升了室内外场景的配准性能。另一方面,我们提出了更鲁棒的验证函数 VDIR,它结合视角偏差距离与内点数量。该函数对负面假设变换更为敏感,能够更好地处理局部特征重复(如地面和建筑墙面)以及小重叠配准问题。最后,我们进行了一系列广泛实验以验证我们方法的有效性,在四个真实世界的室内外基准数据集上实现了最先进的配准性能。与此同时,在低重叠数据集 3DLoMatch 上,我们取得了显著提升,FCGF、Predator 和 GeoTransformer 三个描述子分别提高了 8.0%、7.0% 和 4.2%。
总而言之,本文提出了以下贡献:
一种新颖的点云配准方法,能够处理异常值、噪声和重复的局部特征。
一种高效的假设变换预测方法 SCVC,能够显著提升室内外场景的配准性能。
一个更健壮的变换验证函数 VDIR,可获取两块原始点云的最优配准结果。
第二节. 相关工作
在本节中,我们概述了点云配准所使用的关键技术。一般而言,这些技术可分为两个主要领域:全局配准方法和局部迭代采样配准。
A. 全局配准方法
在近几十年里,已有多项工作聚焦于点云配准的全局方法。主要研究热点有两类:基于对应关系的全局配准以及基于深度学习的端到端回归对齐变换。早期,Arun 等人 20 提出了使用 SVD 方法求解三维点云的对齐变换,但该方法受到离群点影响很大。随后,报道了迭代最近点 (ICP) 21 及其众多变体 22、23、24、25、26,每一次迭代都需要寻找最近对应并估计变换。由于其配准精度受到初始值和重叠比例的严重限制,主要被广泛用于点云细配。与点对应关系相比,一些研究者也提出了概率模型的配准方法,如 NDT 27 和相干点漂移 (CPD) 28。Zhou 等人 29 提出了基于 Black-Rangarajan 对偶性 30 与逐步非凸性的全局配准方法 FGR。FGR 首先利用局部特征进行点匹配,然后依据几何关系和一对一对应过滤离群点,最后使用逐步非凸性拒绝离群点并求解最优变换。这些非学习型全局配准方法易受对应关系中的初始值或离群点影响,其鲁棒性和适用范围有限。
近年,端到端的无对应深度学习回归配准方法也取得了一定成果。Aoki 等人 31 提出了基于 Pointnet 的 PointnetLK。PointnetLK 的核心思路是先将点映射到高维空间,并通过无 T-net 模块的 PointNet 网络获取全局特征,然后基于经典的 LK 光流图像配准算法进行点云配准。Huang 等人 32 提出了一种端到端的半监督特征度量配准方法。该方法以半监督或无监督方式训练,是一种类似于 PointNetLK 的迭代式渐进配准网络。该特征网络能够在有限或无配准标签数据的情况下学习提取独特的配准特征,从而在监督到无监督的过程中做出相对较大的贡献。Xu 等人 33 提出了基于点云重叠区域预测的端到端迭代网络 OMNet,用于 3D 刚体变换估计。OMNet 的最大创新之处在于设计了一个可学习模块,用来预测点云的重叠区域。这些方法都通过迭代的端到端网络完成点云配准,具有低计算资源占用和高计算效率的特点,但在提取鲁棒全局特征和对齐变换回归方面仍需进一步研究。
B. 本地迭代采样配准
这些方法主要通过迭代采样生成假设的对齐变换,然后验证这些假设变换以获得最优结果。 随机采样一致性算法 (RANSAC) 34 是一种随机参数估计算法,用于从包含离群点的观测数据集中估计数学模型的参数,并在点云配准中有广泛的应用 35, 36, 37。 Barath 等人 [^30] 提出了基于图割的 RANSAC 变体参数估计算法 GC-RANSAC。 GC-RANSAC 的主要贡献是使用图割算法在局部优化中区分内点和离群点。 杨 等人 [^31] 开发了 Loose-Tight Geometry Voting (LT-GV) 点云配准方法,他们在点对应构建图中使用松散和紧密的几何约束来评分并选择排名最高的对应关系,从而生成变换假设。 然而,该方法的计算复杂度为 O(N_{c}^{2}),其中 N_{c} 为点对应数量,导致计算效率低下。 Trivoc [^32] 是另一种基于几何关系的方法。 它将最小 3 点集选择分解为三个连续层,每层包含基于等长约束的高效投票和对应排序算法。 虽然该方法在高离群点场景下表现出卓越的鲁棒性,但在变换假设的验证方面仍有缺陷。 陈 等人 38 提出了基于二阶空间兼容性 (SC2) 测量的点云配准方法 (SC2-PCR)。 SC2-PCR 使用 SC2 构造每个对应关系的相似度矩阵,然后选择可靠种子点与附近对应关系形成一致性集合,并使用加权 SVD 计算每个一致性集合的变换矩阵。 最后,选择内点比率最大的变换作为最终结果。 MAC [^33] 利用松弛的最大团约束,从由点云构造的图中提取局部共识信息,从而生成精确的姿态假设。
虽然该方法在传统应用中表现出鲁棒性,但在处理具有大量重复特征和离群点的场景中的配准问题时面临挑战。此外,随着点对应数的增加,计算时间急剧上升。
虽然这些局部迭代采样点云配准方法具有更好的鲁棒性和泛化性能,但它们大多数也存在两个缺点。首先,它们通常通过大量迭代采样获得最优变换,这会增加后续验证的计算量,计算效率低下。其次,配准变换的验证指标主要使用内点率或重叠比例,这些指标不可靠且对重叠、离群点、重复局部特征以及部分重叠非常敏感。
此外,一些学者还提出了基于深度学习的迭代采样点云配准方法。 Deng et al. [^34]提出了一个基于块对应的两层结构配准网络。 该网络首先将每个点云分别输入到PPF-FoldNet和PC-FoldNet这两个网络中,并分别提取结构信息和位姿信息的特征。 随后,通过相减得到仅包含位姿信息的特征向量,并使用RelativeNet对该特征进行对齐变换回归,以获得候选对齐变换,最后验证所有假设。 Bai et al. [^35]提出了基于空间关系一致性约束的异常点剔除深度学习网络 PointDSC。 类似于RANSAC,PointDSC选择多个高置信度的种子及其对应的字段作为子集来求解R、t。 最终,选择内点率最高的R和t作为最佳对齐变换。 Qin et al. 39提出了局部到全局配准方法(LGR)。 LGR首先基于加权SVD为每组对应关系预测候选变换矩阵,然后评估所有候选变换的性能。 最佳对齐变换具有最大的内点比例。 VBReg [^36]利用一种新颖的变分非局部网络进行异常点剔除。 它引入了基于Wilson得分的投票机制来搜索高质量的假设,并提供了其优于RANSAC的理论证明。 尽管这些基于学习的方法的计算效率已大幅提升, 与传统局部迭代采样配准方法类似,后验假设变换的验证指标主要采用内点比例。 同时,深度学习网络需要昂贵的硬件资源 40。
第三节. 方法
A. 概述
本文提出了一种高效的单点对应投票方法,用于点云配准。我们的算法输入包括一对带法向量的点云,分别命名为 source \mathcal {P} 和 target \mathcal {Q},以及它们各自的特征 \mathcal {F}_{\mathcal {P}} 和 \mathcal {F}_{\mathcal {Q}}。此外,输入参数还包括点云 \mathcal {P} 和 \mathcal {Q} 的射击视角 V_{p} 与 V_{q}。我们方法的目的在于确定一个对齐变换 \mathbf {T},其由一个 3\times 3 旋转矩阵 \mathbf {R} 与一个 3D 平移向量 \mathbf {t} 表示,用以将 source \mathcal {P} 变换为 target \mathcal {Q}。
图 3 展示了我们的算法在一个简单案例中的整体框架,由五个主要组成部分构成。 在预处理阶段,我们首先使用体素下采样算法对输入点云 \mathcal {P} 与 \mathcal {Q} 进行下采样,以获得稀疏点云。 随后,我们执行特征匹配以建立 \mathcal {F}_{\mathcal {P}} 与 \mathcal {F}_{\mathcal {Q}} 的初始匹配,并通过优化来减少离群点。
图 3. 所提出方法的流程图: (a) 对输入源点云和目标点云进行下采样。 (b) 特征匹配,初始根据输入特征进行匹配,然后提取高质量对应关系集合并进行离群点过滤。 (c) 投票对相应点对应用霍夫投票并生成假设变换,其中 c_{p} 与 c_{q} 表示点对应关系,c 是 c_{p} 与 c_{q} 的局部对齐点,(c,p_{e}) 与 (c,q_{e}) 表示具有相似 \mathbf {PPF} 特征的点对。 (d) 对相似变换进行聚类,N_{clu} 表示聚类后变换的数量。 (e) 验证,执行变换验证并获得最终变换,N_{clu}^{v} 表示用于验证的变换数量。
然后,我们根据 SCVC 模块生成假设变换,在该模块中我们首先通过对应点对的 Hough 投票计算初始变换,然后通过聚类步骤聚合相似的变换。值得注意的是,我们方法中的投票过程受到 Drost-PPFM [^37] 的启发,同时我们都使用点对特征(\mathbf {PPF})进行投票,该特征由两个方向点的相对位置和方向 [^37] 编码。具体而言,给定一个点对 p_{r} 和 p_{t},其法向量分别为 \mathbf {n}_{r} 和 \mathbf {n}_{t},则 \mathbf {PPF} 是一个不对称的 4 维向量,定义为:
\begin{equation*} \mathbf {PPF}(p_{r},p_{t}) = (||\mathbf {d}||_{2}, \angle (\mathbf {n}_{r},\mathbf {d}), \angle (\mathbf {n}_{t},\mathbf {d}), \angle (\mathbf {n}_{r},\mathbf {n}_{t})), \tag{1}\end{equation*}
其中 \mathbf {d} = p_{t} - p_{r}、\angle (\mathbf {a},\mathbf {b}) 表示向量之间的夹角。 此外,在我们的方法中使用 \mathbf {PPF} 特征时存在显著差异,后续章节将对此进行详细说明。 最后,我们基于 VDIR 进行假设验证操作,以过滤负变换并预测最终的对齐变换。 在接下来的章节中,我们将详细描述完整且改进后的点云配准算法。
B. 下采样与特征匹配
一般来说,直接对高密度且点数众多的点云进行配准效率过低。因此,我们首先将输入点云 \mathcal {P} 和 \mathcal {Q} 通过简洁高效的体素下采样算法下采样,得到稀疏点云 \mathcal {P}' 和 \mathcal {Q}'。另一方面,Drost-PPFM 直接将采样点作为 PPF 的起始点,全面构建点对对应关系,这既耗时又低效。因此,我们基于输入特征 \mathcal {F}_{\mathcal {P}} 和 \mathcal {F}_{\mathcal {Q}} 进行特征点匹配,以生成点对应关系作为 Hough 投票的输入。
具体来说,我们首先建立一个初始点对应集合。该过程涉及使用余弦距离测量特征 \mathcal {F}_{\mathcal {P}} 与 \mathcal {F}_{\mathcal {Q}} 之间的距离,并在 \mathcal {F}_{\mathcal {P}} 内寻找其最近特征点在 \mathcal {F}_{\mathcal {Q}} 中的对应点以建立点对应关系。然后,我们采用双向一致性策略 [^38] 以从初始对应集合中过滤异常值。在此过程中,我们选择不采用更高性能的空间一致性 [^35] 与邻域一致性 [^38]、[^39] 策略,因为它们的计算效率低于双向一致性。最后,我们为点对应关系计算最近邻距离比(NNDR)得分 [^40]、[^41],并提取得分最低的 N_{c} 个对应关系作为最终对应集合 \mathcal {C}。NNDR 定义如下:
\begin{equation*} {\mathrm{ NNDR}}=\frac {d({\mathcal {F}}_{p},{\mathcal {F}}_{q}^{1st})}{d({\mathcal {F}}_{p},{\mathcal {F}}_{q}^{2nd})}, \tag{2}\end{equation*}
其中 d({\mathcal {F}}_{p},{\mathcal {F}}_{q}) 是特征 {\mathcal {F}}_{p} 与特征 {\mathcal {F}}_{q} 之间的距离,{\mathcal {F}}_{p} 是点 p 在 source \mathcal {P} 的局部特征,{\mathcal {F}}_{q}^{1st} 与 {\mathcal {F}}_{q}^{2nd} 分别是特征 {\mathcal {F}}_{p} 在 target \mathcal {Q} 上最近邻和第二近邻的局部特征。
C. 单点对应投票模块
RANSAC 41、42 生成了需要至少 3 个点对应的假设变换,而 LGR 43 则使用超点生成局部对应集合。这些方法增加了采样异常值的概率,从而影响配准性能。因此,我们提出了一种基于 Hough 投票的单点对应变换生成方法,如图 4 所示,显著提升了点云配准的性能。
Fig. 4. 单点对应投票模块的示意图 (c_{p},c_{q}) : (a) \mathcal {P}' 与 \mathcal {Q}' 的局部对齐,确保 c_{p} 与 c_{q} 的坐标和法线在重叠点 c 上重合; (b) \mathbf {PPF} 在累加向量 $\alpha $ 的作用下投票,当对 (c,p_{e}) 按逆时针围绕 c 的法线旋转角度 $\alpha $ 后与 (c,q_{e}) 重合,(c,p_{e}) 与 (c,q_{e}) 是具有相似 \mathbf {PPF} 特征的点对,且 $\alpha $ 表示旋转角度,取值范围为 [0, 360); (c) 投票直方图中的最高票数; (d) 由点对 \mathbf {PPF}\text{s} 生成的相似 \mathbf {PPF} 对应; (e) 假设注册。
一般而言,点云配准可以表述为估计具有 6 个自由度(DOF)的变换矩阵的问题 44, [^42]。然而,具有法线的单点对应只能确定 5 个自由度的变换,即 2 个自由度的旋转和 3 个自由度的平移,无法实现如图 4(a) 所示的全局配准。因此,我们首先对单点对应进行局部对齐,然后基于霍夫投票估计整体变换。
1) 局部对齐:
在此,我们使用局部配准实现单点对应的对齐。具体来说,我们首先为对应 (c_{p},c_{q}) 中的两点计算局部坐标系,并给出计算公式如下:
\begin{align*} \mathcal {O}_{c_{p}} &= [\mathbf {n}_{c_{p}}, \mathbf {n}_{c_{p}} \times \mathbf {n} _{c_{q}}, \mathbf {n}_{c_{p}} \times (\mathbf {n}_{c_{p}} \times \mathbf {n} _{c_{q}})], \\ \mathcal {O}_{c_{q}} &= [\mathbf {n}_{c_{q}}, \mathbf {n}_{c_{p}} \times \mathbf {n} _{c_{q}}, \mathbf {n}_{c_{q}} \times (\mathbf {n}_{c_{p}} \times \mathbf {n} _{c_{q}})], \tag{3}\end{align*}
其中运算符 \times 表示向量叉乘,\mathcal {O}_{c_{p}} 与 \mathcal {O}_{c_{q}} 分别是点 c_{p} 与点 c_{q} 的局部坐标系,\mathbf {n}_{c_{p}} 与 \mathbf {n}_{c_{q}} 分别是点 c_{p} 与点 c_{q} 的法线。
然后,我们计算将c_{p}与c_{q}通过局部坐标系\mathcal {O}_{c_{p}}和\mathcal {O}_{c_{q}}对齐的变换,公式如下:
\begin{align*} \mathbf {T}_{p \rightarrow q}^{l}& = \begin{bmatrix} \mathbf {R}^{l} & \quad \mathbf {t}^{l} \\ 0 & \quad 1 \end{bmatrix}, \\ \mathbf {R}^{l}&=\mathcal {O}_{c_{q}} \cdot \mathcal {O}_{c_{p}}^{\mathsf {-1}}, \\ \mathbf {t}^{l}&= {c_{q}} - \mathbf {R}^{l}{c_{p}}, \tag{4}\end{align*}
其中,旋转矩阵 \mathbf {R}^{l} 将法向量 \mathbf {n}_{c_{p}} 与法向量 \mathbf {n}_{c_{q}} 对齐,\mathbf {t}^{l} 将点 {c_{p}} 平移到点 c_{q}。最终,我们通过变换 \mathbf {T}_{p \rightarrow q}^{l} 在单点对应 (c_{p},c_{q}) 的情况下实现了 \mathcal {P}' 与 \mathcal {Q}' 的局部对齐,如图 4(a) 所示。
2) 整体对齐:
在 Drost-PPFM 中,它们直接根据最大投票位置信息(PPF 和角度)生成变换,这对于点云配准并不十分准确。类似地,在基于局部对齐的基础上直接旋转最大投票角度 \alpha 以围绕法向量 \mathbf {n}_{c_{q}} 旋转也是不准确的。因此,我们首先在 {\mathcal {P}}^{l} 和 \mathcal {Q}' 中通过 Hough 投票确定 \mathbf {PPF} [^37]、[^43] 对应关系,然后基于对应点集 45 的最小二乘拟合实现整体配准。
具体而言,我们首先使用局部共线点 c 作为起始点,并以局部对齐的下采样点云 {\mathcal {P}}^{l} 上的一个点作为终点来编码局部特征 \mathbf {PPF}。 随后,我们根据这些特征生成特征描述哈希表 \mathbf {H}。 此外,我们使用点云 \mathcal {Q}' 上的点 q_{j} 作为终点来生成 \mathbf {PPF}(c,q_{j}),并按顺序与 \mathbf {H} 投票。 投票的详细过程如图 4(b) 所示。 我们首先在哈希表 \mathbf {H} 中查找特征 \mathbf {PPF}(c,q_{j}) 的相似特征 \mathbf {PPF}(c,p^{l}_{i}) 并投票到累加向量。 由于我们已采用局部配准实现单点对应的对齐,我们可以使用一维向量进行投票,即旋转角度的分组。 计算投票位置 \alpha 的公式如下:
\begin{align*} \alpha =\begin{cases} \displaystyle \arccos \left({\frac {\mathbf {v}_{p^{l}_{i}}^{\perp} \cdot \mathbf {v}_{q_{j}}^{\perp} }{||\mathbf {v}_{p^{l}_{i}}^{\perp} || \cdot ||\mathbf {v}_{q_{j}}^{\perp} ||} }\right), &\quad dir > 0\\ \displaystyle 2\pi -\arccos \left({\frac {\mathbf {v}_{p^{l}_{i}}^{\perp} \cdot \mathbf {v}_{q_{j}}^{\perp} }{||\mathbf {v}_{p^{l}_{i}}^{\perp} || \cdot ||\mathbf {v}_{q_{j}}^{\perp} ||} }\right), &\quad dir < 0\\ \displaystyle 0, &\quad dir=0, \end{cases} \tag{5}\end{align*}
其中
\begin{align*} \mathbf {v}_{p^{l}_{i}}^{\perp} &=\overrightarrow {cp^{l}_{i}}-(\overrightarrow {cp^{l}_{i}}\cdot \mathbf {n} _{c_{q}}) \mathbf {n}_{c_{q}}, \\ \mathbf {v}_{q_{j}}^{\perp} &=\overrightarrow {cq_{j}}-(\overrightarrow {cq_{j}}\cdot \mathbf {n} _{c_{q}}) \mathbf {n}_{c_{q}}, \\ dir &= (\mathbf {v}_{p^{l}_{i}}^{\perp} \times \mathbf {v}_{q_{j}}^{\perp}) \cdot \mathbf {n} _{c_{q}}, \tag{6}\end{align*}
||\cdot || 表示向量的长度。 此过程如图 5 所示。
Fig. 5. 投票位置 $\alpha $ 计算的说明。 $\alpha $ 是平面 \pi _{2} 绕旋转轴 \mathbf {n}_{c_{q}} 逆时针旋转到平面 \pi _{1} 的角度。 \pi _{1} 是点 q_{j} , c ,与法线 \mathbf {n}_{c_{q}} 共面的平面,且 \pi _{2} 是点 p_{i}^{l} , c ,与法线 \mathbf {n}_{c_{q}} 共面的平面。
在霍夫投票后,我们得到\mathbf {PPF}对应关系,这些对应关系获得了最高投票数,如图4(c)所示。 这些相似特征的端点可以建立对应点集\mathbf {C}'。 同时,我们将\mathbf {C}'中的点转换为未局部对齐的下采样点云\mathcal {P}'和\mathcal {Q}',如图4(d)所示。 接下来,我们使用\mathbf {C}'、旋转矩阵\mathbf {R}_{c}和变换\mathbf {T}_{c}的平移向量\mathbf {t}_{c}来计算最优整体变换\mathbf {T}_{c},计算结果如下:
\begin{equation*} \mathbf {T}_{c}(\mathbf {R}_{c},\mathbf {t}_{c}) =\mathop {\arg \min }_{\mathbf {R},\mathbf {t}} \sum \limits ^{N_{C'}}_{i=1}{||\mathbf {R}c'_{p,i}+\mathbf {t}-c'_{q,i}||}, \tag{7}\end{equation*}
其中 N_{C'} 是集合 \mathbf {C}' 的基数,c'_{p,i} 和 c'_{q,i} 是集合 \mathbf {C}' 中对应点的 i{-}th。该公式表示旋转变换 \mathbf {R} 和平移向量 \mathbf {t} 的值,它们能最小化对应点的对齐误差。方程 7 可使用奇异值分解 (SVD) 46 求解,并得到对应关系 (c_{p},c_{q}) 的假设变换 \mathbf {T}_{c},如图 4(e) 所示。总之,我们可以通过对集合 \mathcal {C} 中的所有对应关系投票,生成一组假设对齐变换 \mathcal {T}。
D. 变换聚类与验证
这些候选变换通常因局部对应约束而导致全局配准的对齐不正确。另一方面,具有最高投票分数的变换可能由于传感器噪声和背景杂波而不是正确的变换。因此,我们进行后处理步骤,包括变换聚类和假设验证,以在 \mathcal {T} 中搜索最优全局变换。
1) 变换聚类:
由于内点对应关系的变换相似以及存在冗余候选变换,我们最初对相似变换进行聚类,以提升变换验证的效率。为评估变换的相似度,我们定义了一个四点集合 \mathbf {FP}_{ \mathcal {P}}^{c},这可以减少超参数的数量。该集合包括点云 \mathcal {P} 的包围盒中心点 \mathbf {c}_{ \mathcal {P}}=(c_{x}, c_{y}, c_{z}) 以及三个辅助点 \mathbf {p}_{aux}^{1}=(c_{x}-d_{ \mathcal {P}}, c_{y}, c_{z})、\mathbf {p}_{aux}^{2}=(c_{x}, c_{y}-d_{ \mathcal {P}}, c_{z}) 和 \mathbf {p}_{aux}^{3}=(c_{x}, c_{y}, c_{z}-d_{ \mathcal {P}}),其中 d_{ \mathcal {P}} 是点云 \mathcal {P} 的包围盒对角线长度。具体而言,变换相似度的计算方法如下:
\begin{equation*} e_{i,j}=1/4*\sum _{k=1}^{4} {\Vert (\mathbf {T}_{i}*\mathbf {FP}_{ \mathcal {P},k}^{c})- (\mathbf {T}_{j}*\mathbf {FP}_{ \mathcal {P},k}^{c})\Vert }, \tag{8}\end{equation*}
其中 \mathbf {FP}_{ \mathcal {P},k}^{c} 表示集合 \mathbf {FP}_{ \mathcal {P}}^{c} 中的 k{-}th 点,而 \mathbf {T}_{i} 与 \mathbf {T}_{j} 是用于评估相似度距离 e_{i,j} 的两个变换。在聚类过程中,我们首先根据投票数对 \mathcal {T} 进行降序排列,并选择前 N_{top}^{c}(默认 500)作为 ICP 优化的聚类集合 {\mathcal {T}}_{c}。随后,我们构建聚类集合 {\mathcal {T}}_{v} 并从 {\mathcal {T}}_{c} 开始遍历变换 T_{i}。如果 T_{i} 与 {\mathcal {T}}_{v} 中某个变换 T_{j} 相似,则将 T_{i} 加入 T_{j} 的子集;否则,将 T_{i} 作为新子集加入 {\mathcal {T}}_{v}。最后,我们在每个聚类中选择投票数最高的变换作为其代表变换,并根据聚类中包含的变换数量来决定每个聚类的得分。
2) 假设验证:
聚类后,我们得到一组新的假设变换,记作 {\mathcal {T}}_{v},每个变换都关联一个聚类分数。随后,我们进行进一步验证,以识别具有最高全局配准评估指标的最优变换。实际上,正确对齐的点云在视角下部分重叠,并且彼此之间不会相互遮挡,如图 6(a) 所示。因此,我们提出了一种新的验证函数 (VDIR),它结合视角偏差距离和内点数量来评估变换。VDIR 的定义如下:
\begin{equation*} \mathop {\arg \min }_{i=1,\cdots,N_{clu}} f(\mathbf {T}_{i}) =\mathop {\arg \min }_{i=1,\cdots,N_{clu}} \frac {d_{sight}(\mathbf {T}_{i} \mathcal {P}', \mathcal {Q}')}{(N_{in})^{a}}, \tag{9}\end{equation*}
其中 N_{clu} 是集合 {\mathcal {T}}_{v} 中的变换数量,N_{in} 是变换 \mathbf {T}_{i} 的内点数量,内点指的是在 \mathcal {C} 中,其在变换 \mathbf {T}_{i} 下的距离小于阈值的点。d_{sight}(\mathbf {T}_{i} \mathcal {P}', \mathcal {Q}') 是两点云在对齐后视角偏差距离。
图 6. 两个已配准的点云沿视线分布的示例。(a) 在正确变换对齐中,遮挡区域很少;(b) 在不准确变换对齐中,遮挡区域很多。在图中,V_{p} 和 V_{q} 分别代表点云 \mathcal {P} 和 \mathcal {Q} 的视点。q_{i} 与 p_{i} 是点云 \mathcal {P} 与 \mathcal {Q} 在同一视线上的对应点,o_{i} 是重叠点。该分布分为三类:(1) 重叠,即点 (黑点) 之间的距离和法向角小于预定阈值;(2) 遮挡,即观察点 (白点) 被对齐点 (绿点) 遮挡,例如从视点 (蓝点和黄点) 指向视线的箭头所示;(3) 可见,即视点与观察点之间没有其他点,例如虚线 l_{1} 与 l_{2} 上的分布。
The calculation process of d_{sight}(\mathbf {T}_{i} \mathcal {P}', \mathcal {Q}') is as follows. We first transform the downsampled point cloud \mathcal {P}' into the coordinate system of point cloud \mathcal {Q}' with transformation \mathbf {T}_{i}. Next, we determine a sightline l from the viewpoint V_{q} to point q_{i} on the point cloud \mathcal {Q}'. If there are points on the sightline l that belong to the transformed point cloud \mathcal {P}', we calculate the distance d_{q,i} between the point closest to the viewpoint among these points and the point q_{i}; otherwise, no further processing is done. Specifically, we set the distance d_{q,i} based on different types of deviation distances, as illustrated in Fig. 6(b), that is, the distance d_{q,i} is only reserved during occlusion, and set to 0 in other cases. We repeat this process for each point in \mathcal {Q}' and accumulate all the distances d_{q,i} as the deviation distances d_{ \mathcal {Q}} of the viewpoints V_{q}. Furthermore, we also calculate the deviation distance d_{ \mathcal {P}} of the viewpoints V_{p} and obtain the d_{sight} as d_{sight}=d_{ \mathcal {Q}}+d_{ \mathcal {P}}. Finally, for computational efficiency, we only verify the top N_{top}^{v} (N_{top}^{v} is 10 by default) transformations in the set T_{v}, and the transformation with the smallest verification metric is selected as the final transformation for the registration of \mathcal {P} and \mathcal {Q}.
第四节 实验结果
本节首先描述我们的实验细节,包括数据集、评估指标和实现细节。随后,我们通过评估不同参数设置和计算效率来验证所提出算法的有效性。接着,我们通过与最先进方法的定性和定量比较来展示性能。最后,我们进行消融实验以验证所提方法的有效性。我们的算法使用 C++ 实现,本文所展示的所有结果均在一台配备 Intel i7‑12700 处理器(2.1GHz)和 32 GB RAM 的台式电脑上获得。
A. 实验设置
1) 数据集:
为性能评估和比较,我们选择了四个公开点云数据集,包括 3DMatch [^44]、3DLoMatch 47、KITTI [^45] 和 WHU-TLS 48、[^47],它们是点云配准中最常用的数据集。这些数据集的选择基于不同的标准,e.g., 数据质量、场景复杂度和采集技术。我们分别如下介绍。
3DMatch [^44] 包含若干真实世界的室内 RGB-D 重建数据集,包括 SUN3D [^48]、7-Scenes [^49]、RGB-D Scenes v2 [^50]、Analysis by Synthesis [^51]、BundleFusion [^52] 和 Reconstruction algorithm for SUN3D [^53]。在基于深度学习的点云配准技术研究中,49、50、51,3DMatch 通常被划分为 54 个训练场景和 8 个测试场景。因此,我们也使用这 8 个场景与这些方法进行比较。此外,我们像在 52 中一样排除了连续点云对,最终测试对数为 1,279 对。这些场景点云的拍摄视点为 (0,0,0)。
3DLoMatch 53 是基于 3DMatch [^44] 的低重叠数据集。由于 3DMatch 的重叠率超过 30%,无法测试低重叠下配准算法的性能,3DLoMatch 的重叠率为 (10-30%),并在 54 中建立。去除连续点云对后,实验选取了 1,726 对。
KITTI [^45] 是一个使用 LIDAR 捕获的户外驾驶场景数据集。为与最先进方法进行比较,我们使用相同的数据预处理策略 55, 56, [^54],并仅使用序列 8 到 10 进行测试。同样,我们生成了 555 对至少相距 10 米的点云,并且它们的真实位姿通过 ICP 57 精细校正。同样,这些场景点云的拍摄视点为 (0,0,0).
WHU-TLS 58, [^47] 是一个大规模、多类型场景点云配准基准数据集,扫描自 11 个场景和 115 个站点,由地面站激光完成。本文我们挑选了 8 个场景用于测试,包括 SubwayStation、HighSpeedRailway、Mountain、Park、Campus、Residence、RiverBanK 和 HeritageBuilding。然而,这些点云已进行后处理,导致拍摄视点位置发生变化。因此,我们手动标注了这些场景的视点。
2) 评估指标:
为了确定配准准确性,我们通过使用 相对旋转误差(RRE)和 相对平移误差(RTE)的指标来衡量预测变换与真实值之间的误差。RRE 的定义是:
\begin{equation*} {\mathrm{ RRE}} =\arccos \left({\frac {\mathrm tr(\bar {\mathbf {R}}^{T}\hat {\mathbf {R}})-1}{2}}\right), \tag{10}\end{equation*}
其中 \bar {\mathbf {R}} 和 \hat {\mathbf {R}} 分别为真实值和预测的旋转矩阵。{\mathrm tr(\mathbf {X})} 是计算矩阵 \mathbf {X} 的迹的函数。
RTE 可计算为:
\begin{equation*} {\mathrm{ RTE}} =||\bar {\mathbf {t}}-\hat {\mathbf {t}}||_{2}, \tag{11}\end{equation*}
其中 \bar {\mathbf {t}} 和 \hat {\mathbf {t}} 分别为真实值和预测的平移向量。
当 RRE 与 RTE 为 0 时,预测的变换矩阵是最优的。在定义配准误差函数后,我们将预测的配准视为正例,当 RRE 与 RTE 分别低于阈值 \xi _{R} 与 \xi _{t} 时。此外,我们将 \xi _{R}=15^{\circ } 与 \xi _{t}=0.3m 设为室内场景配准的默认值,而 \xi _{R}=5^{\circ } 与 \xi _{t}=2.0m 设为室外场景。随后,我们通过配准召回率(RR)定量衡量每个场景的配准性能,配准召回率是正例配准数与所有配准点云对数之比。最后,我们还计算平均召回率(MR),其为所有场景配准召回率的平均值,用以评估单个数据集的整体性能,MR 的定义是:
\begin{equation*} {\mathrm{ MR}} = \frac {\sum _{\mathbf {S} \in \mathbf {D}} RR(est,S)}{N_{S}}, \tag{12}\end{equation*}
其中 \mathbf {S} 是数据集 \mathbf {D} 中的场景,N_{S} 是数据集 \mathbf {D} 中场景的数量,RR(est,S) 是场景 \mathbf {S} 的注册召回率。
3) 竞争者:
我们将本方法与最具竞争力的传统和基于学习的方法进行比较。首先,我们将八种代表性传统方法作为基准方法,包括 FGR 59、SM [^55]、RANSAC 60、CG-RANSAC [^30]、TEASER [^56]、TE-DE 61、SC2-PCR 62、以及 MAC [^33]。MAC 是基于最大团约束的最先进配准方法。此外,我们还与一些基于学习的配准方法进行比较,e.g., 3DRegNet [^57]、DGR 63、HRegNet [^38] PointDSC [^35]、LGR 64、以及 VBReg [^36]。最后,我们测试了若干代表性的 3D 局部特征描述符,包括手工制作的描述符 FPFH [^58] 和学习得到的描述符 FCGF [^54]、Predator 65、3DFeat-Net [^59]、GeDi 66、以及 GeoTransformer 67。
B. 评估
1) 参数分析:
在这里,我们进行实验,使用各种参数设置来评估它们对配准精度的影响。虽然许多参数可以保持默认值,但我们的分析主要聚焦于我们算法的以下九个参数:下采样点云中的点数 N_{ \mathcal {P}'},用于聚类的前N个假设变换 N_{top}^{c},点对应的数量 N_{c},重叠点的角阈值 O_{angle},重叠点的相对距离阈值 O_{dis},相似变换评估阈值 T_{e},PPF的角度离散化量 N_{angle},变换评估指标 a,以及视线共线角阈值 \alpha _{c}。
不同参数下获得的结果如图 7 所示,其中仅改变一个参数,其他参数保持不变。同时,我们展示了不同参数配置对应的运行时间。通过分析,我们观察到参数 N_{ \mathcal {P}'}、N_{top}^{c}、N_{c}、O_{dis} 和 a 影响我们方法的配准精度。值得注意的是,较低的数值效果较差,尤其当输入特征为 FPFH 时。另外,N_{ \mathcal {P}'} 过大并不有利,因为它会产生大量无判别性的 \mathbf {PPF}\text{s}。我们还注意到 N_{ \mathcal {P}'}、N_{top}^{c} 和 N_{c} 对计算效率产生显著影响,运行时间随这些参数的增大呈线性增长。此外,我们的方法对 O_{angle}、T_{e}、N_{angle} 和 \alpha _{c} 的变化表现出相对稳健。因此,我们将这些参数的最佳值设为本方法的默认值,即 N_{ \mathcal {P}'}=4000、N_{top}^{c}=200、N_{c}=500、O_{angle}=130、O_{dis}=2.5、T_{e}=1.0、N_{angle}=90、a=2.0 和 \alpha _{c}=2.0。此外,我们的方法在注册室内和室外场景方面表现出可行性和多功能性,见图 1 与图 8。需要注意的是,这些场景的数据采集方法不同;室内点云由 RGBD 摄像头生成,室外点云由激光扫描仪捕获。因此,我们还对室外场景进行了全面的参数分析。由于篇幅限制且为避免冗余,我们未展示所有具体数据,仅展示了三参数的结果:T_{e}、a 和 \alpha _{c},这些参数在室外场景中表现出显著变化。结果如图 9 所示。基于分析结果,我们为室外实验设置了参数 T_{e}=3.0、a=0.3 和 \alpha _{c}=3.0。
图 7. 3DMatch 上的参数分析结果 [45]。为了分析每个参数,我们将所有其他参数设为固定值,即通过实验选出的最佳值。
图 8. (a) BremenCity1 与 (b) ZagrebCathedral2 的配准结果。输入两个点云(左),我们的配准结果(右)。
图 9. KITTI [45] 上的参数分析结果。为分析每个参数,我们将所有其他参数设为固定值,这些固定值是通过实验选出的最优值。
2) 计算效率:
我们的方法主要包括四个阶段:特征匹配、投票、聚类和验证,它们的计算时间消耗分布如图 10 所示。首先,我们可以观察到,时间消耗主要来自特征匹配、投票和验证,而聚类的时间消耗非常低,可以忽略。随后,特征匹配的时间消耗与图 10 中的下采样点云大小无关。理论上,特征匹配的计算时间主要由特征点数 n_{k} 决定,且最大时间复杂度不超过 O(n_{k}^{2})。在我们的方法中,n_{k} 是一个输入参数并保持不变,因此特征匹配的时间消耗是固定的。在投票阶段,时间复杂度为 O(N_{c}*N_{ \mathcal {P}'}),其中 N_{c} 是对应关系的数量,N_{ \mathcal {P}'} 是下采样点云的尺度。最后,变换验证的时间复杂度为 O(N_{ \mathcal {P}'}^{2})。总之,当特征关键点规模 n_{k} 和对应关系数量 N_{c} 固定时,点云尺度 N_{ \mathcal {P}'} 是影响计算效率的主要因素。如图 10 所示,特征匹配和投票在 N_{ \mathcal {P}'}=4000 时占据约 85% 的最大时间比例。因此,我们可以进一步优化特征关键点,降低对应关系集中的离群比例,并减少对应关系集的大小,从而提升整个过程的计算效率。
图 10. 计算时间消耗相对于下采样点云大小的分布,输入特征为 FPFH(左)或 FCGF(右)。
3) 对噪声的鲁棒性:
为了评估我们方法在噪声数据上的鲁棒性,我们首先在 3DMatch 上随机添加标准差为 0.01 至 0.05 米的高斯噪声,超过了传统室内 RGBD 点云采集设备的距离精度。随后,我们与最新、最先进的方法(MAC 和 VBReg)进行了对比分析,以展示我们方法的优越性。
量化分析结果如图 11 所示。首先,我们观察到噪声对配准召回率影响更为显著,尤其在使用传统特征描述子 FPFH 时更是如此。由于 FCGF 特征在训练时已引入噪声,它对噪声相对鲁棒,且这些方法在使用 FCGF 时表现出更好的效果。另一方面,当标准差超过 0.04 米时,我们的方法召回率显著下降。这主要是因为我们的方法在投票过程中使用了点云法线,而噪声对法线估计的影响更大。尽管如此,我们的方法仍表现出比其他方法更高的成功率。
图 11. 不同标准差水平的高斯噪声鲁棒性分析,输入特征为 FPFH(左)或 FCGF(右)。
C. 比较
1) 3DMatch 数据集上的比较:
我们在 3DMatch 上对比了我们的方法与不同方法,结果如表 I 所示。与此同时,我们使用了三种特征描述子,包括手工特征 FPFH 与最先进的学习特征 FCGF 与 GeoTransformer,以评估性能及评估阈值设定的一致性。首先,我们的方法在三种描述子上均取得最高的平均配准召回率(MR),尤其在 FPFH 上,比最先进的深度学习方法 PointDSC 高 10.94%,达到 89.44%。此外,与次优传统方法 MAC 相比,我们在计算性能和准确率方面也有显著提升。配准准确率在 FPFH、FCGF 与 GeoTransformer 上分别提高 8.52、1.15 和 1.98 个百分点。
表 I
另一方面,我们观察到我们的方法在 FCGF 上对注册召回率的提升不如在 FPFH 上显著。这归因于与 FCGF 相比,FPFH 的特征提取性能较低,导致点对应集中的离群点数增多。因此,离群点对这些比较算法的影响更为显著。相比之下,我们能够更有效地处理高离群点的对应集,并为点云配准实现卓越的鲁棒性。此外,该数据集由室内人工场景构成,存在大量平面基元,导致重复特征出现的频率显著。因此,我们的方法对室内点云配准中的重复特征更具鲁棒性,同时提升了三种描述符的性能。
2) 3DLoMatch 数据集的比较:
3DLoMatch 是一个具有挑战性的低重叠 (10) -30%) 室内场景数据集。 为便于与 TR-DE 68 进行更有意义的比较,我们直接采用了其评估指标(即 RMSE< 0.2\text{m})并在 3DLoMatch 上进行评估。 此外,我们对最新先进方法 MAC 和 VBReg 进行了定量比较。 这些比较结果列于 Table II。 我们的算法在每个描述符上显著优于其他比较方法,在 FCGF 和 Predator 上分别比次优方法提升 8.0 和 7.0 个百分点。 同时,随着描述符性能下降,我们的方法在 MR 上的提升更为显著。 这是由于低性能描述符导致离群点增多,显著影响其他方法,从而凸显了我们方法在处理高离群点场景时的鲁棒性。 此外,当 NC 超过 500 时,我们的 MR 下降趋势。 由于使用双向一致性和 NNDR 分数进行高效的对应点选择,离群点比例随着更大的 N_{c} 上升,随后对我们的结果产生负面影响。 这与我们的参数分析实验结果一致。 因此,我们的方法需要更少的对应点,并在解决低重叠配准挑战方面展示出更高的鲁棒性。
表 II
3) KITTI数据集比较:
为了展示我们的方法在解决非均匀、低密度、大场景注册挑战方面的有效性,我们进一步在KITTI上比较这些方法,并采用来自 [^59] 的评估阈值设置(i.e., RRE< 5^{\circ } 和 RTE< 2\text{m}),以实现公平比较。
表III报告了定量比较结果。首先,我们将5种最先进的特征描述子(FPFH、3DFeat-Net、FCGF、GeDi和GeoTransformer)应用于RANSAC方法进行比较,见表III(上)。随后,手工制作的描述子FPFH表现最差,得分比最新的基于学习的描述子低10.4个百分点。令人惊讶的是,即使使用效果较差的FPFH描述子,我们的方法也取得了更优的结果,该描述子比次优的PointDSC(FPFH)提升1.6个百分点,等同于最先进的LGR(GeoTransformer)的召回率,但在RRE和RTE指标上更好。更进一步,我们的方法在使用FCGF时实现了峰值性能。因此,我们的方法在解决非均匀、低密度、大场景注册挑战方面具有优势。
表III
4) WHU-TLS数据集比较:
我们还在WHU-TLS上进行比较,WHU-TLS是一套从真实世界户外场景收集的大规模激光点云数据集。鉴于注册点云对的数量有限,无法有效训练基于学习的方法和描述符,因此我们仅使用基于FPFH描述符的传统方法进行比较实验。
首先,表 IV 显示了 WHU-TLS 所有场景的平均性能得分(包括 MR、RRE、RTE 和时间)的定量比较。此外,我们还报告了每个场景的注册召回率。我们的算法在该数据集上取得了最佳结果,准确率比下一代最先进的 SC2-PCR 提高了 16.01 个百分点,计算效率分别是经典方法 FGR 和 RANSAC 的近 2 倍和 3 倍。这证明了我们的方法在处理大规模、高密度非均匀场景配准问题上优于竞争方法的优势。与此同时,这些竞争方法在两个场景 SubwayStation 和 HighSpeedRailway 中表现出显著较低的注册成功率,而我们的方法则表现出更优的性能。由于这些场景的复杂性,包含众多几何原语如平面和圆柱,难以建立判别性局部特征,从而导致点对应中产生大量异常值。因此,这些方法难以实现有效配准,而我们的方法在处理高异常值的配准问题上表现出色。
表 IV
最后,图 12 显示了五个复杂大型场景的可视化对比,包括人造结构和自然植被。首先,RANSAC 与我们的方法在 (a) HighSpeedRailway 和 (c) Campus 中均取得良好性能,但我们在图 12 的 (b) park、(d) Residence 和 (e) HeritageBuilding 中仍然具有明显优势。尽管人造结构的表面几何元素较为简单,但其局部特征的辨别度低且高度重复。除此之外,天然植被的点云混杂,如树木和灌木,估计法线和特征的误差相对较大。尽管如此,我们的方法通过一种高效的单点对应投票与聚类算法来估计变换,并采用稳健的变换验证策略,取得了更好的配准结果。
Fig. 12. 使用五个场景的定性比较(a)HighSpeedRailway,(b)park,(c)Campus,(d)Residence,和(e)HeritageBuilding 在 WHU-TLS [3], [47] 中。
D. 消融研究
现在,我们研究我们方法中不同组成部分对点云配准效果的影响。我们使用七种不同配置的我们的方法进行了测试,具体如下:
SCV. 利用单一对应投票(SCV)的投票数作为最终配准结果的评估指标,无需聚类。
SCVC. 对单一对应投票结果进行聚类,聚类中变换数作为验证指标。
SCVC with IR. 使用内点比例(IR)作为聚类结果的验证指标。
SCVC with Overlap. 使用重叠度作为验证指标。
SCVC with VD. 仅使用视角偏差距离(VD)作为验证指标。
SCVCA with VDIR. 采用我们方法的验证指标,但在生成假设变换时,用投票角度替代 \mathbf {PPF}\text{s} 对应关系。
SCVC with VDIR. 代表我们的完整方法。
我们在3DMatch上进行消融实验,实验结果如表 V所示。首先,我们将单对应投票(Single Correspondence Voting,SCV)作为基准组件,结果表明仅使用单对应投票进行配准非常困难。随后,配准精度在聚类过程后显著提升。通过比较和分析五种验证指标的结果,可以观察到指标(VDIR)表现最佳,其次是内点比例(IR)。与此同时,VDIR中视角偏差距离的计算增加了约0.2秒的时间开销,这可以接受,因为它拥有最高的配准精度。此外,我们验证了由 \mathbf {PPF}\text{s} 对应生成的假设变换,结果显示相较于直接采用投票角度略有提升。因此,\mathbf {PPF}\text{s} 对应被认为更为鲁棒。
表 V
此外,我们将 VDIR 和内点比例应用于 RANSAC,并在图 13 中展示了注册召回率与重叠比例的关系。我们观察到召回率随着重叠率的降低而下降,当重叠比例大于 0.4 时下降缓慢,而当重叠比例低于 0.4 时下降迅速。与此同时,VDIR 的召回率高于内点比例,在重叠比例低于 0.4 时平均提升 4.5 个百分点。因此,VDIR 在提升注册精度方面有效,特别是在低重叠场景中。
图 13. 当 RANSAC 使用 VDIR 与内点比例作为验证指标时,注册召回率与重叠比例的比较。 (a) 使用 FPFH 的对应关系(左),(b) 使用 FCGF 的对应关系(右)。
E. 限制
本方法不适用于非刚性场景的点云配准,因为 \mathbf {PPF} 依赖于两点之间法向量距离和欧拉距离。相反,我们的验证指标需要用户提供点云的视角,该视角可以在正常拍摄条件和未变换点云(即原点)下轻松获取。然而,如果变换或人工生成的点云无法自动获取观察视角,则验证指标失效。为克服这一限制,可以根据点云的实际情况手动设置观察视角,但这需要人机交互。
第五节:结论与未来工作
我们提出了一种基于单一对应关系投票的变换估计算法,用于点云配准。此外,我们设计了一种结合视角偏差距离和对应关系集合中内点数量的变换验证指标,显著提升了鲁棒性。实验结果表明,我们的方法在处理现实世界的室内外点云数据时具有有效性和鲁棒性。我们将所提方法与当前最先进的方法在四个数据集(3DMatch、3DLoMatch、KITTI 和 WHU-TLS)上进行比较,并展示了我们的优势。
未来工作中,我们计划探索更高效的 3D 点云配准方法。一个可能的方向是设计以重叠区域为引导的端到端深度神经网络,既考虑中层结构分析,又考虑高层语义信息。此外,我们打算优化局部特征描述子的性能,从而减小输入特征点的规模。同时,我们计划对算法进行 GPU 并行化重写,旨在提升计算效率并满足实时应用需求。
脚注
- 数据由Dorit Borrmann和Andreas Nüchter(来自德国Jacobs University Bremen gGmbH)提供。URL:
https://kos.informatik.uni-osnabrueck.de/3Dscans/
- 数据由Dorit Borrmann、Helge Andreas Lauterbach、Sven Jörissen(来自德国Würzburg大学)以及Marija Seder(来自克罗地亚Zagreb大学FER)提供。URL:
https://kos.informatik.uni-osnabrueck.de/3Dscans/