基于固态激光雷达的道路属性检测

摘要

本文提出了一种改进方法，通过将激光雷达技术与自动驾驶车辆相结合来识别和评估道路表面缺陷，特别是坑洞。通过处理高分辨率激光雷达数据，系统能够识别道路高程的显著偏差，聚类潜在坑洞，并根据深度测量计算其严重程度。这种自动化方法能够实现对道路状况的精准实时监测，大幅降低人工检查的需求。将激光雷达技术与自动驾驶系统集成，提升了道路安全和维护效率，为主动基础设施管理提供了可扩展的解决方案。

作者

Anoop Thomas 电子与通信工程系，拉贾吉理工学院，科钦，印度；APJ Abdul Kalam 技术大学，蒂鲁凡纳图尔，喀拉拉邦，印度

Jobin K. Antony 电子与通信工程系，拉贾吉理工学院，科钦，印度；APJ Abdul Kalam 技术大学，蒂鲁凡纳图尔，喀拉拉邦，印度

Sarath Chandran S 电子与通信工程系，拉贾吉理工学院，科钦，印度；APJ Abdul Kalam 技术大学，蒂鲁凡纳图尔，喀拉拉邦，印度

出版信息

期刊： 2024 11th International Conference on Advances in Computing and Communications (ICACC) 年份： 2024 页码： 1-5 DOI： 10.1109/ICACC63692.2024.10845297 文章编号： 10845297 ISSN： Electronic ISSN: 2766-2829, Print on Demand(PoD) ISSN: 2766-3248

计量指标

总下载量： 60

关键词

IEEE 关键词： Laser radar, Roads, Noise, Hardware, Road safety, Real-time systems, Timing, Table lookup, Resource management, Surface treatment

关键词: Light Detection And Ranging, Road Attributes, Road Surface, Autonomous Vehicles, Manual Inspection, Data Processing, Deep Learning, Convolutional Neural Network, Free Space, Real-time Data, Real-time Performance, Precise Information, Deep Learning Techniques, Lookup Table, Image Sensor, Projection Matrix, Light Detection, LiDAR Sensor, Advanced Driver Assistance Systems, Real-time Data Processing, High-level Synthesis, Design Space Exploration, Clock Period

作者关键词: Autonomous Vehicles, LiDAR Technology, Road Surface Defects, Pothole Detection, Road Maintenance, Depth Measurement, Sensor Fusion, Clustering Algorithms

未定义

第一节. 引言

维护道路基础设施对于确保安全、提升车辆性能以及促进高效交通至关重要。坑洞是普遍且危险的道路缺陷，需及时且精准的检测以实现有效维护。传统方法，如目视检查和人工报告，往往因耗时、劳动力密集且易受人为错误影响而不足。本项目利用部署在自动驾驶车辆上的先进 LiDAR (Light Detection and Ranging) 技术，通过提供高分辨率道路表面分析的复杂解决方案来克服这些挑战。

系统处理由自动驾驶车辆收集的 LiDAR 数据，以检测表面高度的变化，准确识别并评估坑洞。方法包括若干关键步骤：校准深度测量、将测量值与预设阈值进行比较、聚类显著偏差，并计算每个聚类的平均深度以确定坑洞严重程度。LiDAR 系统安装在自动驾驶车辆上，持续扫描道路，提供实时数据并进行处理，以识别即使是微小的表面不规则。自动驾驶车辆能够高效覆盖广阔区域，确保全面监测道路状况，无需人工检查。

主要目标是建立一个稳健的、自动化的道路表面监测流程，从而提升维护效率并增强道路安全。此创新方法旨在通过及时、准确、可靠地检测道路缺陷，转变基础设施管理，使维护策略更具前瞻性和有效性。通过将 LiDAR 技术集成到自动驾驶车辆中，该项目提高了坑洞检测精度，同时减少了道路检查所需的时间和资源。该项目展示了先进技术如何为更智能、更安全、更好维护的城市道路做出贡献，凸显了自动系统在公共基础设施管理中的潜力。

第 II 部分. 文献综述

A. 自动驾驶车辆中的传感器与传感器融合技术

作者建议使用多种传感器组合，例如摄像头、LiDAR、惯性测量单元 (IMU) 和雷达，以减轻单传感器系统的局限性。他们还讨论了各种传感器标定方法，如内标、外标和时间标定，这些对精确的传感器对齐至关重要。该综述将传感器融合方法分为高层、中层和低层三类，并强调了深度学习技术在提升自动驾驶车辆感知与决策方面的最新进展。尽管取得了这些进展，仍然存在挑战，包括在恶劣天气条件下确保鲁棒性、易受对抗性攻击以及高计算需求等。作者呼吁未来研究更具韧性的传感器系统、先进的标定方法以及改进的实时数据处理算法，并强调对自动驾驶系统进行广泛测试与验证的必要性。

B. 利用激光雷达与人工智能算法进行坑洞检测与尺寸估计

坑洞对行车安全和舒适性构成重大威胁，亟需高效的检测和维护系统。传统方法，例如人工检查和用户报告，常常不准确、劳动力密集且缓慢。近期进展探索了将 LiDAR 技术与深度学习相结合的自动检测系统。多项研究已展示 LiDAR 捕获道路表面高分辨率 3D 数据的潜力，可用于识别和量化坑洞。利用深度学习，尤其是卷积神经网络（CNNs），如 YOLO（You Only Look Once），已证明在检测和估计坑洞尺寸方面的有效性。将 LiDAR 与 GNSS 进行地理参考的集成进一步提升了坑洞定位精度。此外，ROS 框架的应用促进了实时数据采集和处理，对及时维护至关重要。本研究在现有研究基础上提出了一套完整的四步框架，利用 LiDAR、深度学习和 GNSS 技术的优势，提升检测准确性和运营效率。

C. LIBRE: 多重3D LiDAR 数据集

LiDAR (Light Detection and Ranging) 技术因其高分辨率 3D 地图构建能力和不受照明影响的感知能力，已成为自动驾驶和机器人技术的核心。最初为地形测绘和环境监测等应用而开发，Li-DAR 能提供精准距离测量和详细环境信息，已成为高级驾驶辅助系统（ADAS）和自动驾驶车辆的重要传感器。

近期 LiDAR 技术的进展促成了多种规格不同的模型的出现，例如测量范围、精度、点云密度以及对环境条件的抗性。然而，LiDAR 传感器的多样性给针对特定应用选择合适传感器带来了挑战。现有文献常聚焦于单个 LiDAR 传感器在特定条件下的性能，但跨多个传感器的全面比较研究仍然有限。

这段空白突显了对基准数据集的需求，例如 LIBRE 数据集，它允许对不同的 LiDAR 传感器进行标准化评估。这些数据集使研究人员和开发人员能够在不同环境中比较传感器性能，从而改进和调优基于 LiDAR 的感知算法，以实现自动驾驶车辆。

D. 基于 FPGA 的加速器的高层综合硬件设计：模型、方法学与框架

最近，基于 FPGA 和 SoC 平台构建的硬件加速器因其在提升应用性能的同时保持能源效率而受到广泛关注。这些设备中的可重构逻辑实现了高度并行，使其成为计算密集型任务的理想选择。高层次综合（HLS）工具，如 Vivado HLS 和 Intel HLS，通过允许从高级语言（如 C/C++、SystemC 和 OpenCL）生成 RTL 代码，促进了 FPGA 的使用。即使在这些进展下，通过设计空间探索（DSE）优化 FPGA 设计仍是一项复杂的任务，需要仔细关注指令、资源使用和性能指标（如延迟和功耗）。

该领域的综述将设计空间探索（Design Space Exploration，DSE）方法分为基于模型和无模型技术，每种方法都有其独特的优势和挑战。基于模型的方法依赖分析模型，而无模型的方法则将 HLS 工具视为黑盒。文献指出，由于缺乏统一的评估指标以及 FPGA/SoC 架构的内在复杂性，比较不同方法具有困难。本综述旨在为 FPGA 设计者提供对当前模型、方法论和框架的洞见，帮助他们在 DSE 的复杂性中导航，并为其应用选择最合适的方法。

E. 使用 Lidar 与视觉进行城市自动驾驶的空旷区域与减速带检测

在城市环境中检测空旷区域和障碍物对于自动驾驶车辆导航至关重要。近年来的进展将激光雷达（LiDAR）与摄像头传感器相结合，以提升系统精度。激光雷达能够提供精确的深度信息，用于识别道路特征，如路缘石和减速带；而摄像头则提供可视数据，用于检测标记，例如人行横道。基于激光雷达的方法虽然在检测道路剖面方面效果良好，但常将凸起的人行横道误判为障碍物。为解决此问题，基于摄像头的技术如逆透视映射（Inverse Perspective Mapping，IPM）和图像分割被用于检测减速带上的白色条纹，从而提高分类准确率。先前研究表明，融合激光雷达与摄像头数据可以提升检测率，并满足实时处理需求，这是安全驾驶所必需的。本论文在现有研究基础上，提出了一个实时系统，融合中等成本的激光雷达和低成本摄像头，有效地检测城市场景中的空旷区域和减速带，为自动驾驶车辆在复杂环境中导航提供了稳健的解决方案。

第三节：提出的框架

建议的 LiDAR 数据处理框架是一个精心结构化的模块序列，每个模块都针对整体数据处理管道中的特定功能进行定制，如图 1 所示。此系统化安排确保数据能够在各个阶段无缝流动，从而实现对 LiDAR 传感器输入中关键信息的高效准确提取、分割和分析。

LiDAR Sensor Module: 该过程始于 LiDAR 传感器模块，它是输入阶段，在此阶段从周围环境中捕获距离数据。该模块提供有关传感器视野内对象的关键空间信息。
VITIS HLS/Vivado Module (Feature Extraction): 从 LiDAR 传感器收集的原始数据随后传递给 VITIS HLS/Vivado 模块。在此阶段，使用 High-Level Synthesis (HLS) 工具执行特征提取。此步骤至关重要，因为它通过定位所需的关键特征，将原始 LiDAR 数据转换为更有组织的格式，以供进一步分析。
分割模块： 在特征提取后，数据被输入到分割模块。在此，处理后的数据根据特定标准被划分为有意义的段或区域。对于激光雷达数据，这种分割通常涉及区分捕获环境中的单个物体或表面。
深度估计模块： 分割后的数据随后由深度估计模块处理，该模块利用HLS技术估计深度信息。此步骤将高级代码转换为硬件加速实现，从而提升深度计算的速度和准确性。
属性检测算法： 框架的最终阶段是属性检测算法。利用深度信息，该模块执行全面分析以检测并分类场景中物体的属性，例如物体类型、尺寸以及其他重要特征。

图 1. 框图

图 2. 固态 LiDAR

第四节. 框架实现

LiDAR 数据处理框架的实现被划分为不同的模块，每个模块负责特定任务，例如数据采集、特征提取、分割、深度估计和属性检测。
本节概述了每个模块的技术细节，包括向量初始化、矩阵运算、簇检测和指标计算，并强调这些组件如何协同工作，以有效地处理和分析 LiDAR 数据。

图 3. 输入矩阵

本项目使用的输入矩阵（图 2）由 24 行 660 列组成，表示从 LiDAR 数据中获得的深度值。该矩阵用于识别道路属性，每个元素对应于扫描区域内不同点的特定深度测量。
‘initVector’ 函数设置一个向量结构，用于存放点对象，并具有预定义的初始容量。它根据指定的容量为 Point 对象数组分配内存，初始化向量大小为零，并记录初始容量。此函数确保向量已正确准备好存储点，并为预期数量的元素分配了足够的内存。
‘addPoint’ 函数向向量追加一个新的 Point。它首先检查向量是否已达到当前容量。若已达容量，函数通过重新分配内存将向量大小翻倍，以容纳更多点。随后函数将坐标为 (x, y) 的新点插入下一个可用位置，并更新向量大小。该机制确保向量按需动态扩展，以管理日益增长的点数。
‘matrixSubtraction’ 函数对包含深度值的 24×660 输入矩阵 A 进行操作，通过从每个元素中减去标量 B，应用阈值，并将结果存入结果矩阵。A 中非正的元素在结果矩阵中设为零，减法后产生的任何负值亦被置零。随后函数通过求和结果矩阵中超过阈值的所有值并除以其计数来计算平均深度，且将该平均值存入深度指针。该过程突出显著深度变化，同时过滤掉不太相关的数据。
‘isCluster’ 函数在矩阵中从指定位置 (i, j) 开始检查一个 10×10 区域，以确定是否存在非零值簇。它遍历该 10×10 子矩阵，并在任一元素为零或已被访问时返回 0。相反，若子矩阵中所有元素均为非零且未访问，则函数返回 1，表示检测到有效簇。此函数对于识别矩阵中非零值簇至关重要。
The ‘calculateAverageDepth‘ 函数计算从位置 (i, j) 开始的 10x10 集群的平均深度。它求和 10x10 子矩阵中的所有元素，并将该和除以 100，即集群中的总元素数。该函数提供了一个用于分析该集群平均深度的指标。
The ‘countClusters‘ 函数在矩阵中识别并记录 10x10 集群。它初始化一个访问矩阵并分配一个 ‘ClusterInfo‘ 结构数组来存储集群详情。该函数遍历矩阵，使用 ‘isCluster‘ 函数检测集群。对于每个检测到的集群，它更新数组中的集群信息，计算平均深度，并将该集群标记为已访问。如果需要，数组会动态扩展，函数返回该数组以及找到的集群总数，支持进一步的矩阵分析。
The ‘printMatrix‘ 函数通过遍历每个元素并进行列对齐格式化，将矩阵输出到控制台。零值以额外空格显示以增强可读性，非零值则通过填充保证对齐。该函数提供了矩阵的可视化表示，便于直接检查。
The ‘printClusters‘ 函数通过遍历集群数组，输出检测到的集群详情。它展示每个集群的信息，包括大小、左上角坐标和平均深度。该函数总结集群数据，为矩阵中集群的分布和特征提供洞察。

图 4. 结果矩阵

A. 结果矩阵

最终得到的矩阵，在执行矩阵运算并过滤掉多余聚类后，清晰地强调了从 LiDAR 数据中检测坑洞的能力。该矩阵将深度变化显著的区域隔离出来，这些区域表明存在坑洞，有效地去除了噪声和无关数据点。输出提供了关于每个聚类的位置和平均深度的准确信息，从而准确识别了坑洞的位置和严重程度。

表 I

B. 资源利用表

该设计在多个关键指标上的资源利用率非常低。仅使用了 1 个 DSP 块，最多可用 9216 个，使用率约为 0%。同样，仅使用了 685 个 Flip-Flops (FFs)，可用数为 2,592,000，使用率约为 0%。Look-Up Table (LUT) 的使用率也很低，使用了 896 个 LUT，最多可用 1,296,000，使用率约为 0%。此外，该设计未使用任何 BRAM 18K 或 URAM 块，表明内存资源几乎未被使用。

C. 性能估计

表 II

时序分析表明，该设计在规定约束内高效运行。目标时钟周期为 10.00 纳秒（100 MHz），估计周期显著降低至 4.327 纳秒。2.70 纳秒的不确定性进一步确保了稳健的性能。这些结果表明该设计可靠且高效，适合实时应用。

表 III

时序分析显示，该设计在定义的约束内高效运作。目标时钟周期设定为 10.00 纳秒（100 MHz），估计周期明显降低至 4.327 纳秒。以 2.70 纳秒的不确定性为保障，设计性能得以保持稳健。这些结果表明该设计既可靠又高效，适合实时应用。

第六节. 结论

使用高级综合（HLS）开发了一种硬件仿真，用于从 LiDAR 数据中检测道路属性。该过程包括初始化数据结构、对输入矩阵进行预处理、执行矩阵运算以及检测聚类。VITIS HLS 用于实现和仿真，而 Vivado 用于生成原理图。预处理阶段去除了噪声并对数据进行归一化，以实现准确分析。核心矩阵运算突出显示了重要特征，聚类检测算法通过分析深度变化显著的区域，识别了相关道路属性，例如坑洞。硬件实现展示了高效的资源利用和时序性能，使用 DSP 块、触发器和查找表的量极少，并且没有使用 BRAM 或 URAM，表明资源占用低。此结果为未来扩展提供了充足空间，能够在不超过 FPGA 容量的前提下添加更多功能。延迟保持一致且在可接受范围内，时序性能远低于目标范围。

参考文献

额外参考文献

R. S. Molina, V. Gil-Costa, M. L. Crespo, and G. Ramponi, “适用于 FPGA 基于加速器的高级综合硬件设计：模型、方法论和框架”， IEEE Access, vol. 10, pp. 90429–90455, 2022.
V. Prasad, S. Kumari, and I. Suryatej, “使用 LiDAR 检测坑洞”， Adv. Automob. Eng, vol. 10, pp. 1–3, 2021.
D. J. Yeong, G. Velasco-Hernandez, J. Barry, and J. Walsh, “自动驾驶车辆中的传感器及其融合技术综述”， Sensors, vol. 21, no. 6, p. 2140, 2021.
A. Carballo, J. Lambert, and K. Takeda, “Libre：多维 3D LiDAR 数据集”， in Proceedings of the 2020 IEEE Intelligent Vehicles Symposium (IV), pp. 1094–1101, IEEE, 2020.
J. Fayyad, M. A. Jaradat, D. Gruyer, and H. Najjaran, “用于自动驾驶车辆感知与定位的深度学习传感器融合综述”， Sensors, vol. 20, no. 15, p. 4220, 2020.
B.-h. Kang 和 S.-i. Choi，“使用 2d 激光雷达和相机的路面坑洞检测系统”，发表于 2017 年第九届普适与未来网络国际会议（ICUFN），第 744–746 页，IEEE，2017。
W. Devapriya，C. N. K. Babu，和 T. Srihari，"Advance driver assistance system (adas)-speed bump detection"，发表于 2015 IEEE international conference on computational intelligence and computing research (ICCIC)，第 1–6 页，IEEE，2015。
C. Fernández，M. Gavilán，D. F. Llorca，I. Parra，R. Quintero，A. G. Lorente，L. Vlacic，和 M. Sotelo，"Free space and speed humps detection using lidar and vision for urban autonomous navigation"，发表于 2012 IEEE Intelligent Vehicles Symposium，第 698–703 页，IEEE，2012。