FPGA 设计用于自主机器人中的多模态传感器数据融合

摘要

本研究提出了一种新型现场可编程门阵列（FPGA）设计，适用于自主机器人，能够集成来自多种传感器的数据，以提升其运行效率和决策能力。该技术通过利用FPGA的并行处理能力，将来自LiDAR、摄像机和惯性测量单元（IMU）等多种传感器的信息进行集成，实现实时性能。传感器接口、控制逻辑以及复杂的数据集成算法均已集成到该设计中。此外，该设计具有可适应性，可在FPGA上实现。通过使用卡尔曼滤波器进行状态预测和决策树进行上下文分类，该设计提升了准确性并显著降低了延迟。测试结果表明，基于FPGA的系统在处理速度和准确性方面优于先前的系统，能够以每秒高达2000个数据点、10毫秒的延迟进行处理。本研究通过阐明一种全面的方法，提升了自主机器人在动态环境中传感器的高效集成和数据处理能力。

作者

Muthukumaran Vaithianathan Samsung Semiconductor Inc., 圣地亚哥，美国

Shivakumar Udkar AMD Inc., 科罗拉多，美国

Deepanjan Roy NVIDIA Corporation Inc., 德克萨斯，美国

Manjunath Reddy Qualcomm Inc., 圣地亚哥，美国

Senkadir Rajasekaran Samsung Semiconductor Inc., 圣地亚哥，美国

出版信息

期刊: 2024 International Conference on Sustainable Communication Networks and Application (ICSCNA) 年份: 2024 页码: 237-242 DOI: 10.1109/ICSCNA63714.2024.10863838 文章编号: 10863838

指标

论文引用次数: 1 总下载量: 150

关键词

IEEE关键词: Accuracy, Laser radar, Multimodal sensors, Robot vision systems, Data integration, Parallel processing, Cameras, Real-time systems, Field programmable gate arrays, Autonomous robots

索引词: Autonomic System, Sensor Data, Data Fusion, Multimodal Sensor, Multimodal Data Fusion, Multimodal Sensor Data, Data Processing, Data Integration, Decision Tree, Processing Speed, Dynamic Environment, Real-time Performance, Kalman Filter, Inertial Measurement Unit, Multiple Sensors, Control Logic, Gate Array, Integration Algorithm, Integration Of Sensors, Efficacy Of The System, Lidar Data, Data Fusion Techniques, Variety Of Sensors, Obstacle Avoidance, Multimodal System, Human-robot Interaction, Digital Signal Processing, Processing Latency, System Performance

作者关键词: Multimodal Sensor Fusion, Autonomous Robots, Data Processing, Sensor Integration, Real-Time Systems

未定义

章节 I. 引言

机器人技术的快速进步以及对自治系统的并行依赖已对物流、医疗、农业和制造业等各类行业产生影响 ¹。机器的自主性取决于它们感知并对物理环境做出响应的能力。获取这种洞察力取决于多模态传感器的集成，这些传感器会生成多种数据，例如激光雷达（LiDAR）深度信息、相机图像和惯性测量单元（IMU）运动测量 ²。挑战在于将来自多种模态的数据集成，以生成一致且可靠的环境表示，因为每种传感器都有其自身的优缺点 ³。在动态环境中运行的自治机器人需要数据融合，这通过组合来自多种传感器的读数来提升信息的可靠性、及时性和质量 ⁴。处理实时大型数据集时，传统的数据融合技术在处理速度上受到挑战，尤其是在使用微控制器时。随着传感器数量和产生的数据量持续增长，传统方法可能无法满足实时处理和分析的性能需求 ⁵。

FPGA 为这些挑战提供了实用解决方案，能够实现可编程电路的开发，并可根据各个应用的具体需求进行定制。通过在并行执行大量数据处理任务的能力，FPGAs 降低了延迟并加速了数据融合 ⁶。环境映射、障碍物规避和导航等应用显著受益于此特性，因为它们需要快速判断。将数据融合算法优化以适配特定操作系统和传感器套件得益于 FPGA 的灵活性 ⁷。基于 FPGA 的数据融合系统通常包括传感器接口、控制逻辑和数据融合算法 ⁸。各模态的数据旨在由所有组件协同工作，以有效地收集、处理和融合。举例来说，传感器接口负责从传感器收集数据并将其转换为可分析的格式。融合方法，包括卡尔曼滤波器和机器学习技术，可用于在数据获取后预测机器人的状态并识别其环境中的物体。控制逻辑负责协调所有动作，确保系统实时运行，并指导数据在处理单元与传感器之间的流动 ⁹。通过将最先进的性能优化技术整合到 FPGA 设计中，可进一步提升系统效能。并行处理、内存优化、高效资源分配以及降低延迟都是提升吞吐量的方法。系统在现实世界应用中的韧性能得以保证，因为它能够处理来自多种传感器的高速数据流，这得益于上述方法。夸大多模传感器数据整合在自主机器人中的重要性 ¹⁰。通过将算法与可编程门阵列（FPGA）设计集成，促进了可扩展、高效且可靠的解决方案的发展。随着系统在日益动态的环境中承担更多职责，其在各领域的自主系统效能将得到扩展。

为了提升现实场景下自动化机器人性能，有必要研究能够促进多传感器数据集成的现场可编程门阵列（FPGA）设计。

第二节. 文献综述

B. G. Swamy 等¹¹指出，研究提出了一种数字信号处理（DSP）体系结构，旨在促进多模态传感器在ADAS中的集成。融合方法通过执行矩阵逆运算和矩阵对矩阵乘法，利用LU分解进行简化。为优化性能，状态与协方差子模块采用折叠DSP架构构建。该架构的可行性在车辆低延迟、高速传感器集成方面通过多次运动模型仿真得以证明。

Creno 等¹²指出，所提议计划的主要目标是利用FPGA原型提升自动驾驶汽车的决策速度。它使用异构传感器，包括LiDAR和摄像头，以提升高速行驶时车队的安全性和车辆感知能力。该方法是一种数据融合技术。为更有效地理解和解决自动驾驶车辆系统中出现的问题，构建原型并使用现场可编程门阵列（FPGA）技术加速处理速率。

Wang 等¹³论文探讨了自动驾驶中多传感器集成的现状，考察了雷达、LiDAR、摄像头、GPS、IMU和V2X结合以提升可视性与安全性的优势与需求。它将融合方法分为四类，并考察了其在环境重建与多目标跟踪中的应用。论文还讨论了未来自动驾驶传感器融合系统，并概述了当前面临的问题。

Duan 等人 ¹⁴ 的研究简要概述了协作机器人在工厂环境下人机交互（HRI）的最新发展，重点强调提升通信、环境感知和工作分配的策略。这些策略因能够将人类灵活性与自主精度相结合而在提高生产效率方面表现卓越；然而，它们在适应性、歧义性和决策制定方面仍面临挑战。本研究旨在阐明人机交互（HRI）的重要研究趋势与挑战，以促进人类与机器人在制造业中的更有机、更协作的互动。

第III节：提出的工作

A. 系统架构

在使用 FPGA 整合多传感器数据的无人车开发中，效率、可扩展性和灵活性被优先考虑。该设计的主要目标是部署在 FPGA 上。它由三个主要组成部分构成：控制逻辑、数据融合技术和传感器接口。图1显示了所提出系统的架构。

图1. 系统架构

数据主要在传感器接口处收集，以集成多种传感器，包括激光雷达、摄像头和惯性测量单元（IMU）。这些接口使用的高速数据总线对现代传感器至关重要，因为它们产生巨大的数据速率，确保 FPGA 与传感器之间的无缝连接。设计的核心是数据融合算法，它们根据周围环境将各异的传感器读数组织成有意义的洞察。通过利用卡尔曼滤波和机器学习算法，可以实现实时状态估计和分类。卡尔曼滤波器通过对历史状态和传感器输入进行系统分析，预测机器人当前的位置和速度，从而近似其当前状态。聚合后的数据可使用机器学习技术，特别是决策树，进行分类，以识别关键环境特征，包括物体和障碍物。控制逻辑负责管理数据融合方法和传感器接口，并指导整个系统的运行。通过实时检查数据，自动机能够及时响应并做出判断。该框架的模块化设计方便了新传感器或算法的集成，使更新和修改变得轻而易举。此外，FPGA 可以轻松修改以满足各种应用的操作需求，实现持续的设计优化，以提升所有应用的性能。这一设计为传感器数据集成所面临的障碍提供了全面且实用的解决方案，具有提升动态环境中自主机器人系统感知与交互能力的潜力。

B. 传感器接口设计

FPGA 基础的多模态传感器数据融合系统的正常运行取决于传感器接口的设计，该接口作为物理传感器与 FPGA 内部处理单元之间的关键连接。每个传感器接口都被定制以满足所使用的众多传感器类型的独特需求，从而保证最高效的数据采集与传输。自主机器人必须优先考虑数据流优化并降低延迟，以便有效地实时管理数据。传感器接口可以通过使用高速通信协议，例如针对传感器适用的串行外设接口（SPI），来实现这些目标。例如，需要高速串行连接来传输 LiDAR 传感器的点云数据。为保证精确的信号表示，接口电路使用模数转换器（ADC）将传感器的模拟信号转换为 FPGA 可使用的数字数据。为确保当系统包含多个传感器时，需要一个强大的同步机制来同步来自不同模态的数据流。此同步对于将 LiDAR、相机和 IMU 数据结合以提供对环境的全面视图至关重要。系统必须通过在每个数据负载到达时进行时间戳标记来准确监测测量时间，尤其是在传感器工作在不同采样率时。传感器接口架构利用滤波算法预处理原始数据，在将其传输到 FPGA 之前提高数据质量并降低噪声。在此预处理阶段，数据融合方法的可靠性被优先考虑，从而提升了目标分类和状态估计。接口的模块化设计还允许在需要时添加补充传感器，而不会损害系统的整体性能，使其易于扩展。简单来说，FPGA 架构取决于传感器接口的设计。自主机器人应用的精简数据采集、同步和预处理进一步促进了多模态传感器数据的集成。

C. 数据融合算法实现

对于自主机器人来说，必须将原始传感器数据转换为可执行的洞察，方法是将数据融合算法集成到基于 FPGA 的多模态传感器数据融合系统中。 初始阶段涉及从多种传感器（如 LiDAR、相机和 IMU）获取原始数据流。 这些广播的数据格式和特征将会多种多样。 数据融合技术通过标准化和过滤掉输入数据中的噪声，系统性地解决多样性问题。 随后分析的可靠性和准确性取决于准备阶段。 一旦数据被清洗和标准化，数据融合基于 Kalman filtration 与决策树方法的组合。 Kalman filter 是一个最优估计器，用于根据一系列混乱的传感器测量预测机器人的状态。 它通过持续调整对机器人位置、速度和方向的预测来实现递归目标，以响应新的输入。 因此，该系统能够实时准确监测自身状态，无论外部因素如何。

通过将决策树方法与 Kalman filter 结合，组织组合数据，该系统能够更有效地识别和命名其环境中的对象。 这种分类对于障碍物检测和路径规划等任务至关重要。 决策树使用从传感器数据中检索到的属性，分析 Kalman filter 生成的清理后的数据，以确定对象的存在和类型。 借助这项机器学习技术，系统具备了可适应多种场景和环境的决策生成基础设施。 由于将这些算法集成到 FPGA 架构中，支持并行处理，使得能够同时处理大量数据流。 这种并行性对于自主机器人的实时应用至关重要，因为它显著降低了延迟并提高了吞吐量。 FPGA 能够集成自定义硬件逻辑，进一步实现算法的高效优化，从而加速融合过程，为快速决策提供相关数据。 数据融合方法通过精确整合传感器数据，使自主机器人能够有效导航并适应其环境。

D. FPGA 架构与配置

多模态传感器数据融合系统的效率和效果极大地取决于 FPGA 的设计与配置。可编程门阵列（FPGA）是设计的核心组成部分，因为它具有将可编程逻辑与嵌入式计算资源集成的卓越能力。我们的混合架构旨在满足集成多模态传感器的独特需求，通过实现对数据的最优管理和处理。可编程逻辑块是现场可编程门阵列（FPGA）的基本组件。这些块可配置为实现算法、过滤数据、管理信号等功能。硬件中实现数据融合技术得益于其灵活性，显著降低了处理延迟，相比传统基于软件的方法。该设计通过实现处理单元与传感器接口之间的数据快速传输，使对传入数据的高效、快速处理成为可能。除了逻辑块和集成的数字信号处理（DSP）段外，FPGA 架构非常适合数学计算。这些数字信号处理器段对于数据融合算法（包括卡尔曼滤波器）正确执行数学计算至关重要。

在移动自主应用开发中，一个重要障碍是如何在提升性能的同时保持能源的节省。通过将这些计算转移到专用硬件上来实现这一点。FPGA 的架构还进一步实现了并行处理。多种传感器数据的实时融合得益于能够同时实现多条处理通道。例如，为了促进多模态数据的集成，可能有一个线程负责处理摄像头输入，而另一个线程管理 LiDAR 数据。自主机器人的在动态环境中操作能力取决于其保持高吞吐量和低延迟的能力，这得益于其并行性。此外，FPGA 的高速内存连接实现了从传感器到处理单元的快速数据传输。高分辨率传感器生成的大量数据被这些内存接口高效缓冲和检索，从而防止了数据流瓶颈。FPGA 的架构优先考虑可重构性，以适应算法或传感器未来技术进步。适应变化条件的能力不仅延长了机器人系统的寿命，还确保了随着传感器技术的进步其持续相关性。

E. 性能优化技术

性能优化计划的关键组成部分是提升自主机器人多模态传感器数据融合系统的响应性和效率，该系统采用现场可编程门阵列（FPGAs）。该系统设计为在峰值性能水平下运行，以有效管理来自各种传感器模式的实时数据处理复杂性。采用多种方法实现这一目标。资源分配是高效执行 FPGA 上计算任务的必要方法，最大化内存、DSP 段、逻辑块及其他可用资源的利用率。并行处理优化同样至关重要。通过并行部署大量进程，显著提升了数据的速度和延迟。在初始 CPU 处理 LiDAR 数据的同时，第二个 CPU 可能负责处理相机的图像数据。通过同时执行众多进程，加速了数据收集和融合，这也是自主导航依赖实时决策的关键组成部分。通过实施流水线技术，性能进一步得到提升。

本方法通过将大型操作拆分为更小、更易管理的组件，实现了多处理阶段的重叠。若系统能够独立处理每个段，而不是等待整个任务完成，则总体吞吐量可能得到提升。例如，某个数据段可以在过滤的同时，另一个数据段正在分类，以确保处理阶段持续运作。RAM 优化是提升性能的另一种手段。通过有效利用片上内存，检索和处理速率得到提升，从而降低访问时间。以无延迟方式管理传感器高数据速率的两种方法是数据缓冲和缓存。此外，数据集成方法通过算法改进得到提升。通过优化计算并在可行时使用近似方法，降低了 FPGA 的计算负担，从而缩短执行时间。通过实时集成和处理多模态传感器信息，提升了自主机器人系统的功能和响应速度。这通过结合多种优化方法实现，形成了在峰值性能下运行的基于 FPGA 的系统。

F. 评估方法论

基于 FPGA 的多模态传感器数据融合系统评估方法采用综合方法来评估集成系统在真实世界情境中的性能和效果。最初，它实现了一系列受控实验，以评估众多关键性能指标，包括处理器延迟、数据融合精度和系统吞吐量。若干指标对于评估自主机器人在动态环境中的响应性和可靠性至关重要。必须创建模拟环境，复制多种操作条件，以在多种情境下评估系统，包括障碍物检测、导航和目标识别。模拟通过收集来自集成传感器（LiDAR、摄像头和 IMU）的数据并使用 FPGA 进行处理，评估数据融合算法的速度和精度。系统与真实世界数据进行比较，以评估其识别和分类对象的能力。现场测试在非结构化场景中可以通过模拟真实条件（例如部署期间遇到的情况）来评估实时性能。测试结果展示了系统对各种环境变化和传感器输入的响应性，这有助于算法校正和修改的过程。

第四节. 结果

表 1

表 2

表 1 显示了本研究使用传感器的规格。数据融合性能值显示在表 2 中。为了保证数据集准确地代表所有潜在结果，基于 FPGA 的多模态传感器数据融合系统在受控环境和真实世界环境中都经过了严格测试。该系统的编译得到三种主要传感器的数据支持：LiDAR、摄像头和 IMU。LiDAR 数据采集中的 3D 点云以 300 Hz 采样率获取，精度为 0.1 m，覆盖面积为 100 m²。摄像头采集的视频数据是一系列同步帧，录制速率为 30 帧每秒，分辨率为 1920 × 1080 像素。惯性测量单元（IMU）通过以 1000 Hz 采样率收集数据，生成角速度和加速度的准确估计。

图 2. 功耗与处理速度

图 3. 吞吐量与输入数据速率

图 2 描绘了功耗与处理速度图，图 3 描绘了吞吐量与输入数据速率图。 为进一步确保融合算法的耐久性，数据集包含多种环境场景，包括城市景观、森林和室内栖息地。 为保证数据集成系统尽可能适应和高效，分别在这些场景中收集了 10,000 个样本。 用 FPGA 实现的多模态传感器数据融合系统的有效性通过多种输出指标进行评估。 处理速度、准确率、精度，以及识别和分类障碍所需时间，都是关键指标。 设定了低于 10 毫秒的实时性能目标作为处理延迟指标，即从数据采集到数据融合所花费的时间。 下面是准确率指标的定义方程（1）：

\begin{equation*} {Accuracy}=\frac{{True Positive}}{{True Positives}+ {False Positives}+ {False Negatives}}(1)\end{equation*}

表 3

为了确定障碍检测率，该指标关注于准确识别的环境障碍物比例。 决策树算法的评估基于其分类准确率进行。 该系统在初步结果中表现出卓越的 93% 准确率、92% 障碍检测率和 90% 分类准确率。 处理仅耗时 6.5 毫秒。 在自动导航的背景下，这些指标展示了数据集成过程在提供准确、实时信息方面的有效性。 表 3 显示了 FPGA 使用的数据资源。 为强调创新技术的优势，本文对现有方法与所提议的基于 FPGA 的多模态传感器数据融合系统进行了比较。 当前系统通常使用微控制器构建，按顺序处理数据，导致吞吐量下降且处理延迟增加。 两种系统的性能指标总结在表 4 中。

表 4

所提出的方法在各方面都无疑优于当前方法。由于其降低了延迟，更适用于持续变化的情境，从而提升了实时处理能力。自主机器人的情境感知通过提高障碍物检测的精度和速率，改善了在多种场景中的导航与安全。研究结果表明，基于FPGA的架构有望彻底革新自主系统的数据融合技术。

第五节 结论

现场可编程门阵列（FPGA）使得自主机器人能够以惊人的多样性和精准度实时分析数据，从而显著推进了多模态传感器数据融合系统的发展。该技术通过利用复杂的数据融合算法并发挥多传感器的力量，在多种环境中提升了机器人视觉。该系统集成了多种传感器，如 LiDAR、相机和 IMU。结果表明，与以往方法相比，处理延迟已显著降低，准确性已提高。创新的 FPGA 架构实现了更高效的并行处理，从而改进了内存和资源分配。结果不仅证明了所提出技术的有效性，也为环境交互、障碍物规避和自主导航等领域的进步与应用提供了新的机遇。最终分析表明，这些系统渴求能够在不断演化的环境中进行智能化导航的自主系统。

参考文献

附加参考文献