能效高的实时语义LiDAR SLAM处理器在移动机器人中的应用

摘要

新兴的移动机器人需要具备先进的三维感知和远程360°交互的实时定位与地图构建（SLAM）系统，以实现自动驾驶。
然而，以往仅针对基于摄像头的视觉SLAM的处理器，由于视场受限（FoV）、深度估计不准确以及缺乏感知能力，无法满足自动驾驶系统的需求。
相反，激光雷达能够提供远程的三维点云，具备精确的深度信息和360°视场，使得能够捕捉细微的环境细节。
凭借高精度和环境鲁棒性，具备准确三维感知的LiDAR SLAM——语义LiDAR SLAM——成为自动驾驶系统中最有前景的解决方案。
然而，语义LiDAR SLAM的实时片上系统（SoC）实现尚未被报道，主要原因是多种算法的并行执行导致内存占用和计算量巨大。
此外，即使在高性能的CPU+GPU环境下，实现实时性能也不切实际。
本文提出了一款实时且全功能集成的语义LiDAR SLAM处理器（LSPU），搭载语义LiDAR-PNN-SLAM（LP-SLAM）系统，该系统能够同时基于点神经网络（PNN）完成三维分割、定位和地图构建。
LSPU执行LP-SLAM时具有以下功能：1）使用基于2‑D/3‑D球面坐标的 bin（SB）搜索的 k 最近邻（kNN）聚类，通过动态内存分配消除外部内存访问；2）PNN 引擎（PNNE）配合全局点级任务调度器（GPTS），通过两步工作负载平衡最大化核心利用率；3）关键点提取核心（KEC）在排序操作中跳过冗余计算；4）优化集群支持可重构计算模式，以实现关键点级流水线和非线性优化（NLO）的并行处理。
结果表明，所提出的LSPU实现了20.7毫秒的处理时延，既展示了实时语义LP‑SLAM能力，又比现代CPU+GPU平台降低了99.89%的能耗。

作者

Jueun Jung 电气工程系与人工智能研究生院，蔚山国家科学技术研究院，蔚山，韩国 ORCID: 0000-0003-1632-159X

Seungbin Kim 电气工程系与人工智能研究生院，蔚山国家科学技术研究院，蔚山，韩国 ORCID: 0000-0002-6826-3793

Bokyoung Seo 电气工程系与人工智能研究生院，蔚山国家科学技术研究院，蔚山，韩国 ORCID: 0009-0000-6255-6299

Wuyoung Jang 电气工程系与人工智能研究生院，蔚山国家科学技术研究院，蔚山，韩国 ORCID: 0009-0000-2088-6775

Sangho Lee 电气工程系与人工智能研究生院，蔚山国家科学技术研究院，蔚山，韩国 ORCID: 0009-0002-0665-5027

Jeongmin Shin 蔚山科学技术大学电气工程系及人工智能研究生院，蔚山，韩国 ORCID: 0009-0002-8049-3708

Donghyeon Han 韩国首尔中央大学电气与电子工程学院 ORCID: 0000-0002-5212-2072

Kyuho Jason Lee 蔚山科学技术大学电气工程系及人工智能研究生院，蔚山，韩国 ORCID: 0000-0002-4047-1013

出版信息

期刊： IEEE Journal of Solid-State Circuits 年份： 2025 卷号： 60 期号： 1 页码： 112-124 DOI： 10.1109/JSSC.2024.3450314 文章编号： 10668854 ISSN： Print ISSN: 0018-9200, Electronic ISSN: 1558-173X

指标

论文引用数： 2 总下载量： 1082

资助

关键词

IEEE 关键词: 语义, 激光雷达, 同步定位与地图构建, 实时系统, 位置感知, 精度, 机器人

索引术语: 移动机器人, 同步定位与地图构建, 点云, 非线性规划, 动态分配, 有限视场, 管道化, 内存分配, 外部访问, 排序操作, 移动应用, 多层感知器, 语义分割, 当前帧, 最优相位, 掩码图像, 编码器层, 输入点, 语义图, 解码器层, 毫秒延迟, 任务卸载, 地图阶段, 无人地面车辆, LiDAR 点云, 高效加速, 伪随机数生成器, 总延迟, KITTI 数据集, 连续帧

作者关键词: k-nearest neighbor (kNN), non-linear optimization (NLO), point neural network (PNN), semantic LiDAR SLAM, spherical-bin searching, system-on-chip (SoC)

未定义

脚注

*. 传感器的工作频率仅限于 20 Hz (本工作), 30/80 Hz (ISSCC19), 10 Hz (JSSC21)

参考文献

额外参考文献

  1. V. Niculescu, L. Lamberti, F. Conti, L. Benini, and D. Palossi, “通过自动端到端优化和部署DNNs提升自律纳米无人机性能”, IEEE J. Emerg. Sel. Topics Circuits Syst., vol. 11, no. 1, pp. 548–562, Dec. 2021.

  2. Y. Shan, “LiDAR 基于可通行区域识别方法用于越野UGV驾驶”, IEEE Trans. Intell. Vehicles, vol. 9, no. 2, pp. 3544–3557, Feb. 2024.

  3. J. Nubert, S. Khattak, and M. Hutter, “基于自监督学习的LiDAR里程计用于机器人应用”, in Proc. IEEE Int. Conf. Robot. Autom., May 2021, pp. 9601–9607.

  4. S. Kim, J. Lee, D. Im, and H.-J. Yoo, “PNNPU：11.9 TOPS/W高速3D点云基神经网络处理器，采用块式点处理实现常规DRAM访问”, in Proc. Symp. VLSI Circuits, 2021, pp. 1–2.

  5. D. Im, “DSPU：一种高效的基于深度学习的稠密 RGB-D 数据获取，具备传感器融合与 3-D 感知 SoC,” IEEE J. Solid-State Circuits, vol. 58, no. 1, pp. 177–188, Jan. 2023.

  6. J. Zhang and S. Singh, “LOAM：实时激光雷达里程计与地图构建,” in Proc. Robot., Sci. Syst., 2014, pp. 1–9.

  7. T. Shan and B. Englot, “LeGO-LOAM：轻量化且适用于地形变化的激光雷达里程计与地图构建,” in Proc. IEEE/RSJ Int. Conf. Intell. Robots Syst. (IROS), Oct. 2018, pp. 4758–4765.

  8. X. Chen, A. Milioto, E. Palazzolo, P. Giguère, J. Behley, and C. Stachniss, “SuMa++：高效的基于激光雷达的语义 SLAM,” in Proc. IEEE/RSJ Int. Conf. Intell. Robots Syst. (IROS), Nov. 2019, pp. 4530–4537.

  9. Y.-C. Chu, Y.-C. Lin, Y.-C. Lo, and C.-H. Yang, “一种完整集成的退火处理器，用于大规模自主导航优化,” in Proc. IEEE Int. Solid-State Circuits Conf. (ISSCC), vol. 67, Feb. 2024, pp. 488–490.

  10. K. J. Lee, “一款 502-GOPS、0.984-mW 双模智能 ADAS SoC，具备实时半全局匹配与意图预测，适用于智能汽车黑盒系统,” IEEE J. Solid-State Circuits, vol. 52, no. 1, pp. 139–150, Jan. 2017.

  11. J. A. Placed, “关于主动同步定位与地图构建的综述：技术现状与新前沿,” IEEE Trans. Robot., vol. 39, no. 3, pp. 1686–1705, Jun. 2023.

  12. Z. Li, “一款 879GOPS、243 mW、80 fps、VGA 全视觉 CNN‑SLAM 处理器，用于宽域自主探索,” in IEEE Int. Solid-State Circuits Conf. (ISSCC) Dig. Tech. Papers, Feb. 2019, pp. 134–136.

  13. A. Suleiman, Z. Zhang, L. Carlone, S. Karaman, and V. Sze, “Navion：一款 2-mW 完全集成的实时视觉-惯性里程计加速器，用于纳米无人机的自主导航,” IEEE J. Solid-State Circuits, vol. 54, no. 4, pp. 1106–1119, Apr. 2019.

  14. J.-H. Yoon and A. Raychowdhury, “NeuroSLAM：一款 65‑nm、7.25‑至 8.79‑TOPS/W 混合信号振荡器式 SLAM 加速器，适用于边缘机器人,” IEEE J. Solid-State Circuits, vol. 56, no. 1, pp. 66–78, Jan. 2021.

  15. NVIDIA. Jetson TX2. 访问时间: 2024年5月3日。 [在线]。 可用: https://www.nvidia.com/en-us/autonomous-machines/embedded-systems/jetson-tx2

  16. Q. Hu, “Learning semantic segmentation of large-scale point clouds with random sampling,” IEEE Trans. Pattern Anal. Mach. Intell., vol. 44, no. 11, pp. 8338–8354, Nov. 2022.

  17. Q. Cao and J. Gu, “A sparse convolution neural network accelerator for 3D/4D point-cloud image recognition on low power mobile device with hopping-index rule book for efficient coordinate management,” 在 Proc. IEEE Symp. VLSI Technol. Circuits, Jun. 2022, pp. 106–107.

  18. A. Geiger, P. Lenz, and R. Urtasun, “Are we ready for autonomous driving? The KITTI vision benchmark suite,” 在 Proc. IEEE Conf. Comput. Vis. Pattern Recognit., Jun. 2012, pp. 3354–3361.

  19. Velodyne VLP-16. 访问时间: 2024年5月3日。 [在线]。 可用: https://velodynelidar.com/products/puck/

  20. NVIDIA. ( 2080 ). GeForce RTX 2080 Ti. 访问时间: 2024年5月3日。 [在线]。 可用: https://www.nvidia.com/en-us/geforce/20-series/