适用于闪光 LiDAR 的神经形态深度感知的异步峰值检测方法
摘要
本文提出了一种适用于直接飞行时间（dToF）闪光 LiDAR 系统的新型异步峰值检测方法。该方法基于统计置信水平对直方图最大值进行阈值化，可在每个像素上调整曝光时间。通过异步报告峰值事件而非整个帧，我们的方法显著降低了延迟并提升了光子效率。该方法已在 Xilinx Kintex-7 FPGA 上实现，并在 128×64 SPAD 数组上测试，显示出更好的运动模糊抑制效果。该技术在自动驾驶车辆、增强现实等需要快速且准确深度感知的应用中具有潜在前景。
作者
Yiyang Liu 集成微纳系统研究所，工程学院，爱丁堡大学，英国爱丁堡
Sarrah M. Patanwala 集成微纳系统研究所，工程学院，爱丁堡大学，英国爱丁堡
Alistair Gorman 集成微纳系统研究所，工程学院，爱丁堡大学，英国爱丁堡
Istvan Gyongy 集成微纳系统研究所，工程学院，爱丁堡大学，英国爱丁堡
Robert K. Henderson 集成微纳系统研究所，工程学院，爱丁堡大学，英国爱丁堡
出版信息
期刊: 2025 IEEE International Symposium on Circuits and Systems (ISCAS) 年份: 2025 页码: 1-5 DOI: 10.1109/ISCAS56072.2025.11043772 文章编号: 11043772 ISSN: 电子ISSN: 2158-1525, Print on Demand(PoD) ISSN: 0271-4302
指标
总下载量: 111
关键词
IEEE 关键词： Laser radar, Three-dimensional displays, Neuromorphics, Sensors, System-on-chip, Vehicle dynamics, Autonomous vehicles, Augmented reality, Photonics, Single-photon avalanche diodes
索引术语： Depth Camera, Flash Lidar, Autonomous Vehicles, Peak Detection, Motion Blur, Lidar System, Single-photon Avalanche Diode, Pixel Time, Square Root, Background Levels, Photon Counting, Depth Measurements, Central Limit Theorem, Lidar Data, Histogram Data, Histogram Bins, Bin Values, Object Depth, Background Peak, Dynamic Vision Sensor, Time-to-digital Converter
作者关键词： 3D ranging, light detection and ranging(LiDAR), single photon avalanche diode(SPAD), neuromorphic sensing
未定义
第一节. 引言
Direct Time-of-Flight (dToF) LiDAR 系统已成为自动驾驶、自动对焦和增强现实（AR）等应用中深度感知的热门选择 1。它们以毫米级分辨率提供精确的距离测量，使其在这些领域中变得必不可少。然而，传统的 LiDAR 依赖机械部件进行扫描，增加了复杂性并引入了运动伪影。这反过来可能会影响动态环境中深度测量的准确性。一种有前景的替代方案是闪光 LiDAR，它使用脉冲激光照亮整个场景，并利用基于阵列的光子计数接收器同时捕获来自所有像素的光子 2 3。该设计消除了机械运动部件和像素间的时间差异，减少了运动伪影并提高了准确性。
传统同步闪光激光雷达的曝光时间设定以满足在标准最坏情况（nominal worst-case conditions）下检测物体的需求。然而，物体在不同像素间的深度和反射率差异可能导致直方图形成速度在阵列内不同。与激光雷达距离更近或反射率更高的像素可能已经拥有完整的深度直方图，但仍需等待其他像素直至曝光周期结束。这会引入额外延迟，并在目标在此期间移动时增加直方图损坏的风险。因此，随着直方图数据中峰值被识别，异步立即报告深度信息，可能有助于解决延迟问题并提升动态环境下的系统可靠性。
近年来，像 Time-to-First-Spike (TTFS) 传感器 4 与 Dynamic Vision Sensors (DVS) 5 这类神经形态视觉传感器因其高动态范围、低延迟和能效而受到关注。这些传感器通常在每个像素内集成事件生成电路，并配备用于像素读出的地址事件表示（Address Event Representation，AER）模块。类似概念已被移植至单光子雪崩二极管（SPAD）图像传感器。6 中，使用基于 log‑2 的阈值模块在 SPAD 像素中实现了动态视觉事件生成；而 7 中，则通过对 4 位原始图像进行后处理实现了动态视觉事件生成。然而，这些实现主要关注基于 SPAD 的神经形态视觉感知，却未利用 SPAD 的时序与深度检测能力。8 中，提出的闪光 LiDAR 接收器报告由像素检测到的深度变化；9 则展示了基于 SPAD 的 TTFS 传感器，配合后处理的 DVS 型事件生成与三维深度测量。然而，前一工作仅在帧中生成动态深度数据，而后者通过时门进行深度测量，既耗时又耗光子。
在本文中，我们提出了一种用于 dToF 闪光 LiDAR 系统的全新神经形态深度感知方法。据我们所知，这是第一项将神经形态原理应用于 dToF LiDAR 的工作。我们的方法通过持续监测每个像素内的直方图，并根据直方图最大值的阈值化并附带统计置信水平来生成峰值检测事件，从而实现异步峰值检测，使 LiDAR 数据能够异步读取。我们在 Xilinx Kintex-7 可编程门阵列（FPGA）上实现了此方法，并与在 40nm CMOS 技术下制备的 SPAD 传感器进行接口 10。
第 II 章. 异步峰值检测
A. 峰值检测
在 dToF LiDAR 系统中，激光通常发射脉冲光束，然后被场景中的物体反射。来自反射激光束和背景的光子到达传感器后会被计时并存储在直方图中。一般而言，环境光子在直方图的整个时间范围内均匀分布。因此，对应环境光的直方图 bin，即 bamb，在单个激光周期内预计具有相同的值，即 βB，其中 β 是与 SPAD 的光子探测效率（PDE）以及深度和反射率等环境因素相关的衰减因子。B 表示每个 bin 的环境光强度。然而，由于光子拍噪，环境 bin 的值会受到泊松噪声的影响，因此 bamb ~ Po(βB).
通常，为了将反射信号与背景光区分开来，LiDAR 系统会发射激光 N 次，且 N 通常在数百到数千之间。因此，在 N 次曝光后，环境 bin 的值变为 bamb ~ Po(βBN)，这符合泊松分布的可加性。由于 N 较大，根据中心极限定理（CLT），bamb 可以近似为高斯分布，即 bamb ~ N(βBN,βBN). 因此，对应激光返回信号（直方图峰）的 bin 应该表现出如式 (1) 所示的光子计数，并伴随阈值因子 α.
\begin{equation*} {b_{sig}} > {\text{ }}\beta BN + \alpha \sqrt {\beta BN} \tag{1}\end{equation*}
B. 背景估计
图 1：背景估计示例.
为实现前文所述的峰值检测，必须从直方图数据中估计背景水平。这可以通过计算背景区间的平均值或中位数来完成，亦可仅在激光未发射的周期内累计基于环境光子的直方图。然而，前者需要额外的加法器和除法器块，后者耗时较长，导致数据生成延迟。在本研究中，我们采用基于比较的方式估计背景水平，该方法将电路简化为比较器并降低复杂性。
估计过程的示例见图 1。该图展示了一个 LiDAR 直方图，共有 128 个区间，真实背景水平为每个区间 32 个光子，红线表示该值。若阈值因子 α 设为 3，则峰值检测阈值变为 32 + 3 \times \sqrt {32} = 48.97，由红点线表示。在我们提出的方法中，128 区间的直方图被划分为四个四分区（Q1–Q4）。每个四分区内区间的值被比较以识别每个四分区的最大值，图 1 中以红点显示。第一半（Q1 与 Q2）的较大值与第二半（Q3 与 Q4）进行比较，以定位直方图的峰值（此例为 Q3），并将峰值区间（Q3–Q4）与非峰值区间（Q1–Q2）定义出来。随后，非峰值区间中的较小值（此例为 Q2）被用作估计背景水平，图中以绿色线表示，并以绿色点线标示对应阈值。在此示例中，峰值区间的值超过阈值，从而触发峰值检测事件。总体而言，通过此过程估计的背景水平通常高于实际背景水平，但这可接受，因为它提高了峰值检测阈值，进一步可防止误报事件的生成。
C. 异步操作
完整的方法如图 2 所示。在此操作中，需要手动决定三个参数：阈值级别参数 α，以及两个激光周期限制 L_lim1 和 L_lim2。根据（1），alpha 与正态分布的拒绝水平相关，它会调整误报检测率。然而，增加 α 的值也会增加检测潜在峰值所需的时间，从而引入额外延迟。L_lim1 是满足第 II.A 节中所述 CLT 的曝光下限，当大多数背景箱子至少包含 10 次计数时，按背景水平将其调节到适当的数值。L_lim2 是最大曝光周期，这意味着如果在 L_lim2 之前仍未识别出峰值，则说明此像素所在场景中不存在物体。设置完这些参数后，每个 N 激光周期后会检查每个像素内的直方图，以查看当前直方图峰值是否具有足够的光子计数来识别为真实峰值。
图 2: 异步操作流程图.
第三节：硬件实现
图 3：硬件架构.
所提出的方法在 Xilinx Kintex7 FPGA 上实现，并连接到一个 128x64 SPAD 传感器 11，系统架构如图 3 所示。由于 FPGA 的 I/O 资源有限，该传感器被设计为仅同时报告阵列的一个子区域——128 个 SPAD。随后，通过 FPGA 生成的控制信号对阵列的不同区域进行电子扫描，即可获得完整图像。FPGA 固件由两部分组成：飞行时间（ToF）部分和处理部分。ToF 模块包含一个 250 ps bin 分辨率的时间数字转换器（TDC），如图 3 所示，采样来自 128 个 SPAD 的输入信号。随后，将采样信号复用并累积为四个 128 bin、10 位的直方图。请注意，128 个输入被划分为两组 64 个，然后由于 FPGA 逻辑资源有限，分别复用为四个直方图，这就需要额外的 16 倍扫描来形成实验结果中所示的图像。
Fig. 4: 管线处理.
处理模块用于实现异步背景估计和峰值检测，详见第II节。 两个这样的模块在ToF模块之后被实现于FPGA上，每个模块以4个像素的直方图为输入。 单个直方图的处理耗时4个激光周期。 为提高时间效率，处理与ToF直方图累积同步实现，如图4所示。 该算法的实现分为两个阶段。 第1阶段比较128个直方图bin，用于峰值识别和背景水平估计。 第2阶段计算阈值并将峰值计数与阈值比较。 在每个处理周期开始时，所选像素的直方图被采样进入第1阶段。 随后通过16对1的比较器树时分复用，观察连续16个直方图bin组中的最大值。 在第四个激光周期结束时，系统等待下一个激光触发生成时，已计算出的8个最大值通过同一比较器树传递，以实现第II.B节所述的峰值和背景识别。
计算得到的背景光子计数会在下一个处理周期传递给第2阶段。 在此，采用按位值估计方法生成背景的整数平方根，如Alg. 1所示。 该算法在所有输入下保持误差低于1，并且需要5个时钟周期来估算背景的平方根，如图5所示。 阈值随后使用(1)计算。 为了避免使用乘法器，阈值水平通过将α设为1、2、4或8来调整。 这等价于将计算出的平方根左移1、2、3或4位。
算法1
图5：不同背景水平下按位整数平方根算法的误差。
最后，当产生峰值事件时，向AER模块发送请求(Req)信号。 它以确认(Ack)信号响应，同时将写使能信号传递给First In First Out(FIFO)模块。 随后将FIFO读取到主机PC进行进一步数据后处理。
图6：LiDAR系统。
第四节. 实验
为验证所提出的方法，使用 FPGA、传感器和 773nm Hamamtsu M1030615 激光头（脉冲宽度为 120ps，重复率 10MHz）的闪光 LiDAR 系统如图 6 所示组装。该设置用于对由步进电机控制的风扇进行成像，如图 7a 所示。图 7b 显示了传感器捕获的强度数据。风扇与 LiDAR 系统同步，以保持每一次电子扫描的相同运动。这有助于模拟所提出方法在典型闪光 LiDAR 系统中的性能。
Fig. 7: 成像场景，由以下方式捕获：(a) RGB 摄像机，(b) 以强度模式的传感器.
A. 静态风扇测量
首先，在风扇静止时捕获 LiDAR 数据，并在图 8 中展示结果。在本实验中，参数 α 设为 8，L_lim1 设为 1300 次激光周期，L_Lim2 设为 10000 次激光周期。在图 8a 中，每个点代表系统生成的峰值检测事件。它以空间-时间图形式绘制，颜色显示对应峰值检测自直方图箱所对应的物体深度。图 8b、c、d、e 所示的四个切片分别为在 0 次、0~1500 次、0~3000 次和 0~6000 次激光周期内累计的峰值事件。此结果展示了深度图异步生成的情况。观察到检测峰值的像素数量随时间增加。此外，风扇对应的像素比背景像素更频繁地检测并报告峰值。
Fig. 8: 静止风扇的峰值检测事件绘图.
B. 动态风扇测量
第二次测量是在步进电机控制的风扇以每分钟120转速旋转时进行的，这样做是为了模拟场景中的侧向运动。所有参数保持与前一次实验相同。结果如图9所示。风扇顺时针旋转。因此在图9a中，风扇的右边缘向下移动，顶部边缘相对于时间轴向右移动。在此图中，四个切片来自于激光周期5000到40000，每个切片包含在5000个周期内产生的事件。风扇的运动在这四幅图中清晰呈现，没有任何运动模糊。此外，需要注意的是图像中的噪声来自传感器读出（固定模式噪声），以及激光功率不足（峰值功率50mW）。
图9：旋转风扇的峰值检测事件图.
第五节：结论
本文提出了一种适用于 dToF 闪光 LiDAR 系统的异步峰值检测方法。持续背景监测与峰值阈值化方法优化了光子计数的利用率。该方法使系统能够聚焦于重要峰值事件，而非持续处理整个帧。 从而实现了一种新颖的神经形态深度感知技术。该事件驱动范式显著降低了延迟并提升了有效数据率，为实时深度感知应用提供了独特优势。基于 FPGA 的原型成功展示了改进的深度感知能力，并降低了运动模糊。所提实现可集成到片上 SPAD 传感器，以实现高效的事件驱动 LiDAR 数据处理，因而在自动驾驶车辆和增强现实等多种动态应用中具有潜力。
脚注
. 本工作由 EPSRC EP/S026428/1 资助