基于FPGA的环境感知，利用量化神经网络实现LiDAR辅助毫米波波束预测

摘要

环境感知对于实现稳健且灵活的波束预测具有极大价值，尤其是在 5G 以上的毫米波（mm‑wave）网络中。虽然机器学习（ML）算法已显示出利用外部传感器数据（如 LiDAR、雷达和摄像机）来提升波束预测的潜力，但现有方案往往依赖仿真或离线数据处理，限制了其在实际部署中的适用性。将此类方案落地到真实环境，需要针对资源受限的硬件平台定制低延迟 ML 推理，但由于 ML 模型的计算复杂度和延迟要求，这仍然是一大挑战。本文通过在硬件上实现实时 ML 推理，聚焦于利用 LiDAR 数据实现环境感知，从而应对上述挑战。我们提出了一种基于 FPGA 的量化神经网络（QNN）实现，针对 5G 以上毫米波网络中的实时 LiDAR 辅助波束预测进行了优化。在 ZCU104 FPGA 平台上使用真实数据集进行评估，推理延迟仅为数十到数百微秒，并且仅使用 2 位权重和激活，准确率与最先进方法相当。我们的结果强调了 QNN 在实现高精度、低延迟以及硬件资源高效利用方面的有效性，适用于真实毫米波应用。

作者

Arish Sateesan 网络系统研究所，德国亚琛工业大学，亚琛，德国

Ljiljana Simić 网络系统研究所，德国亚琛工业大学，亚琛，德国

出版信息

期刊: 2025 IEEE International Conference on Machine Learning for Communication and Networking (ICMLCN) 年份: 2025 页数: 1-6 DOI: 10.1109/ICMLCN64995.2025.11140290 文章编号: 11140290

指标

关键词

IEEE 关键词： 激光雷达，准确性，神经网络，机器学习，预测模型，实时系统，硬件，数据模型，低延迟通信，现场可编程门阵列

Index Terms: 神经网络，环境感知，预测网络，量子神经网络，波束预测，学习算法，激光雷达，真实世界数据集，低延迟，计算需求，数百微秒，卷积层，并行化，点云，全球定位系统，最大池化，穷举搜索，全连接层，计算需求，准确性损失，用户设备，信道层，体素网格，三维体素，像素网格，计算限制，无线资源管理，量化效应，二维卷积层，资源使用

Author Keywords: 量化神经网络，FPGA，LiDAR 辅助波束预测，毫米波网络

未定义

第一节：引言

毫米波(mm-wave)频段提供宽带通道，支持高速率和低延迟，使其成为下一代无线通信的有吸引力选择。然而，毫米波信号面临显著挑战，例如易受阻塞、高传播损耗以及高度场地特定的覆盖范围。使用高波束成形增益的定向波束可以抵消这些挑战，但需要高效且复杂的动态波束管理，以在移动性下保持稳定连接，尤其是在密集城市环境中。传统波束选择技术，例如在 IEEE 802.11ad 和 5G-NR 等标准中使用的穷举搜索波束扫描，因资源和时间开销而受到限制，限制了其实时性能。例如，5G-NR 采用 5 ms 同步信号(SS)脉冲的穷举波束搜索，每 20 ms 重复一次，导致波束成形延迟为 300–900 ms ¹.

在定向毫米波网络的背景下，功率束管理的有效性直接取决于环境因素，例如基站（BS）/用户设备（UE）相对于城市建筑布局几何结构的位置，以及可能阻挡或反射毫米波信号的移动障碍物（如车辆或行人）。
因此，明确的环境感知对于实现面向 beyond-5G 网络的稳健、灵活和高效的无线资源管理（RRM）具有重要价值。
机器学习技术已显示出通过利用来自非射频传感器（如 LiDAR（激光雷达）、GPS（全球定位系统）和摄像头） 的实时和历史环境数据，在提升束预测和波束成形方面具有显著潜力 ²-​³。
ML 算法的预测能力实现了对周围环境的实时感知。
这种基于数据驱动的方法降低了系统复杂度和波束训练开销，同时通过利用来自环境感知的侧信息，显著减少了直接射频测量信令开销 ⁴。

尽管基于机器学习的环境感知取得了进展，大多数研究仍主要通过使用合成数据或离线处理真实世界测量数据的仿真来展示性能。
在真实世界的 beyond-5G 网络中部署机器学习技术需要在硬件上实现低延迟、实时推理，这往往受到计算复杂度、延迟敏感性以及移动网络系统固有的能耗限制的挑战。
我们的工作通过针对高效实时 QNN 推理来解决这些挑战，从而实现面向环境感知的束预测在 beyond-5G 网络中的应用。

毫米波网络中的波束预测： 最近的研究探索了将机器学习与带外波束预测方法⁵相结合，利用非射频传感器，如摄像机⁶、LiDAR ⁷‑⁸，以及多模态非射频感知⁹。尤其是LiDAR，提供比摄像机更好的深度感知和目标定位，并且相较于雷达具有更优的空间分辨率，使其非常适合环境建模。多模态方法能提升精度，但会带来更高的计算和硬件需求。现有的基于LiDAR的研究已覆盖户外¹⁰、¹¹、¹²以及室内波束预测¹³‑¹⁴的场景。然而，大多数现有有限的基于LiDAR的波束预测方法仅在模拟数据集¹⁵、¹⁶或离线测量数据的后处理¹⁷、¹⁸中进行评估，硬件实现有限，难以评估其真实世界效率和实时性能。

量化神经网络： 在实际蜂窝网络中，基站和尤为终端通常存在存储和计算限制，需要高效的处理方案。神经网络中的量化技术通过降低计算和存储需求来解决这些挑战¹⁹。例如，二值化神经网络（BNNs）将权重和激活限制在{-1,1}，从而在几乎不牺牲精度的情况下最小化存储和计算需求²⁰。即使是低位宽量化也能在保持精度的同时降低计算负担²¹。更低位宽的表示使模型能够适配高速片上存储，减少离散存储访问和功耗。

在本文中，我们通过聚焦毫米波网络中实时机器学习推理以实现环境感知，弥合了基于机器学习的波束预测理论进展与实际实现之间的差距。我们提出了一种高效的基于 FPGA 的 QNN 实现，利用低比特宽度、针对实时波束预测优化的模型。我们指出，尽管 GPU 在机器学习任务中通常表现优异，但其高功耗以及对辅助组件的依赖限制了其适用性。相比之下，FPGA 能耗低且可独立运行，因而非常适合在资源受限环境中部署机器学习算法 ²²。此外，现有的下一代 WiFi 与超5G 实验测试平台基于 RFSoC FPGA ²³ 和 FPGA-SDR 平台 ²⁴，从而实现了基于 FPGA 的 QNN 实现与无线前沿实验平台的无缝集成。

为解决后5G网络中新兴的基于机器学习的环境感知挑战，我们提出了一种基于 LiDAR 的波束预测模型，使用 QNN 并在真实世界数据集上训练。我们的模型在 FLASH ²⁵ 数据集上实现了 85% 的 Top-1 准确率，较全精度模型实现了 2.6 倍的模型尺寸压缩。我们还通过改变数据集的空间特征来分析量化对准确率的影响。我们在 Zynq Ultrascale+ ZCU104 FPGA 上使用 Xilinx FINN 框架 ²⁶ 部署了 QNN 模型，其推理速度比 LiDAR 的数据采集速率快 100-1000 倍，展示了其在实时真实场景中的适用性。我们的结果表明，将 FPGA 与 QNN 结合可降低计算和内存负载，同时保持预测精度。

第二节：LiDAR 与基于机器学习的波束预测

我们提出并实现了一种基于机器学习的波束预测模型，利用 FPGA 上的 LiDAR 数据实现环境感知，以预测毫米波网络中的最佳波束。随后各节详细说明了输入数据预处理、模型架构和系统模型。

A. 基于机器学习的波束预测系统模型

ML 基于机器学习的波束预测的系统模型如图 1 所示。它由激光雷达预处理模块和 QNN 组成，其中 QNN 执行特征提取和分类。波束预测模型的输入是激光雷达点云 P. 基于此输入，模型预测基站处的最佳波束 {b_o} \in \mathcal{B}，其中 \mathcal{B} = \left\{ {{b_1},{b_2}, \ldots ,{b_M}} \right\} 是所有可能波束的集合，M 表示波束总数。每个波束 bj 有一个特定的 RSS 值，其中 j ∈ {1, 2,…, M}，最优波束 b* 为 RSS 值最大的波束。在理想情况下，预测波束 bo 即为最优波束 b.* 每个波束 bj 还对应一个特定的天线波束指向方向和相应的覆盖区域。预处理模块将激光雷达点云转换为特征图，表示为网格 G ∈ ℝH×W×D，如 II-B 节所述。我们使用所提出的 SVQNN 模型 (cf. Section II-C) 进行特征提取，表示为 fθ,Q，配置为量化操作，参数为 θ。SVQNN 处理量化后的激光雷达特征图 G 以生成量化特征向量 Q({\mathbf{r}}) \in \mathbb{R}_{{2^k}}^d，其中 d 为特征向量大小，k 为量化位宽，如果网格 r 按基于值的方法填充，则被量化为 k-bit 整数值。对于占用率基网格 (cf. Section II-B)，k 的值为 1。量化特征向量表示为：

\begin{equation*}Q({\mathbf{r}}) = {f_{\theta ,Q}}(G)\end{equation*}

此处，fθ,Q 中的所有权重、激活值和输出均已量化。量化特征向量 Q(z) 被输入到量化分类器（全连接层）hϕ,Q，其参数为 ϕ。预测的最优波束 bo 通过该分类器进行选择，因为它输出了对 M 个波束的量化概率分布。在训练期间，交叉熵损失用于计算预测量化波束概率 hϕ,Q(Q(z)) 与真实波束标签之间的误差。预测波束确定为：

\begin{equation*}{b_o} = \arg \mathop {\max }\limits_{{b_j} \in \mathcal{B}} {h_{\phi ,Q}}(Q({\mathbf{r}}))[j]\end{equation*}

我们基于 Top-k 准确率指标评估系统模型。它衡量最优波束 b* 位于前 k 个预测波束中的实例比例。

图 1. ML 基于机器学习的波束预测系统模型。

B. LiDAR 数据与预处理

LiDAR 传感器生成一个空间点云，P = \left\{ {\left( {{x_i},{y_i},{z_i}} \right)} \right\}_{i = 1}^{|N|}，其中 (xi, yi, zi) 是对应于传感器周围检测到的物体点的第 ith 点的三维坐标，N 是总点数。鉴于这些点云的复杂性，预处理对于降低数据维度和噪声至关重要，并确保相关特征的结构化和缩放适合深度学习模型。点云被转换为 3D 体素网格或 2D 像素网格，记为 G. 体素网格表示为 G ∈ ℝH×W×D，而像素网格表示为 G ∈ ℝH×W，其中 H 和 W 表示二维空间平面，D 表示层数。体素网格表示空间信息，将空间划分为称为体素的离散单元，而像素网格是其二维对应物。网格可以通过占用或基于值的方法生成。占用网格用二值填充，如果包含任何数据点则标记为 ’1’（占用），而基于值的网格则聚合并量化数据点。本文使用两个数据集，DeepSense ²⁷ 和 FLASH ²⁸。FLASH 数据集被预处理为 3D 占用体素网格，而 DeepSense 数据被转换为 2D 像素网格，基于占用或基于值的方法，见图 2。 这些数据集的详细信息在 III-A 节中进行了阐述。

图 2. LiDAR 数据预处理.

C. 深度学习模型

我们采用的模型是多视角卷积神经网络（MVCNN）的量化改进版，最初用于 3D 形状识别 ²⁹。MVCNN 架构如图 3(a) 所示，由多个视角-CNN 用于从各个传感器提取特征，视角池化层用于特征聚合，以及最终的 CNN 用于分类。每个视角-CNN 包含三层 2D 卷积层，核尺寸为 3*×3，随后是全连接（FC）层。在本工作中，我们将模型修改为仅使用单一视角并以 LiDAR 作为描述符。MVCNN 框架也可以整合多传感器数据（例如相机视角）以实现多模态感知。由于我们只使用一个视角，故省略视角池化和拼接，改用带有 64 个输出通道的 FC 层作为分类器，随后对层进行量化。每个量化卷积层之后跟随批量归一化、量化最大池化（核尺寸 2×*2，步幅 2）以及量化 ReLU/HardTanh 激活。单一描述符的量化模型称为单视角 QNN（SVQNN），如图 3(b) 所示。模型的输入为 LiDAR 的体素或像素网格，其中网格深度 D 作为第一层 2D 卷积层的输入通道维度。

D. 在 FPGA 上的训练与推理

训练

我们使用量化感知训练（QAT）来训练神经网络，这是一种在训练过程中模拟降低数值精度影响的技术。与在模型完全训练后对已训练参数进行量化的后训练量化不同，QAT 允许模型在训练过程中学习适应量化效应，例如权重和激活的精度降低。此方法有助于减轻潜在的准确率损失。模型的输入，即 LiDAR 点云的体素/像素网格，往往稀疏，每个值携带重要信息。对如此稀疏输入进行二值化会导致信息和准确率损失。因此我们在训练时采用量化权重和激活，而非纯二值化。该模型使用 Brevitas ³⁰ 进行训练，该库基于 PyTorch，专为 QAT 设计。在 Brevitas 中，fake quantization 层（例如 convolution、max-pooling、ReLU、HardTanh）在训练期间被应用以模拟量化效应。这些层仅在训练时的前向传播中进行量化，并在模型图中保留更高精度的权重。在推理时，权重、激活和输出被量化到指定的位宽，确保在量化环境中的一致性能。

FPGA上的推理

我们使用 Xilinx FINN-R 框架 ³¹ 将训练好的模型映射到硬件上。FINN 基于 QNN 推理模型中每一层的硬件架构如图 4 所示。该硬件架构的核心计算组件是矩阵-向量阈值单元 (MVU) 和滑动窗口单元 (SWU)。MVU 由一组并行处理单元 (PE) 组成，每个 PE 根据单指令多数据 (SIMD) 通道的数量执行并行计算。PE 的数量和 SIMD 通道的数目决定了硬件架构的计算并行度。在卷积层和全连接层中，PE 负责乘法、累加和阈值比较操作。卷积层和最大池化层均使用滑动窗口单元 (SWU) 将输入数据组织成重叠或不重叠的块，分别使 MVU 能够执行卷积和池化操作所需的矩阵-矩阵乘法和比较操作。FINN 对诸如 Tanh 和 Sigmoid 等非线性激活的支持有限，因为它优化于线性函数或更简单的阈值激活，如 ReLU 或 HardTanh。因此，我们采用值域为 {*−*1, +1} 的量化 HardTanh 激活函数来近似非线性行为。与 ReLU ³² 相比，HardTanh 由于其有界输出范围，适用于低比特激活，并且对二值化参数更友好。

第三节. 性能评估

A. 实验设置

数据集

训练用于环境感知波束预测的神经网络需要一个包含与波束成型相关的环境条件的数据集，例如用户位置、每束信号强度（RSS）的信道状态信息、移动模式以及影响信号传播的障碍物。我们使用两个真实数据集，DeepSense ³³（场景 8）和 FLASH ³⁴，来训练和评估所提出的波束预测模型。在 FLASH 数据采集设置中，移动终端（UE）配备了 LiDAR 和与车载电脑连接的 GPS，LiDAR 的采样率为 10 Hz，RSS 波束扫描测量的采样率为 1-1.5 Hz。IEEE 802.11ad Wi‑Fi 无线电，配备了在 60 GHz[^24] 频率下工作的天线阵列，被用作基站（BS）和终端（UE），其中 UE 为全向天线。默认码本包含 34 个已定义扇区（M=34），扇区 ID 为 1-31 和 61-63，而 32-60 的 ID 未定义。在 DeepSense 设置中，基站配备了 LiDAR、GPS 接收器和 16 元素相控阵接收器。移动终端具备 GPS 与毫米波全向发射器。基站和终端均在 60 GHz 频率下工作。信号通过包含 64 个预定义波束（M=64）的码本进行传输。LiDAR 的采样率为 10 Hz，RSS 波束扫描测量的采样率为 8-9 Hz。收集的 LiDAR、GPS 与射频（RF）数据在预处理过程中被同步。FLASH 和 DeepSense 数据集分别包含约 32K 和 4K 样本。该数据集按 80% 训练、10% 验证、10% 测试的比例划分。值得注意的是，FLASH 数据集包含 3D LiDAR 点云，而 DeepSense 数据集提供 2D LiDAR 测量，二者在维度和信息丰富度上有显著区别。每个数据集都根据接收信号强度（RSS）标记了最优波束索引 b*。

Fig. 3. 多视角CNN和SVQNN模型.

Fig. 4. QNN层的硬件架构.

硬件平台

我们的工作旨在将基于机器学习的波束预测集成到基于 FPGA 和 SDR 的实验平台与测试床中 ³⁵, ³⁶。对于无线网络应用，首选的 FPGA 平台是 RF-SoC FPGA，例如 Zynq Ultrascale+ ZCU208 评估平台 ³⁷。然而，由于 FINN 并不直接支持将神经网络部署到 RFSoC FPGA，我们手动将 FINN 支持平台生成的硬件映射 QNN 集成到 RFSoC 可编程逻辑中。我们选择 FINN 支持的 Zynq UltraScale+ ZCU104 MP-SoC (xczu7ev-ffvc1156-2-e) 评估板 ³⁸ 进行此项工作，因为它与 Zynq UltraScale+ RFSoC 设备的架构相似。该 QNN 被映射到该平台，生成硬件 IP（stitched IP），并通过 AXI stream FIFO 接口集成到 ZCU208 RFSoC 中。

输入与输出

对于 FLASH 数据集，LiDAR 点云被预处理成大小为 (20 × 20 × 20) 的占用体素网格。对于 DeepSense 数据集，2D LiDAR 数据被转换成大小为 (20 × 20) 的占用或基于值的像素网格。这些表示作为输入使用，唯一不同之处在于 QNN 第一层卷积的输入通道在两数据集之间不同。模型输出一个来自 M 个可用类别中的单个预测波束索引。

B. 架构探索

为了评估，我们分析了 SVQNN 的两种变体（参见第 II-C 节），即 SVQNNS 和 SVQNNL，它们在每层通道数上存在差异。SVQNNS 是标准模型，在卷积层中使用 128 个通道，在全连接层中使用 512 个通道。SVQNNL 是轻量化版本，通过缩小每层的通道数来降低硬件需求，卷积层使用 16 个通道，全连接层使用 128 个通道。对于权重和激活位宽 ≤2，所使用的激活函数是 HardTanh。两种网络均使用量化的权重和激活进行训练，权重量宽在 w ∈ {2, 8} 之间变化，激活位宽在 a ∈ {1, 8} 之间变化，以评估量化下的性能。训练共进行 75 个周期，使用交叉熵损失函数、ADAM 优化器和学习率 0.001。在硬件上进行离线合成，目标时钟频率为 100 MHz。通过改变折叠参数（如 PE 数量、SIMD 通道数和 MVU 宽度）来评估并行化对硬件资源使用、吞吐量和延迟的影响。MVU 宽度决定向量操作中的并行度，由 PE 数量、SIMD 通道数和多向量并行化来定义。折叠通过将计算分配到多个时钟周期来降低并行度，使神经网络模型能够适配 FPGA 资源限制。在 FINN 中，折叠可以通过调整 MVU 宽度自动化，或通过为每层修改 PE 和 SIMD 值手动调优。

C. 结果

我们展示了使用 DeepSense 和 FLASH 数据集评估所提模型的结果，重点关注关键指标，包括准确率、资源使用和延迟。

准确性与数据集特征的影响

我们通过改变 w 和 a 位宽来评估量化对准确率的影响，并以 Top‑k beam 预测准确率作为主要指标。Fig. 5 显示了在不同输入量化和 SVQNN 配置下，DeepSense 和 FLASH 数据集的准确率与 {w, a} 位宽配置的关系。Fig. 5(a) 表明 DeepSense 数据集对不同 QNN 模型和不同量化值的敏感性很小，而 FLASH 数据集，如 Fig. 5(b) 所示，对 QNN 变化的依赖更大。这是由于数据集的大小、维度和复杂度差异所致：FLASH 数据集具有大样本量和 3D LiDAR 数据，包含更丰富的空间信息和更高的冗余度，而 DeepSense 数据集的复杂度更低、特征更少，可能导致过拟合，从而掩盖量化的影响。该差异突显了 FLASH 数据集相较于更简单的 DeepSense 数据集对量化误差更为敏感。

为进一步分析数据集特性对模型的影响，我们在量化后的 DeepSense 数据集以及 FLASH 的 category‑1（Cat‑1）子数据集上测试了模型。Cat‑1 FLASH 数据集包含视距（LOS）穿越场景，样本量约为 ~9.7K。量化的 DeepSense 数据集包含 16‑bit 量化数据点，携带更详细信息，并且比其基于占位的对应版本更敏感于量化，这从 Fig. 5(a) 与 Fig. 5(c) 可以看出。Cat‑1 FLASH 数据集由于其数据复杂度仍高度敏感于量化，如 Fig. 5(d) 所示，但与完整 FLASH 数据集（Fig. 5 (b)）相比，因样本量减少导致准确率显著下降。

Fig. 5. Top-k beam 预测与 SVQNNS 和 SVQNNL 模型以及不同数据集的权重和激活位宽的关系。

表 I 比较了我们在 FPGA 实现中测得的 SVQNN 模型与 Omni-CNN ³⁹ 和 Jiang 等人 ⁴⁰ 的 Top-1 准确率、参数数量和推理延迟。SVQNN 模型的结果采用 DeepSense 数据集的 MVU 宽度为 32，FLASH 数据集的 SVQNNL 和 SVQNNS 的 MVU 宽度分别为 128 和 32。尽管由于实现平台和 CNN 模型不同，无法与文献中现有模型进行直接比较，表 I 显示我们的量化 SVQNN 版本在基于 LiDAR 的波束预测方面具有与现有全精度模型相当的准确率，同时实现了显著更小的内存占用和十到数百微秒的优异推理延迟。DeepSense 数据集上的 SVQNNL 模型比 ⁴¹ 的模型尺寸小约 29 倍，推理延迟低约 49*×，准确率仅降低 0.14×。SVQNNS* 在 FLASH 数据集上，仅使用 2 位权重和 1 位激活即可实现 79% 的 Top-3 准确率，使用 2 位权重和激活则达到 97%。它还在 2 位权重和激活下获得 85.43% 的 Top-1 准确率，虽然在准确率上优于 Omni-CNN，但保持更小的模型尺寸，同时推理延迟有所增加。据参考资料 ⁴² 报告，Omni-CNN 在 GPU 上实现了 0.008 ms 的延迟。我们注意到在 5G-NR ⁴³ 中，单波束的 BS 和 UE 电波扫频延迟分别为 5 ms 和 20 ms，波束预测的推理延迟不到 1 ms，可能满足系统级别的延迟要求。重要的是，我们在 FPGA 上的 SVQNN 模型在延迟、能耗效率和资源利用率方面提供了更好的权衡，相较于能耗效率较低且可定制性有限的基于 GPU 的实现。

资源使用、延迟和吞吐量

在 ZCU104 MPSoC FPGA 平台上，对 SVQNN 模型的综合结果列于表 I，显示了资源利用率、延迟和吞吐量之间的良好权衡。FLASH 数据集的 SVQNNS 模型在准确率上优于 Omni-CNN，仅需约 20% 的 LUT 资源和约 27% 的片上内存。轻量级模型仅需 <1% 的片上块 RAM (BRAM)，同时实现不到 0.1 毫秒的延迟，凸显了量化的优势。尽管 ZCU104 MPSoC 平台受限的资源限制了像 SVQNNS 这类复杂模型的并行化潜力，从而限制了其吞吐量，但其仍远超 LiDAR 的采样率，约 10-30 fps ⁴⁴, ⁴⁵，确保了波束预测和 LiDAR 数据处理的实时能力。表 I 显示轻量级 SVQNN 模型在低资源消耗下实现高吞吐量，展示了硬件效率与准确率之间的明显权衡。QNN 权重和激活的比特宽度也会影响资源使用和延迟，因为乘加 (MAC) 操作的复杂度增加，正如图 6(c) 所示。

并行化的影响

并行化与资源利用之间的相互关系如图 6(a) 和 6(b) 所示，基于 FPGA 上 FLASH SVQNNS 模型的 FINN 估算结果。受限于 ZCU104 平台的资源，限制了可应用的并行程度，因此我们依赖 FINN 估算结果。增加 MVU 宽度或 PEs 和 SIMD 通道的数量可以降低延迟，但会增加资源需求，如图 6(a) 和 6(b) 所示，凸显了速度与资源效率之间的权衡。图 6(b) 仅显示了第一层卷积的手动折叠效果。此外，FINN 的架构方法将预加载的权重存储与每个 PE 关联，提升了 BRAM 使用率，如 6(b) 所示。更大的内存块还会引入更高的布线延迟，从而降低吞吐量。因此，仔细调优折叠参数对于平衡性能和硬件效率至关重要。像 ZCU208 RFSoC ⁴⁶ 这样更高级的平台比 ZCU104 支持更深的并行性，为更大模型提供更好的吞吐量和更低的延迟。我们的持续工作聚焦于将我们的 QNN 模型移植到 ZCU208 平台。

表 I

图 6. 并行化和位宽对 FLASH 数据集和 SVQNNS 模型的资源使用和延迟的影响.

第四节. 结论

本文通过利用 LiDAR 数据与 QNN 的协同作用，解决了超5G网络中实时、环境感知波束预测的关键需求。我们基于 FPGA 的 LiDAR-QNN 模型实现证明了在毫米波网络中部署低位宽 QNN 进行波束预测的可行性，兼顾了准确性、延迟与硬件效率。使用 DeepSense 与 FLASH 数据集，我们在动态真实环境中验证了模型的性能，推断延迟达到数十至数百微秒，速度比 LiDAR 数据速率快 100 至 1000 倍。此结果展示了模型的实时推断能力及其在超5G 场景中的适用性。

脚注

1. （权重、激活）位宽

*. 假设 32 位精度

. 我们注意到，由于缺乏对应于5G及更高FR2部署的28 GHz数据集，我们在60 GHz下使用这些毫米波数据集而不失一般性。

参考文献

附加参考文献

26. B. Salehi, J. Gu, D. Roy, and K. Chowdhury, “Flash: 用于自动选择高波段mmwave扇区的联邦学习,” in IEEE INFOCOM 2022-IEEE Conference on Computer Communications, 2022.