《A 0.5"-Resolution Hybrid Dual-Band Ultrasound Imaging SoC for UAV Applications》
主要问题:单频超声系统分辨率受限于阵列间距或通道数量。增加这些参数会使系统变得臃肿。高频波行程较短,在分辨率和探测范围之间存在权衡。大间距导致的栅瓣效应也会降低图像质量。
设计与优化:
算法层面:实现混合双频段聚焦,利用低频(40 kHz)进行远距离探测,高频(145 kHz)在1m内提供高空间分辨率。引入特征自适应频率控制器(FA-FC)和双模式序列生成(DM-SG)模块以优化体素处理和减少内存使用。
硬件架构:UIS SoC集成64通道换能器阵列,支持LF/HF模式。设计了电感共享交错充电混合转换器(IS-ICHC)用于高功率TX操作。
电路层面:IS-ICHC采用交错充电和共享电感,与传统设计相比实现了更高的输出功率和更低的纹波。
解决的关键问题:在HF模式下实现0.5°空间分辨率,LF模式下实现高达7m的探测范围,克服栅瓣效应并减少内存需求。
里程碑:开发了混合双频段UIS SoC,LF/HF模式同时实现21 fps帧率,最大吞吐量达11.04M体素/秒,采用180 nm CMOS技术制造。
未解决问题:系统对远距离物体跟踪时对LF模式的依赖可能在回波强度低于阈值时限制性能。功率效率和可扩展性需要进一步优化。
《MOPED: Efficient Motion Planning Engine with Flexible Dimension Support》
主要问题:传统基于采样的运动规划器如RRT*计算密集且效率低下,原因在于昂贵的碰撞检查、邻居搜索操作,以及固有的顺序处理模式,这限制了硬件加速的性能提升。
设计与优化:
数据结构:引入两阶段碰撞检查机制,使用R树存储空间信息和SI-MBR树进行高效邻居搜索,通过分层空间数据表示减少不必要的计算。
算法:提出两阶段处理方案减少碰撞检查的频率和成本,开发了一种转向信息近似邻居搜索方法,在保持路径质量的同时最小化计算开销。
硬件架构:设计了一种保证正确性的推测性处理方案,实现采样级并行性。同时实现了多层缓存策略,减少数据移动并解决资源冲突。
解决的关键问题:MOPED成功减轻了碰撞检查和邻居搜索的计算负担,在低维和高维空间中实现高效运动规划,同时保持高路径质量。
里程碑:MOPED原型相比基线运动规划处理器在吞吐量、能源效率和面积效率方面显示显著改进。碰撞检查计算减少20倍以上,邻居搜索成本降低至少4倍。
未解决问题:论文未明确提及未解决问题,但指出需要进一步探索动态树更新及其计算影响。
《SPADE: Sparse Pillar-based 3D Object Detection Accelerator for Autonomous Driving》
主要问题:PointPillars中柱状编码的固有稀疏性导致不必要的计算,现有的稀疏卷积加速器不适合有效处理柱状编码施加的向量稀疏性。同时,现有方法忽略了由于工作负载不平衡和部分和聚合期间的bank冲突而导致的重大计算减少机会。
设计与优化:
数据结构:提出动态向量修剪算法,平衡准确性和向量稀疏性带来的计算节省。
算法:开发SpConv-P,一种基于动态向量修剪的新型稀疏卷积,允许跨层扩张并动态修剪非必要柱。
硬件架构:设计稀疏坐标管理硬件,将传统2D脉动阵列转换为向量稀疏卷积加速器,具有线性复杂度输入-输出映射和无冲突的分散-聚集功能。
电路层面:设计稀疏感知数据流优化技术,动态调整稀疏卷积调度以优化硬件利用率。
解决的关键问题:SPADE最大化了柱状3D目标检测中的向量稀疏性,并加速了与改进稀疏性相称的向量稀疏卷积,带来显著的加速和能源节省。
里程碑:实现了破纪录的500 FPS速度,准确率损失极小(mAP -0.4%),与密集加速器设计和其他平台相比表现出显著的性能改进。
未解决问题:虽然SPADE解决了许多挑战,但可能需要进一步探索以增强跨不同模型的泛化能力并提高对变化稀疏模式的鲁棒性。
《Uşás: A Sustainable Continuous-Learning Framework for Edge Servers》
主要问题:边缘服务器在数据分析中越来越流行,尤其是视频数据,但其使用的压缩模型容易受到数据漂移影响,需要持续学习,同时面临资源约束和隐私保护挑战。
设计与优化:
算法:提出了一种学生-教师模型用于自动化数据标记,使用表示学习进行样本选择,以及用于能效高的超参数调优的微型分析。
硬件架构:引入了动态可变形脉动阵列,在收获能量约束下进行能效计算。
解决的关键问题:Uşás通过可再生能源利用和硬件适应性有效缓解了数据漂移,同时减少功耗。
里程碑:相比先前方法,实现了平均准确率提高4.96%,与DNN加速器相比每年每边缘服务器节省高达234.95 kWh,与GPU相比节省2.63 MWh/年/边缘服务器。
未解决问题:论文未明确提及未解决问题,但指出适应其他领域(如自动驾驶、物联网)可能需要额外探索。
《FLNA: Flexibly Accelerating Feature Learning Networks for Large-Scale Point Clouds With Efficient Dataflow Decoupling》
主要问题:处理点云面临显著挑战,主要是GFLN流水线中的关键数据依赖性、极度稀疏点云导致大内存占用,以及内在网格稀疏性与连接操作结合导致计算冗余。这些问题阻碍了硬件加速的效率和资源利用。
设计与优化:
数据结构:引入数据流解耦策略来分解网格并分离点级和网格级特征,减少内存消耗和冗余计算。
算法:算法层面优化包括解耦FEN数据流以启用独立点级处理,减少特征编码层中的同步障碍和冗余计算。
硬件架构:FLNA实现了高度流水线化架构,采用块级处理策略、基于链表的查找表(LUT)和转置bank策略优化内存访问。
解决的关键问题:FLNA成功解决了GFLN流水线中数据依赖性、稀疏性和冗余导致的低效问题,显著提高了计算和内存效率。
里程碑:FLNA相比GPU和CPU实现了69.9-264.4倍加速,能效提升超过99%,同时为大规模点云输入展示了卓越性能。
未解决问题:论文未明确提及未解决问题,但进一步研究可能集中在将FLNA能力扩展到其他类型的神经网络或改进其对更大数据集的可扩展性。
《An Energy-Efficient, Unified CNN Accelerator for Real-Time Multi-Object Semantic Segmentation for Autonomous Vehicle》
主要问题:深度神经网络在自动驾驶电动汽车中至关重要,但面临高计算复杂度、内存带宽限制和能效挑战。语义分割是AEV感知的基础任务,但在资源受限嵌入式系统上部署面临实时处理高分辨率驾驶场景、减少能耗和高效处理各种卷积层类型等挑战。
设计与优化:
数据结构:设计了轻量级深度融合三边网络(DTN),通过双上下文路径集成RGB和深度模态,采用各种卷积类型减少计算负载同时保持准确率。
算法:DTN利用深度可分离卷积(DSC)、扩张卷积(D-CONV)和空洞空间金字塔池化(ASPP)等算法优化,实现高效计算和大感受野覆盖。另外应用通道剪枝进一步压缩网络。
硬件架构:开发了统一CNN处理器,具有双模式基于移位寄存器的输入重配置单元(SIRU)和层融合架构,支持五种不同类型的卷积层。架构集成两种处理元素(PE)类型用于DSC操作,改善PE利用率并减少外部内存访问。
解决的关键问题:提出的系统实现了高准确率和能效的实时多目标语义分割,解决了计算复杂度、内存访问减少和支持多样卷积类型的挑战。
里程碑:统一CNN处理器展示了43.6 mW功耗、4.94 TOPS/W能效和40.07帧每秒(fps)吞吐量,在高分辨率驾驶场景数据集上。同时减少了DSC操作的外部内存访问34.7%。
未解决问题:虽然提出的解决方案显著改善了性能,但可能需要进一步研究以增强在极端驾驶条件下的鲁棒性,并扩展对更大网络或额外传感器模态的可扩展性。
《Memristor-based adaptive neuromorphic perception in unstructured environments》
主要问题:机器人或自动驾驶系统中的控制系统需要具备与人类相似的感知方法,能够理解并适应非结构化环境,但设计能够类似生物机制差异化处理感觉信息的系统仍面临挑战。
设计与优化:
算法:设计了基于忆阻器的差分神经形态计算方法,通过提取特征并调制忆阻器状态来处理非结构化数据。
硬件架构:利用40×25忆阻器阵列进行视觉感知任务,单个自导向通道(SDC)忆阻器用于触觉感知任务。
电路层面:设计了用于触觉和视觉刺激编码、调制和处理的忆阻器神经形态电路。
解决的关键问题:通过忆阻器神经形态电路在触觉和视觉感知任务中成功展示了对非结构化环境的实时适应和高级反应。
里程碑:
使用单个忆阻器基于触觉对象特征实现未知物体的安全稳定抓取,适应速度快(约1 ms)。
在自动驾驶中使用40×25忆阻器阵列从10个非结构化环境中提取决策信息的准确率达94%。
未解决问题:基于帧的图像处理固有限制,如在低光条件下性能下降,以及与动态视觉传感器相比动态范围较窄。
《Firing feature-driven neural circuits with scalable memristive neurons for robotic obstacle avoidance》
主要问题:实现一个基于发放特征驱动的功能性神经电路仍是一个开放性问题,原因在于模拟神经元发放行为的计算能力和实现混合尖峰和爆发特征编码感觉输入所面临的挑战。
设计与优化:
算法:引入了一种选择性通信方案,通过两个下行神经元解码来自上行神经元的混合发放模式(尖峰和爆发)。
硬件架构:设计了一个基于三个基于NbO₂忆阻器的Hodgkin-Huxley神经元的感觉运动控制神经电路(SCNC)。
电路层面:使用NbO₂阈值开关(TS)忆阻器、电阻器、电容器和电压源构建H-H神经元电路,模拟尖峰和爆发行为。
解决的关键问题:该工作成功展示了固定H-H神经元电路中尖峰和爆发特征之间的概率转换,实现了机器人障碍物避障的感觉输入编码。
里程碑:相比传统平台,通过将SCNC集成到机器人中实现了障碍物避障,延迟降低一个数量级以上。
未解决问题:需要进一步研究增强忆阻器神经元的可扩展性和鲁棒性,以支持具身系统中的高阶智能行为。
《An FPGA-based kNN Search Accelerator for point cloud registration》
主要问题:点云配准中的k近邻(kNN)搜索组件通常由于高计算需求而无法满足实时要求。在ICP过程中,kNN搜索消耗了超过75%的总时间。传统方法如kd树在FPGA上实现时需要大量硬件资源,而基于层次图的方法需要大容量存储。
设计与优化:
数据结构:使用增强的局部敏感哈希(LSH)技术高效划分点云数据,减少资源消耗并提高并行性。
算法:提出了改进的LSH方法加速点云访问和搜索,实现更高效的kNN搜索操作。
硬件架构:设计了基于FPGA的加速器架构,包括划分单元、搜索桶、参考桶和NN搜索模块,优化速度并最小化硬件资源使用。
电路层面:实现了基于块的RAM分区方法,优化存储空间分配并提高数据存储密度。
解决的关键问题:提出的基于FPGA的kNN搜索加速器相比CPU和GPU实现分别实现了120倍和15倍加速,完成kNN搜索仅需0.64毫秒。
里程碑:在延迟、资源利用和功耗方面相比现有加速器展示了卓越性能和效率。
未解决问题:未明确提及,但可能需要在处理哈希桶中不均匀分布的点以及将解决方案扩展到其他类型数据集或应用方面进行进一步改进。
《An Integrated FPGA Accelerator for Deep Learning-Based 2D/3D Path Planning》
主要问题:路径规划对移动机器人自主性至关重要,但在资源有限的移动机器人上部署最先进方法并实现实时性能仍具挑战性。
设计与优化:
数据结构:P3Net利用专为点云处理设计的基于PointNet的编码器架构,提取置换不变特征。
算法:P3Net引入批处理规划策略并行处理多个候选路径,并添加细化阶段迭代优化路径,在不增加计算时间的情况下提高成功率。
硬件架构:P3NetCore是针对FPGA SoC(Xilinx ZCU104)的IP核,集成了全流水线点云编码器、批处理双向路径规划器和并行碰撞检测器。
解决的关键问题:P3Net将成功率提高了高达28.2%并规划近乎最优路径,与MPNet和最先进基于采样的方法相比,在计算和解决方案质量之间提供了显著更好的权衡。
里程碑:P3Net与IP核在2D数据集上运行速度比ARM Cortex CPU和Nvidia Jetson快30.52-186.36倍和7.68-143.62倍,在3D数据集上快15.69-93.26倍和5.30-45.27倍,同时功耗仅为0.255W(2D)和0.809W(3D)。它的功效比工作站高出高达1278.14倍(2D)和455.34倍(3D)。
未解决问题:论文未明确提及未解决问题,但可以推断处理复杂环境或更大地图可能仍需进一步改进。
《BitNN: A Bit-Serial Accelerator for K-Nearest Neighbor Search in Point Clouds》
主要问题:现有kNN加速技术由于不必要的计算和固定数据精度需求而效率低下。欧几里得距离计算占最先进实现运行时间的80%以上,且内存访问成本高昂。此外,当前解决方案采用"一刀切"精度方法,导致在不同场景下次优性能表现。
设计与优化:
数据结构:提出维度点云编码方法和点式数据布局方法,压缩点云数据并减少离片内存访问40.2%。
算法:开发了位级串行计算方法逐位计算欧几里得距离,结合提前终止机制减少不必要的计算。
硬件架构:设计了用于位级串行kNN搜索的高效并行架构,集成了位级串行距离单元(BDU)阵列,消除了对乘法器的需求。
解决的关键问题:该论文成功减少计算成本高达90%和内存访问高达84%,显著提高kNN搜索的性能和能效,且几乎不损失准确性。
里程碑:BitNN相比类似规模架构实现高达6.6倍加速和3.6倍功效。集成到现有加速器如ParallelNN时,实现高达4.4倍加速和2.9倍功效。
未解决问题:论文未解决该架构对极大规模点云的可扩展性或其对非欧几里得距离度量的适应性。
《A 65 nm General-Purpose Compute-in-Memory Processor Supporting Both General Programming and Deep Learning Tasks》
主要问题:随着深度神经网络(DNN)模型规模增长以提高机器学习/人工智能(ML/AI)应用的准确性和性能,硬件能效变得至关重要,尤其是边缘设备。虽然计算内存(CIM)处理器在MAC操作方面显示出显著改进,但缺乏对CPU相关通用计算和数据传输的考虑,这成为端到端ML/AI工作负载的瓶颈。传统异构架构由于核间数据传输延迟高,而CPU在预/后处理任务中消耗大量执行时间。
设计与优化:
数据结构:GPCIM使用两种不同位元阵列(DAMEM和DOMEM),用于DNN和向量CPU模式下的可重构操作。
算法:开发了定制向量指令集和特殊数据流,支持CPU和DNN操作之间的无缝模式切换和高效数据共享。
硬件架构:设计了统一数字CIM架构,集成了能够重构用于DNN累加和CPU执行的中央计算单元(CCU)。
电路层面:设计包括用于位元阵列内乘法的9T DAMEM单元和用于双端口读/写操作的8T DOMEM单元,以及优化的布线以最小化面积开销。
解决的关键问题:GPCIM解决了端到端ML/AI任务中CPU处理和核间数据传输的瓶颈,为DNN推理和通用计算实现了最先进的能效。
里程碑:GPCIM展示了28.3 TOPS/W DNN宏效率和802 GOPS/W峰值CPU效率。相比现有RISC-V向量处理器SoC,平均提高17.8倍CPU能效,在AI相关应用上减少37%-55%端到端延迟。
未解决问题:论文未明确提及未解决问题,但暗示可能需要进一步优化以实现更高时钟速度和更复杂通用计算任务。
《RoboVisio: A Micro-Robot Vision Domain-Specific SoC for Autonomous Navigation Enabling Fully-on-Chip Intelligence via 2-MB eMRAM》
主要问题:陆地和空中微型机器人在诸如confined空间检测、搜索救援和环境监测等关键应用中至关重要。这些机器人必须小巧、轻便且节能,但在这些约束下实现自主性面临挑战,因为先进导航系统的高功耗和资源需求。
设计与优化:
数据结构:统一图像-激活内存(IAMEM)采用基于块交换的输入/输出图像缓冲,将缓冲区占用减少50%,消除多帧缓冲的数据复制开销。
算法:混合处理元素(PE)阵列既支持经典视觉任务(使用2-D-映射架构),又支持基于CNN的任务(使用输出通道并行收缩方法),相比单独实现节省40%面积和漏电,同时不损失功率或吞吐量。
硬件架构:设计融合了与定制RISC核紧密耦合的神经视觉处理单元(NVPU),实现可编程性和高效执行多样视觉任务。系统还集成了2-MB MRAM用于非易失性权重存储和带宽高效内存接口。
电路层面:掩码寄存器(Msk-Reg)和局部寄存器文件(LRF)通过门控未使用PE和减少内存访问开销提高能效。权重缓冲和CNN循环排序减少权重内存系统功率75%。
解决的关键问题:RoboVisio成功解决了为微型机器人视觉任务提供高效、可编程和完全片上智能的挑战,在支持经典和基于CNN的视觉任务的同时,实现了能源和面积效率的显著改进。
里程碑:设计在Harris角特征检测方面实现0.22 nJ/像素,在CNN推理方面实现3.5 TOPS/W(16位OP),相比使用非易失性内存(NVM)的最先进边缘ML SoC,效率提高40%-170%。
未解决问题:虽然设计高效,但未明确解决可扩展性对更大或更复杂视觉任务的潜在限制。此外,可能需要进一步探索,以优化在不同工作负载和动态环境下的性能。
《LightFusion: Lightweight CNN Architecture for Enabling Efficient Sensor Fusion in Free Road Segmentation of Autonomous Driving》
主要问题:自动驾驶要求既准确感知又高速决策。多模态传感器如摄像头和激光雷达用于提供互补信息以提高自由道路分割的感知准确性。然而,现有融合方法使用复杂DCNN导致推理时间长。
设计与优化:
数据结构:设计了双维度浅层DCNN(DDS-DCNN),通过减少每个融合阶段的基本块数量同时保持与基线模型相同的融合阶段数,显著降低计算开销。
算法:引入联合不平衡损失函数,结合像素分布损失和任务特定分割损失,引导轻量级网络(LA-RoadNet)模仿基线模型结构化信息同时从真实标签学习。
解决的关键问题:提出的LightFusion框架成功开发了轻量且准确的CNN架构(LA-RoadNet),显著减少MAC和参数同时保持或超越30 fps的实时处理速度。
里程碑:相比最先进工作,MAC和参数分别减少高达5.2×和5.3×,相比基线模型加速4.8×。在KITTI数据集和R2D数据集上展示了卓越准确性和效率。
未解决问题:未来工作需要评估该解决方案能否处理其他类型传感器数据,如雷达数据。
《Toward Robust Cooperative Perception via Spatio-Temporal Modelling》
主要问题:基于激光雷达驱动信号处理的协作感知在驾驶场景中已引起广泛关注。然而,挑战仍然存在,这是由于不可避免的数据稀疏性和定位误差。
设计与优化:
算法:引入了多尺度时间集成(MTI)模块和空间协作转换器(SCT),分别解决时间和空间问题。
解决的关键问题:通过聚合历史线索缓解了数据稀疏性,并通过细粒度空间协作减少了定位误差导致的特征不对齐。
里程碑:在DAIR-V2X和V2X-Sim数据集上相比最先进方法显著改进,[email protected]分别提高2.16%和2.98%。
未解决问题:针对定位误差的鲁棒性仍可提高,累积历史信息的影响需要进一步研究。
《A Real-Time and High Precision Hardware Implementation of RANSAC Algorithm for Visual SLAM Achieving Mismatched Feature Point Pair Elimination》
主要问题:视觉SLAM(vSLAM)由于其低成本、快速和广泛应用而受到关注。vSLAM系统面临的一个关键挑战是消除帧间错配特征点对,这直接影响准确性和稳定性。随机采样一致性(RANSAC)算法因其在处理不规则数据输入方面的鲁棒性而被广泛用于此目的。
设计与优化:
数据结构:设计利用BRAM缓冲区高效数据存储,包括特征点和掩码的单独缓冲区,优化内存访问模式。
算法:提出基于直接线性变换(DLT)的无浮点齐次矩阵计算方法,并优化如稀疏性利用、任务流水线和归一化等。
硬件架构:设计了基于FPGA的硬件加速器架构,特点是三个阶段:数据准备、假设模型构建和后处理。包括寄存器阵列和共享存储机制以增强性能。
解决的关键问题:提出的设计实现了vSLAM系统中高速高精度错配特征点对消除,减少延迟和资源消耗同时提高准确性。
里程碑:设计实现了709 fps的处理帧率,相比ARM CPU平均加速263.2×,相比先进RANSAC实现加速1.2∼50.0×。在EuRoc数据集上RMSE精度提高15.6%。
未解决问题:论文未明确提及未解决问题,但指出需要平衡硬件部署中的准确性、实时性能和资源使用。
《Extending GPU Ray-Tracing Units for Hierarchical Search Acceleration》
主要问题:专用光线追踪加速单元已成为GPU硬件常见特性,支持复杂场景的实时光线追踪。然而,由于广泛的分支和递归,GPU难以加速推荐系统和点云配准等领域使用的层次搜索算法。
设计与优化:
数据结构:分层搜索单元(HSU)支持各种层次数据结构,包括B树、边界体积层次结构(BVH)、k-d树和层次图。
算法:HSU扩展了基线RT单元ISA以执行欧几里得/角度距离计算和键比较,使其适应超出光线追踪的通用计算任务。
硬件架构:HSU重用基线光线追踪流水线的功能单元,引入诸如特定阶段的加法器等最小附加硬件,以支持扩展操作。
解决的关键问题:HSU使更广泛类别的层次搜索算法加速成为可能,提高高维数据集性能并减少非图形应用编程复杂性。
里程碑:HSU相比最先进GPU近似最近邻实现平均改进24.8%,使用GPU的通用计算接口。
未解决问题:HSU仍需在更广泛应用范围内进一步评估,并可能在处理极大或复杂数据集的可扩展性方面面临限制。
《SLAM-CIM: A Visual SLAM Backend Processor With Dynamic-Range-Driven-Skipping Linear-Solving FP-CIM Macros》
主要问题:同时定位与地图构建(SLAM)是机器人、自动驾驶车辆和监控领域的关键技术。由于资源约束和实时需求,开发能效高、低延迟的SLAM系统至关重要。
设计与优化:
算法:设计了基于预处理共轭梯度的内存中线性求解器(PILARS),消除系数矩阵更新并减少延迟。实现了增量BA调度器(IBAS),通过仅重建优化问题的部分段来提高CIM利用率。
硬件架构:设计了一个名为SLAM-CIM的处理器,具有12个动态范围驱动跳过FP-CIM宏、中间结果累加器(IRA)和线性求解单指令多数据核(LSSC)。
电路层面:在电路层面实现了动态范围驱动跳过方案,基于指数值跳过对结果贡献小的计算。
解决的关键问题:提出的SLAM-CIM处理器实现了高能效,减少内存访问和延迟,同时保持高动态范围FP-MAC操作。
里程碑:处理器实现了53.3 TFLOPS/W的峰值能效,内存访问减少2.08×,线性系统求解延迟相比基于高斯消元的求解器减少3.84×。
未解决问题:CIM架构的耐久性和可靠性仍需进一步改进,扩展处理器处理更大问题可能需要额外优化。
《GauSPU: 3D Gaussian Splatting Processor for Real-Time SLAM Systems》
主要问题:3D高斯溅射(3DGS)已成为AR/VR、自动驾驶和机器人等应用中高保真场景重建和渲染的有前途技术。将其集成到同时定位与地图构建(SLAM)系统中由于能提供密集映射和可微分姿势跟踪而具有很大优势。然而,现有3DGS基于SLAM系统由于体渲染计算需求大和梯度反向传播期间不规则内存访问模式导致跟踪吞吐量低。
设计与优化:
算法:引入稀疏瓦片采样(STS)专注于图像中信息丰富区域,减少不必要计算同时保持准确性。还通过避免对密集图像进行完全反向传播优化了姿势跟踪。
硬件架构:提出GauSPU,包含流水线多核架构,包括稀疏适应性光线递归单元(SA-RRU)和内存访问放宽反向传播引擎(MAR-BE)。SA-RRU使用子瓦片级执行和基于Morton的线程分配加速体渲染。MAR-BE通过合并部分梯度和流水线融合反向传播优化梯度聚合。
解决的关键问题:实现了33.6 FPS的实时姿势跟踪,相比RTX3090基线能效提高63.9倍,解决了体渲染和梯度反向传播中的低效问题。
里程碑:展示了3DGS-SLAM硬件加速的可行性,在前向渲染(15.9倍)和反向传播(49.8倍)方面都实现了显著加速。
未解决问题:论文未明确提及未解决问题,但暗示了可能的进一步优化领域,如更有效处理稀疏性或扩展系统处理更大数据集。
《Invited: Algorithm and Hardware Co-Design for Energy-Efficient Neural SLAM》
主要问题:同时定位与地图构建(SLAM)是机器人领域的基础技术,允许自主系统导航和理解周围环境。基于神经网络的SLAM因其提高性能和鲁棒性的潜力而受到欢迎,但面临计算强度和能耗挑战,尤其是在移动机器人和无人机中。
设计与优化:
算法:提出结合通道剪枝和自蒸馏的方法,减少参数数量同时保持最小精度损失。使用基于梯度的剪枝方法和知识蒸馏识别SLAM任务关键权重。
硬件架构:设计了定制硬件架构支持神经SLAM,专注于通过数据重用消除冗余计算,实现帧级并行处理,并实现高效三角函数查找机制。
解决的关键问题:算法减少了31.4%参数数量同时保持可比准确性。硬件设计相比基于GPU的实现在面积效率(67.6倍)和能效(13.8倍)方面实现了显著改进。
里程碑:本论文成功展示了算法硬件协同设计策略,增强神经SLAM系统的能效和计算性能。还展示了如何将基于梯度的剪枝和自蒸馏有效应用于SLAM任务。
未解决问题:论文未解决硬件设计的长期可靠性或耐久性问题。可能需要进一步研究评估系统对不同类型SLAM任务或环境的可扩展性和适应性。
《A Software-Hardware Co-design Solution for 3D Inner Structure Reconstruction》
主要问题:3D体积成像广泛用于医疗诊断、考古学和地质勘探等领域。COVID-19期间,对肺部CT扫描需求显著增加。然而,从低剂量CT数据重建3D模型极其缓慢,在16核CPU上处理874×874×161图像需要超过6506秒。加速这一过程至关重要,因为患者数量和应用需求不断增加。
设计与优化:
数据结构:设计了基于体素驱动的数据结构,每个体素存储其衰减系数、光束ID和与光束的预计算交点长度。这改善了体素遍历期间的空间局部性。
算法:重新设计算法使用体素驱动方法而非光线驱动,改善局部性。通过分析实际数据依赖关系并移除不必要同步减少同步开销。算法分为两个阶段以重用硬件资源。
硬件架构:提出了一种名为Waffle的新型近内存计算架构。它由连接成网格的多个立方体组成,每个包含核心和内存芯片。该架构支持核心间可扩展高效异步通信。
解决的关键问题:论文成功解决了3D内部结构重建中的数据局部性差、同步开销和任务划分问题。体素驱动方法和Waffle架构消除了冗余计算并改善了收敛速度。
里程碑:整体解决方案相比10个GPU集群实现了3.51×至3.96×加速,能效提高9.35×至10.97×。
未解决问题:未明确提及,但超出CT范围的其他类型3D重建任务的可扩展性和通用性可能需要进一步研究。
《VITA: ViT Acceleration for Efficient 3D Human Mesh Recovery via Hardware-Algorithm Co-Design》
主要问题:视觉变换器(ViT)已在实现AR/VR应用中高效3D人体网格恢复(HMR)方面显示出前景。然而,高计算复杂性、大内存占用和数据局部性受损阻碍了它们在AR/VR头显等资源受限设备上的部署。
设计与优化:
数据结构:引入平均池化块(APB)替代多头注意力,优化内存访问模式并改善数据局部性。
算法:APB通过基于补丁和基于位置的池化路径捕获跨通道空间相关性,确保在计算和内存需求降低的情况下全面特征提取。
硬件架构:设计了统一处理元素(PE)架构,高效处理包括池化、规范化和卷积在内的各种ViT操作。
解决的关键问题:VITA框架显著减少模型大小和MAC操作,优化数据局部性,并在资源受限设备上实现ViT基于HMR任务的实时推理能力。
里程碑:VITA在HMR任务上相比最先进GPU和CPU分别实现5.05倍和69.12倍加速,并在图像分类任务上展示了改进性能。
未解决问题:可能需要进一步改进以增强准确度指标如MPJPE、PA-MPJPE和MPVE,相比现有模型如POTTER。
《Invited: Automatic Hardware/Software Design for High-Speed Autonomous Unmanned Aerial Vehicles Guided by a Flight Model》
主要问题:自主无人机(UAV)在工业和学术界越来越重要。然而,由于尺寸、重量和功率(SWaP)约束,设计高速导航的高效计算系统面临挑战。
设计与优化:
算法:提出了一个自上而下的自动硬件-软件协同设计框架,包括一个连接系统级指标与算法准确性和延迟的飞行模型。定义了感知算法的设计空间,并使用CUDA加速关键非AI算子。
硬件架构:对VIO后端的非AI算子进行分析并在嵌入式CPU/GPU平台上加速。设计了一个调度器,在异构计算平台上在时间和空间上分配算子。
解决的关键问题:FastPilot成功优化了算法和硬件层面,相比手动设计方法实现更高飞行速度。相比高精度设计提高40%,相比低延迟设计提高65%。
里程碑:FastPilot展示了自动化设计流程适应不同场景、UAV物理特性和计算平台的能力,在各种性能指标上实现帕累托最优设计。
未解决问题:当前实现专注于固定嵌入式GPU平台,未来工作将涉及用可重构FPGA替代,以实现细粒度硬件优化。
《Fused Sampling and Grouping with Search Space Reduction for Efficient Point Cloud Acceleration》
主要问题:点云数据广泛用于自动驾驶、增强现实和虚拟现实等3D应用。虽然基于点的深度神经网络(DNN)在分析点云方面表现强劲,但采样和分组层由于迭代内存访问和计算导致的高时间和能量消耗面临挑战。
设计与优化:
数据结构:引入基于莫顿编码的数据结构利用空间局部性,基于莫顿编码共享上位比特将附近点组织在一起。
算法:提出融合采样和分组方法减少搜索空间,重用最远体素及其邻居的点数据和计算距离,最小化冗余计算。
硬件架构:设计专用硬件架构支持提出的优化技术,包括体素计算单元、点计算单元和MatMul单元。
解决的关键问题:该方法有效减少采样和分组期间的距离计算和内存访问次数,几乎不损失准确性,且无需重新训练网络模型。
里程碑:提出的方案相比先前加速器实现高达8.3×更少距离计算、高达20.7×更快采样和分组,以及高达8.4×更低能耗。
未解决问题:虽然该方法在各种数据集上表现良好,但仍存在高达0.4%的微小准确性损失,且对极大规模点云的解决方案可扩展性需要进一步探索。
《HIGNAS: Hardware-Aware Graph Neural Architecture Search for Edge Devices》
主要问题:图神经网络(GNN)在各种现实应用中显示出前景,但在资源受限边缘设备上部署面临挑战。GNN推理的计算密集和内存密集特性在资源有限的边缘设备和昂贵GNN模型之间创造了计算差距。
设计与优化:
数据结构:开发了一个细粒度层次设计空间,将GNN层解耦为样本、聚合、组合和连接等基本操作,通过学习而非手动努力实现灵活配置。
算法:提出一种高效多阶段层次搜索策略,加速在庞大GNN细粒度设计空间中的探索。集成了基于GNN的硬件性能预测器,高效感知候选GNN的延迟和峰值内存使用。
硬件架构:HGNAS框架专为优化特定边缘设备的GNN而设计,在搜索过程中纳入推理延迟和峰值内存使用等硬件约束。
解决的关键问题:HGNAS成功解决了为边缘设备设计的GNN架构中的低效和冗余。它提供了一种自动方法,探索针对目标平台的多目标(准确性、延迟和峰值内存使用)最优GNN模型。
里程碑:HGNAS是第一个为资源受限边缘设备执行高效图神经架构搜索的NAS框架。在点云分类任务上实现高达10.6倍推理加速和82.5%峰值内存减少,准确性损失可忽略不计。
未解决问题:虽然HGNAS显著提高效率,但仍依赖进化算法,并可能由于设计空间复杂性而忽视一些有前景的架构。进一步研究可能集中在细化搜索策略并扩展其对更多样化硬件平台的适用性。
从对以上文献的梳理来看,图像/点云配准建模加速芯片研究呈现出以下发展趋势:
多样化的应用场景驱动:从最初的纯视觉SLAM到点云处理、3D重建、自动驾驶、机器人导航等多样化场景,应用需求正在推动研究朝着更专业化和细分化方向发展。国内外研究机构都在积极探索将先进感知技术部署到资源受限环境中的可能性。
算法-硬件协同设计成为主流:大多数最新研究都采用了算法-硬件协同设计方法。这种方法通过同时优化算法和硬件架构,实现了显著的性能和能效提升。中国(复旦大学、北航等)和美国(罗格斯大学、密歇根大学等)的研究团队在这方面表现活跃。
能效成为关键指标:几乎所有研究都将能效视为关键优化目标,这反映了边缘计算和移动设备应用场景的重要性。能效的提高使得复杂的感知算法可以在资源受限的环境中运行。
新型计算架构的涌现:从基于CIM(计算内存)的架构到专用加速器,再到近内存计算,研究人员正在探索超越传统冯·诺依曼架构的新型计算范式。这些创新架构针对特定应用场景进行了优化,实现了传统架构难以达到的性能。
新兴材料与器件的应用:忆阻器等新型器件的应用(如复旦大学和北京航空航天大学的研究)为神经形态计算提供了新的可能性,特别是在模拟生物感知方面展现出独特优势。
自动化设计工具的重要性增加:如清华大学的FastPilot和北航的HGNAS,体现了自动化硬件-软件协同设计的趋势,这有助于减少设计周期并适应复杂多变的应用环境。
大规模数据处理能力的提升:点云等高维数据处理能力的提升成为研究热点,加速器设计正在从处理简单静态数据向处理大规模动态数据方向发展。
国内研究在忆阻器神经形态计算(复旦大学)、视觉SLAM后端处理器(复旦大学)和硬件感知神经架构搜索(北航)等方面展现出领先优势,而国外研究在通用计算内存处理器(西北大学)和微机器人视觉SoC(密歇根大学)等领域处于前沿。整体来看,双方研究各有侧重,但都在探索如何在资源受限环境中实现高效感知计算的核心挑战。
在图像/点云配准建模加速芯片领域,近年来出现了一系列重要里程碑,具体体现在以下几个方面:
点云特征提取与处理:
FLNA(上海交通大学)提出的数据流解耦策略,实现了69.9-264.4倍的加速比和超过99%的能效提升,为大规模点云数据处理树立了新标准。BitNN(北航)的位级串行计算方法减少了多达90%的计算成本和84%的内存访问,解决了点云kNN搜索的效率问题。SPADE(韩国汉阳大学)实现了500 FPS的3D目标检测,通过创新的向量稀疏卷积技术解决了柱状编码稀疏性问题。
点搜索加速:
基于FPGA的kNN搜索加速器(重庆大学)相比CPU和GPU分别实现了120倍和15倍的加速,完成kNN搜索仅需0.64毫秒。Yoon等人(浦项科技大学)提出的融合采样和分组方法实现了高达8.3倍更少的距离计算和20.7倍更快的采样和分组。Barnes等人(普渡大学)通过扩展GPU光线追踪单元实现了层次搜索加速,平均改进24.8%,拓展了GPU硬件的应用范围。
配准算法加速器:
MOPED(罗格斯大学)为运动规划引擎带来显著改进,碰撞检查计算减少20倍以上,邻居搜索成本降低至少4倍。P3Net(日本庆应义塾大学)在2D和3D路径规划中展示了卓越的能效,其能效比比工作站高出高达1278.14倍。RANSAC算法硬件实现(西安交通大学)实现了709 fps的处理帧率,相比ARM CPU平均加速263.2倍。
新型芯片架构:
SLAM-CIM(复旦大学)提出了用于视觉SLAM后端的处理器,实现了53.3 TFLOPS/W的峰值能效。GauSPU(复旦大学)为3D高斯溅射实时SLAM系统设计了专用处理器,实现33.6 FPS的实时姿势跟踪。GPCIM(西北大学)开发了通用计算内存处理器,实现了28.3 TOPS/W DNN宏效率和802 GOPS/W峰值CPU效率。RoboVisio(密歇根大学)为微机器人视觉设计了专用SoC,在CNN推理方面实现3.5 TOPS/W,展示了片上智能的可行性。
神经形态计算:
基于忆阻器的适应性神经形态感知(北航)和基于忆阻器神经元的神经电路(复旦大学)展示了生物启发计算在机器人感知中的潜力,为实现更自然的环境适应性提供了新方向。
随着研究的深入,图像/点云配准建模加速芯片在性能、面积和功耗方面呈现明显的改进趋势:
性能提升:
从早期的几倍加速比到如今的数十倍甚至上百倍加速比,计算性能提升显著。FLNA达到69.9-264.4倍加速,BitNN实现高达6.6倍加速,SLAM-CIM的线性系统求解延迟减少3.84倍。随着专用单元(如VITA为ViT加速设计的处理元素)和并行架构的采用,处理吞吐量持续提高。
面积效率优化:
芯片设计越来越关注面积效率。混合处理元素(如RoboVisio)相比单独实现节省40%面积和漏电。VITA的统一处理元素架构高效处理包括池化、规范化和卷积在内的各种ViT操作。神经SLAM硬件架构(罗格斯大学)实现了67.6倍的面积效率改进。
功耗优化:
能效已成为评估加速器性能的核心指标。近内存计算架构Waffle相比10个GPU集群能效提高9.35倍至10.97倍。SLAM-CIM实现了53.3 TFLOPS/W的峰值能效。GauSPU相比RTX3090基线能效提高63.9倍。忆阻器基神经电路显示出对传统架构的能效优势,特别是在实时响应场景中。
这些进步不仅体现在单一指标上,更重要的是在保持或提高计算精度的同时实现了多指标的综合优化。例如,LightFusion在准确性损失可忽略的情况下,MAC和参数分别减少高达5.2倍和5.3倍;HGNAS在点云分类任务上实现高达10.6倍推理加速和82.5%峰值内存减少,准确性损失微小。
尽管已取得显著进展,当前图像/点云配准建模加速芯片在"数据结构-算法-架构深度耦合优化"方面仍存在以下不足:
数据结构优化局限性:
数据表示的碎片化:不同加速器采用不同的数据结构(如FLNA的数据流解耦、BitNN的位级串行表示、莫顿编码等),缺乏统一的高效表示方法,导致跨应用场景的适应性不足。
静态结构设计:大多数研究使用预定义的数据结构,缺乏根据输入数据特性动态调整的能力,无法充分适应点云分布稀疏性和不规则性的变化。
内存层次考虑不足:虽有部分研究(如Waffle和GauSPU)关注内存优化,但多数方案未系统考虑数据结构与内存层次匹配问题,导致访存效率不佳。
算法优化局限性:
算法细粒度分解不足:许多研究倾向于整体性能优化,缺乏对算法的深度分解与理解,未充分挖掘计算冗余。如点云处理算法中的距离计算和邻居搜索尽管有改进,但仍有优化空间。
精度与效率平衡不佳:部分优化技术(如HGNAS)在提高效率时牺牲了精度,或如VITA等在保持精度时限制了加速比。
模型压缩不足:虽有部分研究(如神经SLAM)应用剪枝和蒸馏技术,但多数方案未系统考虑模型压缩对硬件实现的影响。
架构设计局限性:
专用性与通用性平衡不足:多数加速器过度专门化,如SLAM-CIM专注于SLAM后端,缺乏足够的可重构性支持不同应用场景。
异构计算资源协调不足:虽有研究(如FastPilot)关注异构平台上的任务调度,但资源动态分配与任务负载平衡仍需深入研究。
可扩展性挑战:现有架构通常针对特定规模问题优化,如SPADE和BitNN在处理超大规模点云时的可扩展性受限。
端到端系统集成不足:多数研究集中于加速单个组件或算法,缺乏对完整感知流水线的系统级优化,如从点云获取到决策的全过程加速。
深度耦合优化不足:
交叉层次优化局限:虽然多数研究采用"算法-硬件协同设计"方法,但数据结构、算法和硬件架构三者间的深度耦合优化不足。特别是数据结构对算法和硬件的影响常被忽视。
反馈优化机制缺失:缺乏从硬件执行结果反馈到算法和数据结构的动态优化机制,如基于运行时性能的自适应调整。
领域知识与优化技术融合不足:配准建模领域知识与硬件加速技术的融合度不够,多数优化仍停留在通用计算加速层面。
这些不足凸显了本项目研究在"数据结构-算法-架构深度耦合优化"方面的必要性与科学意义。通过系统性地解决上述问题,可以实现更高效、更灵活、更适应多样化应用场景的图像/点云配准建模加速芯片设计,推动感知计算领域的技术进步。
| 文献 | 任务类型 | 采用的算法 | 主要优化策略 | 实现平台 |
|---|---|---|---|---|
| Guo et al. (2024) | 超声成像 | 混合双频段聚焦 | 特征自适应频率控制器和双模式序列生成,电感共享交错充电混合转换器 | 180 nm CMOS |
| Huang et al. (2024) | 运动规划 | 两阶段碰撞检查,近似邻居搜索 | R树空间信息和SI-MBR树邻居搜索,推测性处理方案 | CMOS 28 nm |
| Lee et al. (2024) | 3D目标检测 | 动态向量修剪,稀疏卷积 | 稀疏坐标管理硬件,稀疏感知数据流优化 | 商用工艺(未具体说明) |
| Mishra et al. (2024) | 边缘持续学习 | 学生-教师模型,表示学习 | 动态可变形脉动阵列,可再生能源利用 | 未说明 |
| Lyu et al. (2024) | 点云特征学习 | 数据流解耦,FEN数据流解耦 | 块级处理策略,基于链表的查找表,转置bank策略 | 40 nm工艺 |
| Jung et al. (2024) | 语义分割 | 深度融合三边网络,深度可分离卷积 | 双模式基于移位寄存器的输入重配置单元,层融合架构 | 28 nm CMOS |
| Wang et al. (2024) | 神经形态感知 | 基于忆阻器的差分神经形态计算 | 40×25忆阻器阵列(视觉),单个自导向通道忆阻器(触觉) | 未说明 |
| Yang et al. (2024) | 神经电路 | 选择性通信方案,混合发放模式 | NbO₂忆阻器构建Hodgkin-Huxley神经元电路 | 印刷电路板原型 |
| Wang et al. (2024) | kNN搜索 | 改进局部敏感哈希法 | 基于块的RAM分区,高效点云分区 | Xilinx Zynq UltraScale+ MPSoC ZCU102 |
| Sugiura et al. (2024) | 路径规划 | PointNet编码,批处理规划 | 全流水线点云编码器,批处理双向路径规划器 | Xilinx ZCU104 FPGA SoC |
| Han et al. (2024) | kNN搜索 | 位级串行计算,提前终止机制 | 维度点云编码,位级串行距离单元阵列 | 28nm CMOS |
| Ju et al. (2024) | 通用/DNN计算 | 向量指令集,特殊数据流 | 9T DAMEM和8T DOMEM位元阵列,中央计算单元 | 65 nm CMOS |
| Zhang et al. (2024) | 视觉处理 | 混合处理元素阵列,统一图像激活内存 | 掩码寄存器,局部寄存器文件,2-MB MRAM | 22 nm CMOS |
| Liu et al. (2024) | 传感器融合 | 双维度浅层DCNNs,联合不平衡损失 | 算法优化:减少融合阶段基本块数量 | NVIDIA A100-SXM4-80GB GPU(测试平台) |
| Wang et al. (2024) | 协作感知 | 多尺度时间集成,空间协作转换器 | 算法层面优化,无硬件架构说明 | Tesla V100 GPUs(测试平台) |
| He et al. (2024) | RANSAC加速 | 无浮点齐次矩阵计算,直接线性变换 | 高效数据存储和访问模式,寄存器阵列 | Xilinx Zynq 7100 |
| Barnes et al. (2024) | 层次搜索 | 扩展光线追踪ISA,欧几里得/角度距离计算 | 重用基线光线追踪流水线功能单元 | 现有GPU RT单元扩展 |
| Li et al. (2024) | SLAM后端 | 预处理共轭梯度线性求解器,增量BA调度 | 动态范围驱动跳过FP-CIM宏,中间结果累加器 | 28 nm CMOS |
| Wu et al. (2024) | 3D高斯溅射 | 稀疏瓦片采样,避免完全反向传播 | 稀疏适应性光线递归单元,内存访问放宽反向传播引擎 | 未说明 |
| Huang et al. (2024, Invited) | 神经SLAM | 通道剪枝和自蒸馏,基于梯度的剪枝 | 数据重用,帧级并行处理,三角函数查找机制 | 28 nm CMOS |
| Li et al. (2024) | 3D重建 | 体素驱动方法,减少同步 | 近内存计算架构Waffle,核心间异步通信 | 未说明 |
| Tian et al. (2024) | 3D人体网格恢复 | 平均池化块替代多头注意力 | 统一处理元素架构,优化内存访问 | 未说明 |
| Xu et al. (2024) | UAV设计自动化 | 飞行模型指导优化,CUDA加速非AI算子 | 异构平台上的任务调度 | Nvidia Jetson Orin NX |
| Yoon et al. (2024) | 点云加速 | 融合采样和分组,减少搜索空间 | 基于莫顿编码的数据结构,体素计算单元 | 未说明 |
| Zhou et al. (2024) | GNN架构搜索 | 多阶段层次搜索,硬件性能预测 | 细粒度层次设计空间,算法-硬件协同设计 | 边缘设备(Nvidia RTX3080等) |
基于上述调研,可预见图像/点云配准建模加速芯片研究将沿以下几个方向发展:
统一高效数据表示:将出现适用于多模态感知数据(包括图像、点云、激光雷达等)的统一数据表示方法,支持跨应用场景的高效计算。
自适应数据结构:发展能根据输入数据特性(如点云密度、分布特性)动态调整的自适应数据结构,提高对不同场景的适应性。
稀疏计算友好表示:针对感知数据的稀疏特性,出现更多稀疏友好的数据结构,如BitNN提出的位级串行表示和SPADE的向量稀疏表示。
面向内存层次的数据组织:更多研究将关注数据结构与内存层次的匹配,如基于层次内存设计专用缓存策略和数据布局。
算法深度分解与重组:传统算法将被深度分解并重新设计,以实现计算最小化和并行最大化,如MOPED对运动规划算法的重构。
精度可调控算法:出现更多支持精度-效率灵活权衡的算法,如BitNN的位级串行计算和动态精度控制。
模型压缩与算法协同:模型压缩技术(如VITA和神经SLAM中使用的通道剪枝和知识蒸馏)将与算法优化深度结合。
自动算法生成:如HGNAS和FastPilot所示,自动化工具将在生成和优化特定领域算法中发挥更大作用。
可重构近算存架构:更多研究将探索高度可重构的近算存架构,如GPCIM和SLAM-CIM所示,融合处理和存储以减少数据移动。
异构专用加速单元:将出现更多集成异构专用单元的系统架构,针对不同计算模式(如矩阵运算、点云搜索、特征提取)分别优化。
可扩展分布式架构:为处理大规模数据,将发展可扩展的分布式处理架构,支持点云等海量数据的高效处理。
端到端流水线优化:未来设计将更关注端到端感知流水线优化,而非单个算法加速,实现从数据获取到决策的全流程优化。
忆阻器与神经形态计算:如Wang等人和Yang等人的研究所示,基于忆阻器的神经形态计算将在仿生感知方面有更深入应用。
量子加速器:长期看,量子计算可能为点云配准等高维搜索问题提供突破性加速。
光子计算:对于光学图像处理和3D视觉,光子计算架构可能提供超低功耗解决方案。
自主芯片设计方法学:如Xu等人和Zhou等人的研究,基于飞行模型、硬件感知的自动化设计方法将更加成熟。
边缘-云协同架构:未来将有更多研究关注边缘设备和云服务器之间的任务划分和协同计算模式。
跨领域融合系统:感知芯片将与决策、控制系统深度融合,形成完整的认知计算系统,如神经SLAM和FastPilot所示。
综合上述趋势,未来3-5年内,图像/点云配准建模加速芯片将朝着"高能效、高适应性、高集成度"方向发展,出现以下典型技术路线:
多精度动态可重构路线:支持精度-效率动态权衡的可重构架构,适应不同应用场景需求。
近内存深度融合路线:将存储与计算深度融合,最小化数据移动,实现极低功耗。
神经形态感知路线:基于新型器件实现更接近生物感知系统的计算模式。
端到端异构集成路线:集成多种专用加速单元,实现从感知到决策的端到端加速。
这些技术路线将共同推动图像/点云配准建模加速芯片在自动驾驶、机器人、AR/VR等领域的广泛应用,并带来性能和能效的持续提升。
[1] J. Guo, J. Feng, S. Chen, L. Wu, C. W. Tsai, Y. Huang, B. Lin, and J. Yoo, "A 0.5"-Resolution Hybrid Dual-Band Ultrasound Imaging SoC for UAV Applications," in 2024 IEEE International Solid-State Circuits Conference (ISSCC), 2024, pp. 108-110.
[2] L. Huang, Y. Gong, Y. Sui, X. Zang, and B. Yuan, "MOPED: Efficient Motion Planning Engine with Flexible Dimension Support," in 2024 IEEE International Symposium on High-Performance Computer Architecture (HPCA), 2024, pp. 483-497.
[3] M. Lee, S. Park, H. Kim, M. Yoon, J. Lee, J. W. Choi, N. S. Kim, M. Kang, and J. Choi, "SPADE: Sparse Pillar-based 3D Object Detection Accelerator for Autonomous Driving," in 2024 IEEE International Symposium on High-Performance Computer Architecture (HPCA), 2024, pp. 454-467.
[4] C. S. Mishra, J. Sampson, M. T. Kandemir, V. Narayanan, and C. R. Das, "Uşás: A Sustainable Continuous-Learning Framework for Edge Servers," in 2024 IEEE International Symposium on High-Performance Computer Architecture (HPCA), 2024, pp. 891-907.
[5] D. Lyu, Z. Li, Y. Chen, G. Wang, W. He, N. Xu, and G. He, "FLNA: Flexibly Accelerating Feature Learning Networks for Large-Scale Point Clouds With Efficient Dataflow Decoupling," IEEE Transactions on Very Large Scale Integration (VLSI) Systems, vol. 32, no. 4, pp. 739-751, 2024.
[6] J. Jung, S. Kim, W. Jang, B. Seo, and K. J. Lee, "An Energy-Efficient, Unified CNN Accelerator for Real-Time Multi-Object Semantic Segmentation for Autonomous Vehicle," IEEE Transactions on Circuits and Systems I: Regular Papers, vol. 71, no. 5, pp. 2093-2104, 2024.
[7] S. Wang, S. Gao, C. Tang, E. Occhipinti, C. Li, S. Wang, J. Wang, H. Zhao, G. Hu, A. Nathan, R. Dahiya, and L. G. Occhipinti, "Memristor-based adaptive neuromorphic perception in unstructured environments," Nature Communications, vol. 15, no. 1, p. 4671, 2024.
[8] Y. Yang, F. Zhu, X. Zhang, P. Chen, Y. Wang, J. Zhu, Y. Ding, L. Cheng, C. Li, H. Jiang, Z. Wang, P. Lin, T. Shi, M. Wang, Q. Liu, N. Xu, and M. Liu, "Firing feature-driven neural circuits with scalable memristive neurons for robotic obstacle avoidance," Nature Communications, vol. 15, no. 1, p. 4318, 2024.
[9] C. Wang, Z. Huang, A. Ren, and X. Zhang, "An FPGA-based kNN Search Accelerator for point cloud registration," in 2024 IEEE International Symposium on Circuits and Systems (ISCAS), 2024, pp. 1-5.
[10] K. Sugiura and H. Matsutani, "An Integrated FPGA Accelerator for Deep Learning-Based 2D/3D Path Planning," IEEE Transactions on Computers, vol. 73, no. 6, pp. 1442-1456, 2024.
[11] M. Han, L. Wang, L. Xiao, H. Zhang, T. Cai, J. Xu, Y. Wu, C. Zhang, and X. Xu, "BitNN: A Bit-Serial Accelerator for K-Nearest Neighbor Search in Point Clouds," in 2024 ACM/IEEE 51st Annual International Symposium on Computer Architecture (ISCA), 2024, pp. 1278-1292.
[12] Y. Ju, Y. Wei, and J. Gu, "A 65 nm General-Purpose Compute-in-Memory Processor Supporting Both General Programming and Deep Learning Tasks," IEEE Journal of Solid-State Circuits, vol. 32, no. 4, pp. 739-751, 2024.
[13] Q. Zhang, Z. Fan, H. An, Z. Wang, Z. Li, G. Wang, P. Abillama, H.-S. Kim, D. Blaauw, and D. Sylvester, "RoboVisio: A Micro-Robot Vision Domain-Specific SoC for Autonomous Navigation Enabling Fully-on-Chip Intelligence via 2-MB eMRAM," IEEE Journal of Solid-State Circuits, vol. 59, no. 8, pp. 2644-2658, 2024.
[14] Q. Liu and S. Zhou, "LightFusion: Lightweight CNN Architecture for Enabling Efficient Sensor Fusion in Free Road Segmentation of Autonomous Driving," IEEE Transactions on Circuits and Systems II: Express Briefs, vol. 71, no. 9, pp. 4296-4300, 2024.
[15] C. Wang, X. Yu, J. Weng, and Y. Zhang, "Toward Robust Cooperative Perception via Spatio-Temporal Modelling," IEEE Transactions on Circuits and Systems II: Express Briefs, vol. 71, no. 9, pp. 4396-4400, 2024.
[16] W. He, Z. Lu, X. Liu, Z. Xu, J. Zhang, C. Yang, and L. Geng, "A Real-Time and High Precision Hardware Implementation of RANSAC Algorithm for Visual SLAM Achieving Mismatched Feature Point Pair Elimination," IEEE Transactions on Circuits and Systems I: Regular Papers, vol. 71, no. 11, pp. 5102-5114, 2024.
[17] A. Barnes, F. Shen, and T. G. Rogers, "Extending GPU Ray-Tracing Units for Hierarchical Search Acceleration," in 2024 57th IEEE/ACM International Symposium on Microarchitecture (MICRO), 2024, pp. 1027-1040.
[18] M. Li, H. Zhu, S. He, H. Zhang, J. Liao, D. Zhai, C. Chen, Q. Liu, X. Zeng, N. Sun, and M. Liu, "SLAM-CIM: A Visual SLAM Backend Processor With Dynamic-Range-Driven-Skipping Linear-Solving FP-CIM Macros," IEEE Journal of Solid-State Circuits, vol. 59, no. 11, pp. 3853-3865, 2024.
[19] L. Wu, H. Zhu, S. He, J. Zheng, C. Chen, and X. Zeng, "GauSPU: 3D Gaussian Splatting Processor for Real-Time SLAM Systems," in 2024 57th IEEE/ACM International Symposium on Microarchitecture (MICRO), 2024, pp. 1562-1573.
[20] L. Huang, C. Yang, Y. Gong, Y. Sui, X. Zang, A. Goeckner, Q. Zhu, and B. Yuan, "Invited: Algorithm and Hardware Co-Design for Energy-Efficient Neural SLAM," in Proceedings of the 61st ACM/IEEE Design Automation Conference (DAC '24), 2024, pp. 1-4.
[21] X. Li, Z. Zhou, Q. Zheng, G. Sun, Q. Wang, and C. Xue, "A Software-Hardware Co-design Solution for 3D Inner Structure Reconstruction," in Proceedings of the 61st ACM/IEEE Design Automation Conference (DAC '24), 2024, pp. 1-6.
[22] S. Tian, C. Szafranski, C. Zheng, F. Yao, A. Louri, C. Chen, and H. Zheng, "VITA: ViT Acceleration for Efficient 3D Human Mesh Recovery via Hardware-Algorithm Co-Design," in Proceedings of the 61st ACM/IEEE Design Automation Conference (DAC '24), 2024, pp. 1-6.
[23] Y. Xu, J. Yu, S. Zhang, Y. Xiang, H. Jia, and Y. Wang, "Invited: Automatic Hardware/Software Design for High-Speed Autonomous Unmanned Aerial Vehicles Guided by a Flight Model," in Proceedings of the 61st ACM/IEEE Design Automation Conference (DAC '24), 2024, pp. 1-4.
[24] H. Yoon and J.-J. Kim, "Fused Sampling and Grouping with Search Space Reduction for Efficient Point Cloud Acceleration," in Proceedings of the 61st ACM/IEEE Design Automation Conference (DAC '24), 2024, pp. 1-6.
[25] A. Zhou, J. Yang, Y. Qi, T. Qiao, Y. Shi, C. Duan, W. Zhao, and C. Hu, "HGNAS: Hardware-Aware Graph Neural Architecture Search for Edge Devices," IEEE Transactions on Computers, vol. 73, no. 12, pp. 2693-2707, 2024.