单位: ST Microelectronics, India
主要问题: 图像配准算法计算需求大,限制实时应用;难以在保持性能前提下处理不同大小的图像。
核心贡献: 基于脉动阵列的VLSI架构,包含256个窗口处理器(WPs)实现并行处理,支持优化版归一化互相关函数(NCCF)、均方误差(MSE)和蓝屏技术(BST)算法。
关键成果: 实现实时图像配准,支持不同图像尺寸和跟踪范围,兼容多种算法。
单位: 台湾国立清华大学
主要问题: SIFT算法健壮性高,但计算密集且内存需求大,软件实现难以满足实时需求。
核心贡献: 设计全硬件SIFT加速器,采用三级流水线架构;开发段缓冲方案,减少50%内存需求。
关键成果: 当时最快的全硬件SIFT加速器,VGA图像帧处理时间33毫秒,支持实时操作。
单位: 密歇根大学
主要问题: 微型自主飞行器(MAVs)受严格功率预算限制,需要能效高的特征提取算法。
核心贡献: 优化SURF算法,将尺度空间限制在单个八度;提出圆形采样区域以统一方向分配和特征描述;开发基于移位锁存器的低功耗FIFO架构。
关键成果: 功耗降至2.7 mW,同时在全VGA帧上保持高质量特征提取,能效比之前设计提高3.5倍。
单位: 清华大学电子工程系
主要问题: SIFT算法虽健壮,但计算成本和能量消耗高。
核心贡献: 提出模拟信号处理架构(ASP-SIFT),在A-D转换前直接在模拟域执行高斯金字塔构建;设计工作在亚阈值区域的电流模式电路网络。
关键成果: VGA格式图像处理速度高达2.3kframes/s,比数字加速器快至少3.26倍,每帧能耗仅40μJ。
单位: 华中科技大学
主要问题: SIFT计算密集且耗电高,需要高效硬件加速以满足AIoT边缘设备需求。
核心贡献: 设计可重构并行高斯金字塔生成器架构;提出优化算法,包括圆形区域和极坐标方法并行化主方向分配;使用动态填充设计防止信息丢失。
关键成果: 实现最高162帧每秒,低功耗和高能效,适合高帧率AIoT应用。
单位: 湖南大学计算机科学与电子工程学院
主要问题: 频繁内存访问和传输带宽限制阻碍速度提升。
核心贡献: 提出基于忆阻器交叉开关的内存计算加速器;优化用于模拟电路实现的改进FAST角点检测算法。
关键成果: 平均处理速度提升22倍,获得更均匀的角点分布。
单位: 鲁汶天主教大学
主要问题: 现有解决方案在支持复杂度中等任务时难以保持能效。
核心贡献: 在电荷域使用开关电容放大器和电荷共享的4位加权MAC操作;设计MANTIS SoC,集成Cortex-M4 CPU与混合信号图像传感器宏。
关键成果: 执行特征提取和ROI检测时实现高能效(最高84.1 TOPS/W),数据传输减少13倍。
单位: 上海交通大学电子信息与电气工程学院
主要问题: 缺乏超灵敏、可重构的视网膜形态设备和高效边缘处理算法。
核心贡献: 设计即时一维特征提取(ODFE)算法替代卷积方法;开发4096像素钙钛矿图像传感器阵列;钙钛矿光探测器与非晶硅薄膜晶体管结合。
关键成果: 实现弱光条件下自适应成像,使用ODFE高效提取特征,实现实时视觉目标识别。
单位: 罗切斯特大学计算机科学系
主要问题: 点云配准是3D感知的基础操作,但KD树搜索占配准时间50%以上,难以并行化。
核心贡献: 提出两阶段KD树,将子节点组织为无序集合而非子树;引入近似KD树搜索算法,减少计算负载同时引入并行性。
关键成果: Tigris架构在KD树搜索上比RTX 2080 Ti GPU快77.2倍,功耗减少7.4倍。
单位: 密歇根大学
主要问题: 大规模点云中的k最近邻(kNN)搜索面临高内存带宽需求、随机访问多、数据重用少。
核心贡献: 将k-d树分为高重用树节点和低重用点桶;应用内存优化方案,将随机访问转为顺序访问。
关键成果: 比现代CPU快19倍,比GPU快7.3倍,能效提高两个数量级。
单位: 罗切斯特大学
主要问题: 传统点云算法因邻居搜索、聚合和特征计算的串行执行导致关键路径延迟长。
核心贡献: 引入邻居索引表(NIT)和点特征表(PFT);提出延迟聚合原语,将聚合延迟到特征计算之后。
关键成果: 硬件支持下速度提高3.6倍,能耗降低51.1%。
单位: 韩国科学技术院(KAIST)
主要问题: 基于GCN的方法需要大量计算资源和外部内存访问,移动设备电池限制性能。
核心贡献: 采用稀疏分组的膨胀图卷积(SG-DGC)来稀疏分组点云;提出两级流水线(TLP),平衡工作负载。
关键成果: 计算量减少71.7%,外部内存访问减少76.9%,实现30.8帧/秒实时性能,功耗仅95mW。
单位: 上海交通大学
主要问题: 实时处理高吞吐量3D点云需要高效k-近邻搜索。
核心贡献: 使用轨迹编码和深度信息优化树和叶节点缓存;提出基于轨迹编码队列的并行八叉树构建算法。
关键成果: 打破内存带宽限制,实现高效并行八叉树构建和搜索,比CPU快107.7倍,比GPU快12.1倍。
单位: 上海交通大学
主要问题: GFLN流水线中数据依赖导致内存占用大,计算冗余严重。
核心贡献: 引入数据流解耦策略减少内存消耗和冗余计算;实现高度流水线化架构,采用块级处理策略。
关键成果: 相比GPU和CPU实现69.9-264.4倍加速,能效提升超过99%。
单位: 北京航空航天大学
主要问题: 点云中的最远点采样(FPS)是关键算法,但大规模点云处理时内存访问成为瓶颈。
核心贡献: 引入两级树数据结构将点云分割为多个桶;提出基于桶的FPS算法,合并计算和隐式计算机制。
关键成果: 相比GTX 1080Ti GPU和PointAcc分别实现43.4倍和12.2倍性能加速。
单位: 上海交通大学电子信息与电气工程学院
主要问题: 数据依赖性阻碍Point Transformer网络的并行执行,FPS和kNN操作冗余计算多。
核心贡献: 优化Point-based Transformer架构,减少数据依赖;引入基于分布感知的启发式距离计算。
关键成果: 实现最高2.96×、1.70×和1.19×的端到端加速,相比PointAcc、MARS和PTrAcc等加速器。
单位: 中南大学计算机科学与工程学院
主要问题: 边缘更新操作破坏相邻点间特征相似性,难以重用中间特征。
核心贡献: 引入基于八叉树的密度自适应子树选择策略;开发相似性感知差分点云神经网络(SD-PCNet)。
关键成果: 平均实现3.2倍加速和3.1倍能效提升,不牺牲精度。
单位: 韩国蔚山科学技术研究院
主要问题: 3D点云数据规模大,无序性导致随机外部内存访问。
核心贡献: 扩张1D-CNN预测的基于体素分区,将访问从O(N²)降至O(N);设计包括NEU、基于CAM的计算内存宏和排序器的处理器架构。
关键成果: 与最先进FPGA相比,能效提高23.08倍,内存占用减少48.4%。
单位: 韩国科学技术院(KAIST)
主要问题: 点云的不规则和稀疏特性难以高效处理。
核心贡献: 引入虚拟柱状体(VPs)动态生成时态柱状体;基于四叉树的工作负载管理系统;设计异构架构,包括特征编码核心、图管理核心和低精度神经引擎。
关键成果: 实现实时鸟瞰图检测,320 MHz下达44.2 FPS,能效38.5 TOPS/W。
单位: 密歇根大学
主要问题: 半全局匹配(SGM)算法计算复杂度高,内存带宽要求极高(38.6 Tb/s)。
核心贡献: 以重叠50×50像素块处理输入图像,减少95.4%内存需求;实现依赖解析对角扫描SGM,支持代价聚合中的流水线和并行性。
关键成果: 实现全HD(1920×1080)30 fps实时深度估计,512级深度分辨率,功耗仅836 mW。
单位: 中山大学数据与计算机科学学院
主要问题: 在能量和资源受限设备上部署基于DNN的立体估计算法面临高计算复杂度挑战。
核心贡献: 使用二值神经网络(BNN)学习判别性二值描述符;开发轻量级BNN立体估计算法StereoBit。
关键成果: 比高端和嵌入式GPU快3×、13×和50×,能效提高211×、58×和73×。
单位: 上海科技大学
主要问题: 立体匹配算法计算密集,在嵌入式平台难以满足实时和能源需求。
核心贡献: 引入稀疏Census特征表示,减少内存存储和访问;提出基于块级PatchMatch的立体匹配算法。
关键成果: 在128视差级别下,实现1920×1080分辨率、165.7FPS的峰值性能,功耗仅3.35W。
单位: 中国科学院计算技术研究所
主要问题: 立体视觉解决方案面临高计算开销、片外内存访问和硬件效率低下等挑战。
核心贡献: 设计成本估计模块从YUV图像生成成本体积;将池化和反卷积融合到卷积层;超级流水线MAC阵列架构。
关键成果: 实现5.3TOPS/W功率效率,40fps/720p或30fps/1080p图像处理。
单位: 电子科技大学
主要问题: 基于深度学习的超分辨率网络参数多、计算复杂,难以在嵌入式设备上部署。
核心贡献: 设计轻量级深度可分离卷积块减少网络大小;统一计算核心(UCC)结合高效映射策略。
关键成果: 在放大因子2下实现37.44dB PSNR,功耗仅2.08W,支持81fps实时推理。
单位: 密歇根大学安娜堡分校
主要问题: 基于CNN的视觉SLAM需要大量计算资源(约250 GOPS),同时数据依赖性高。
核心贡献: 分层内存组织消除捆绑调整优化的外部DRAM访问;提出线性求解器中数值稳定的定点实现;设计可编程CNN引擎、PnP引擎和BA引擎。
关键成果: 单芯片上实现全视觉SLAM,在KITTI基准测试上实现80fps VGA处理,功耗243.6mW。
单位: 麻省理工学院电气与计算机科学系
主要问题: 在纳米级无人机上运行视觉惯性里程计(VIO)算法,功率预算有限(约100mW)。
核心贡献: 高效内存层次结构减少外部DRAM带宽9倍;数据压缩减少片上内存4.4倍;将整个VIO系统集成在单个芯片上。
关键成果: 实现20 FPS的实时VIO处理,功耗仅2mW。
单位: 天津大学微电子技术成像与传感重点实验室
主要问题: 传统优化BA性能的方法严重依赖并行处理或分布式计算,功耗高。
核心贡献: 基于共观测优化技术,加速BA操作并减少内存和计算复杂度;开发结合解析和前向自动微分的硬件友好微分方法。
关键成果: 比ARM和FPGA实现快7.56倍,比Intel实现降低功耗91.5%。
单位: 中国科学院计算技术研究所
主要问题: EBVO算法数据密集,在传统冯诺依曼架构上面临内存墙瓶颈。
核心贡献: 提出PIM友好的数据布局和计算方案;实现位并行可重构SRAM-PIM架构。
关键成果: 通过SRAM基于处理器内存技术缓解内存墙瓶颈,处理速度提高11倍,能耗降低20倍。
单位: 北京航空航天大学
主要问题: 事件相机生成大量事件流数据需要EMVS处理,但计算量大,难以在嵌入式平台实时部署。
核心贡献: 使用视差空间图像(DSI)将观察空间离散化为体素;通过重新调度、近似计算和混合数据量化,重构EMVS算法。
关键成果: 相比Intel i5 CPU平台,能效提升达24倍,成功加速EMVS的事件反投影和体积射线计数。
单位: 南方科技大学
主要问题: SLAM技术计算复杂,在低资源平台上实现具有挑战性。
核心贡献: 设计具有专用指令集的可重构架构,将SLAM算法分解为基本操作;实现两个并行计算核心:一个用于矩阵运算,另一个用于姿态估计。
关键成果: 高精度和性能,同时减少硬件资源使用和内存需求,支持视觉SLAM和雷达SLAM。
单位: 韩国蔚山科学技术研究院
主要问题: 语义LiDAR SLAM计算需求高,现有方案能耗高。
核心贡献: 引入基于球坐标的分箱(SB)搜索优化kNN操作;全局点级任务调度器(GPTS)实现两步工作负载平衡;集成语义LiDAR SLAM处理器(LSPU),包含专用核心。
关键成果: 实现20.7毫秒/帧的实时处理,能耗比现代平台低99.89%。
单位: 新加坡南洋理工大学
主要问题: 实时SLAM中纠正累积轨迹误差,实现超低功耗。
核心贡献: 开发近似神经群体动力学推理操作的离散过程算法;超轻量级数字宏,具有大规模并行原位处理;双模式累加器和随机访问神经元阵列。
关键成果: 通过神经群体动力学方法纠正轨迹误差,功耗低于10微瓦。
单位: 中国科学院半导体研究所
主要问题: 传统机器视觉系统存在I/O负载重、功耗大、难以执行高速迭代图像处理等问题。
核心贡献: 灵活的像素-PE映射关系,支持多种配置;集成CMOS图像传感器、SIMD PE阵列、SIMD行处理器和嵌入式微处理器;支持低/中/高级图像处理算法。
关键成果: 实现目标跟踪、模式提取和图像识别,超过1000fps的高速图像捕获。
单位: 中国科学院半导体研究所
主要问题: 传统视觉系统受串行图像传输和处理瓶颈限制,集成高性能神经网络需要大量芯片面积。
核心贡献: 架构包括像素并行PE阵列、行并行RP阵列和动态可重构SOM神经网络;SOM神经网络采用LVQ方法训练;动态重构使PE阵列和SOM网络共享资源。
关键成果: 实现超过1000 fps处理速度,展示手势识别、人脸检测和地平线估计应用。
单位: 麻省理工学院
主要问题: 最小化数据移动能耗,同时支持高并行性和适应不同CNN形状。
核心贡献: 实现四级内存层次结构;提出行静态(RS)数据流,通过局部最大化数据重用优化能效;空间架构含168个PE、片上网络支持多播和点对点数据传输。
关键成果: 展示可重构CNN加速器可行性,支持先进CNN如AlexNet和VGG-16。
单位: 重庆大学
主要问题: 自动驾驶车辆配备多个高吞吐量传感器,传统车载系统依赖软件栈处理数据,CPU消耗高。
核心贡献: 引入统一访问模块,使用硬件协议解析接收、解析和传输原始数据;将预处理驱动卸载到预处理器模块。
关键成果: 减少到处理器数据路径的延迟55.5%,到加速器数据路径的延迟93.8%。
单位: 加州大学圣地亚哥分校
主要问题: 将计算密集型3D重建算法嵌入FPGA资源有限的平台,同时保持实时性能。
核心贡献: 修改数据结构优化内存访问模式;优化包括循环展开、内核专用化和FPGA特定技术。
关键成果: 成功在FPGA上嵌入迭代最近点(ICP)算法,实现26-28 FPS的实时性能。
单位: 重庆大学计算机学院
主要问题: 点云的高稀疏性和不规则性导致体素化速度慢,转置卷积需要大量硬件资源。
核心贡献: 设计基于哈希的分层体素器存储和索引体素;提出统一CONV和TCONV计算方案(UCT)及结构化剪枝。
关键成果: 首次实现体素化3D目标检测的端到端加速器,体素化速度提高19-19.8倍。
单位: 清华大学电子工程系
主要问题: 稀疏卷积和BEV平面映射造成不规则内存访问,计算需求大。
核心贡献: 基于CAM的深度融合核心加速不规则BEV操作;处理器支持可重构互连拓扑和灵活调度策略;可扩展架构和芯片级并行性。
关键成果: 首个基于BEVFusion的端到端加速器,实现更高频率、2倍面积效率和2.61倍能效。
单位: 台湾国立大学
主要问题: 平衡运动控制率与轨迹时间步数之间的权衡。
核心贡献: 采用基于采样的轨迹优化算法,支持高度并行硬件加速;SoC包括轨迹优化加速器,配备4×4 PE阵列;优化PE架构降低延迟63%、内存使用减少99%。
关键成果: 实现运动控制率>1 kHz,优于最先进设计,最大控制率提高22倍,能效提高350倍。
图像/点云配准建模加速芯片研究领域经历了从单一功能到系统集成、从通用计算到专用架构的演变过程。过去十多年间,该领域呈现出明显的多中心发展格局,主要研究力量分布在美国(MIT、密歇根大学、罗切斯特大学)、中国(中科院、上海交通大学、清华大学、北航)、韩国(KAIST、蔚山科技院)和台湾地区(国立清华大学、台湾大学)。
研究重点经历了几个阶段的演变:早期(2007-2014)主要关注基础图像处理加速器,如Gupta(2007)的图像配准VLSI架构和Huang(2012)的SIFT硬件加速器;中期(2015-2020)开始探索点云处理和神经网络加速,如Chen(2017)的Eyeriss和Xu(2019)的Tigris;近期(2021-2025)则深入研究端到端系统和新型计算架构,如Jung(2024)的语义LiDAR SLAM处理器和Feng(2025)的BEV融合加速器。
技术上呈现四个明显趋势:1)从单一功能模块向完整系统演进;2)从通用架构向高度专用架构转变;3)从数字电路向混合信号和模拟计算扩展;4)从独立优化向算法-硬件深度耦合发展。特别是近两年,多模态感知融合、神经形态计算和近传感器处理成为研究热点。
这些研究的科学意义在于:1)推动了计算复杂度和功耗墙的突破,使实时3D感知成为可能;2)促进了从云端到边缘的AI计算范式转变;3)发展了新型计算内存融合架构,挑战传统冯·诺依曼架构;4)为自动驾驶、机器人导航等应用提供了高能效解决方案,加速了这些领域的技术突破。中国研究团队在视觉SLAM加速、忆阻器计算和点云特征提取方面做出了独特贡献,显示出强劲的研究实力和创新能力。
在图像/点云配准建模加速芯片领域,过去十多年出现了一系列重要里程碑:
图像特征提取加速方面,从Huang等(2012)的SIFT硬件加速器(33ms处理时间)到Fan等(2020)的ASP-SIFT(2.3kframes/s)和Hong等(2024)的忆阻器ORB加速器(比传统方法快22倍),处理速度提升了近两个数量级。Jeon等(2014)将特征提取功耗降至2.7mW,为资源受限设备应用奠定基础。He等(2025)的钙钛矿视网膜形态传感器将特征提取直接集成在传感器阵列上,标志着传感-计算一体化的重要进展。
点云处理领域,Xu等(2019)的Tigris架构首次为KD树搜索提供高效硬件加速(比GPU快77.2倍)。Chen等(2023)的ParallelNN通过并行八叉树构建实现近邻搜索加速(比CPU快107.7倍)。Han等(2023)的QuickFPS针对最远点采样优化,相比GPU加速43.4倍。Li等(2024)的SimDiff利用空间相似性减少计算冗余,平均实现3.2倍加速和3.1倍能效。Lian等(2024)和Shin等(2024)分别解决了点变换器架构和点云匹配中的效率问题。
立体视觉与深度估计从Li等(2017)的立体深度处理器(1080p@30fps)到Chen等(2020)的StereoEngine(比GPU快50倍)再到Min等(2023)的Dadu-Eye(5.3TOPS/W),实现了从高分辨率到高能效的全面进步。Wang等(2022)的PatchMatch立体匹配处理器达到165.7FPS的峰值性能,成为该领域的新标杆。
SLAM与导航加速方面,Suleiman等(2019)的Navion(2mW)和Li等(2019)的CNN-SLAM处理器开创了微型设备上的实时SLAM。Tan等(2023)的SLAM协处理器和Wei等(2024)的神经群体动力学轨迹滤波器(功耗<10μW)分别从可重构架构和超低功耗方向优化SLAM加速。Jung等(2024)实现了首个完全集成的语义LiDAR SLAM处理器,处理时间仅20.7毫秒/帧。Lin等(2025)的运动控制SoC将控制率提高到千赫兹级别,填补了感知与控制间的研究空白。
3D目标检测与BEV感知成为近年研究热点。Fang等(2024)首次实现体素化3D目标检测的端到端加速,体素化速度提高近20倍。Feng等(2025)和Lim等(2025)从多模态融合和工作负载管理角度优化BEV感知,实现了实时处理能力。
新型计算架构不断涌现,从早期的PE阵列(Gupta, 2007)到近期的混合信号处理(Lefebvre & Bol, 2024)、忆阻器计算(Hong, 2024)、基于CAM的计算内存(Shin, 2024)和片上集成视网膜形态传感器(He, 2025),计算范式正经历从数字向混合计算的变革,从而突破传统架构的性能和能效瓶颈。
在性能方面,加速比从早期的几倍提升到现在的数十倍甚至上百倍。如Huang(2012)的SIFT加速器比CPU提速数倍,而Lyu(2023)的FLNA实现了69.9-264.4倍加速比。处理速度也有显著提升,从Li(2017)的30fps提升到Wang(2022)的165.7FPS和Fan(2020)的2.3kframes/s。近年研究更关注实时性能,如Jung(2024)将语义SLAM处理时间控制在20.7毫秒内,Lim(2025)实现44.2FPS的BEV检测。精度方面,大多数研究保持与软件实现相当的水平,如Li(2024)和Lian(2024)特别强调加速的同时精度损失可忽略。
面积效率持续优化,Lin(2025)报告了66倍的面积效率提升,Feng(2025)实现了2倍的面积效率改善。28nm工艺成为边缘AI处理器的主流选择,Shin(2024)、Jung(2024)、Feng(2025)和Lim(2025)均采用此工艺节点。随着算法-硬件协同设计的深入,计算单元设计更加高效,如Chang(2023)的统一计算核心和Lim(2025)的异构架构显著减少了硬件资源需求。
功耗优化成果最为显著。Jeon(2014)将特征提取功耗降至2.7mW,Suleiman(2019)将VIO加速器功耗控制在2mW。Jung(2024)和Shin(2024)分别报告了99.89%和99.51%的能耗降低。能效提升范围从Li(2024)的3.1倍到Lin(2025)的350倍不等。Wei(2024)将功耗降至微瓦级(2.793μW),Lefebvre&Bol(2024)和Lim(2025)分别展示了84.1TOPS/W和38.5TOPS/W的能效,远超传统GPU实现(通常<10TOPS/W)。
尽管取得了显著进展,现有方案在"数据结构-算法-架构深度耦合优化"方面仍存在明显不足:
数据结构层面:多数研究采用针对特定应用的数据结构,如Fang(2024)的哈希体素器、Li(2024)的八叉树和Lim(2025)的虚拟柱状体,缺乏通用、自适应的数据表示方法。虽然Chen(2023)和Shin(2024)等工作尝试优化索引结构,但大多数研究未考虑数据结构在算法执行过程中的动态调整,无法适应数据分布变化。此外,多模态数据融合场景下的统一表示仍是挑战,Feng(2025)的工作仅是初步尝试。
算法层面:大多数加速器针对单一算法高度优化,如Lian(2024)针对点变换器,Hong(2024)针对FAST角点检测,缺乏算法通用性和可重构性。虽然Jung(2024)和Feng(2025)等研究集成了多个算法模块,但各模块间协同效率不高,数据共享有限。算法稀疏性和数据稀疏性的联合利用仍不充分,许多研究如Fang(2024)和Lim(2025)仅关注一个方面。此外,算法对硬件特性的感知和自适应能力不足,难以根据平台动态调整计算精度和资源分配。
架构层面:存在明显的碎片化,不同功能模块通常需要不同加速器,难以形成统一系统。端到端系统如Jung(2024)的LSPU和Feng(2025)的BEV处理器仍缺乏统一内存层次和调度策略。虽然Feng(2025)提出了芯片级并行性,但多芯片系统的互连和协同仍处于初级阶段。异构计算单元(如FPGA、ASIC、模拟处理器)的高效融合也面临挑战,如何在保持灵活性的同时实现高性能和低功耗是未解决问题。
深度耦合不足:尽管Li(2024)和Lian(2024)等工作尝试算法-硬件协同设计,但真正的三层(数据结构-算法-架构)深度耦合优化仍很少见。多数研究在某一层做深度优化,而在其他层采用相对标准的方案。例如,Wei(2024)深度优化了轨迹滤波算法,但数据结构相对传统;Hong(2024)专注于忆阻器计算架构,但算法适应性有限。此外,缺乏系统化的反馈优化机制,难以根据运行时状态动态调整各层次的配置。
| 文献 | 任务类型 | 采用的算法 | 主要优化策略 | 实现平台 |
|---|---|---|---|---|
| Gupta & Gupta (2007) | 图像配准 | NCCF, MSE, BST | 脉动阵列架构,256窗口处理器并行计算 | VLSI |
| Zhang et al. (2011) | 通用视觉处理 | 多级图像处理算法 | 灵活像素-PE映射,多级并行处理 | 0.18μm CMOS |
| Huang et al. (2012) | 特征提取 | SIFT | 段缓冲方案,三级流水线架构 | 未说明 |
| Jeon et al. (2014) | 特征提取 | 优化SURF | 圆形采样区域,匹配吞吐量架构,低功耗FIFO | 28nm LP CMOS |
| Shi et al. (2014) | 通用视觉处理 | SOM神经网络+LVQ | 动态可重构PE阵列与SOM网络结合 | 0.18μm CMOS |
| Gautier et al. (2014) | 3D重建 | ICP, 体积集成 | 内存访问优化,循环展开,内核专用化 | Altera Stratix V FPGA |
| Chen et al. (2017) | CNN加速 | CNN | 行静态数据流,四级内存层次,零压缩技术 | 未说明 |
| Li et al. (2017) | 立体深度处理 | SGM | 块处理,依赖解析对角扫描,超宽自定义SRAM | 40nm GP CMOS |
| Li et al. (2019) | SLAM加速 | CNN特征提取+BA优化 | 分层内存组织,基于时间预测的特征匹配剪枝 | 28nm HPC CMOS |
| Suleiman et al. (2019) | 视觉惯性里程计 | 关键帧VIO | 数据压缩,固定和动态稀疏性利用 | 65nm CMOS |
| Xu et al. (2019) | 点云配准 | 两阶段KD树 | 近似KD树搜索,并行化处理元素 | 未说明 |
| Fan et al. (2020) | 图像特征提取 | 模拟SIFT | 亚阈值电流模式电路,算法-硬件协同设计 | SMIC 180nm CMOS |
| Pinkham et al. (2020) | 近邻点搜索 | 近似k-d树搜索 | 树节点/点桶分区,写读高速缓存 | FPGA |
| Liu et al. (2020) | 捆绑调整 | Levenberg-Marquardt | 共观测优化,硬件友好微分方法 | 嵌入式FPGA SoC |
| Feng et al. (2020) | 点云分析 | 延迟聚合 | 邻居索引表,点特征表,DNN加速器扩展 | 移动GPU/定制硬件 |
| Chen et al. (2020) | 立体视觉深度估计 | BNN-StereoBit | 二值神经网络,卷积核重用,网络剪枝 | FPGA |
| Kim et al. (2022) | 3D点云语义分割 | 稀疏分组膨胀图卷积(SG-DGC) | 两级流水线,点级模块级融合,中心点特征重用 | 65nm CMOS |
| Wang et al. (2022) | 立体匹配 | 块级PatchMatch | 稀疏Census特征,随机搜索策略 | FPGA (350MHz) |
| He et al. (2022) | 视觉里程计 | 边缘基于视觉里程计(EBVO) | PIM友好数据布局,位并行SRAM-PIM架构 | 90nm CMOS |
| Li et al. (2022) | 事件相机多视图立体 | EMVS | 算法硬件协同设计,高度并行化处理 | Zynq FPGA |
| Zheng et al. (2022) | 传感器数据访问 | 硬件协议解析和预处理 | 统一访问模块,预处理器模块,轻量级驱动 | FPGA |
| Liu et al. (2022) | SIFT特征提取 | 优化SIFT | 快慢双时钟域设计,部分和重用,动态填充 | 180nm CMOS |
| Tan et al. (2023) | SLAM姿态估计 | 四元数,李代数优化 | 可重构架构,内存重用策略,并行计算核心 | Zynq 7020 FPGA |
| Chen et al. (2023) | 最近邻搜索 | 并行八叉树构建 | 轨迹编码和深度信息优化,多通道HBM | Virtex HBM FPGA |
| Min et al. (2023) | 立体视觉 | DNN+光流 | 融合层调度,池化/反卷积融合 | SMIC 40nm CMOS |
| Chang et al. (2023) | 超分辨率 | 轻量级深度可分离卷积 | 统一计算核心,高效F-A映射策略 | FPGA |
| Lyu et al. (2023) | 点云特征学习 | 数据流解耦 | 并行体系结构,分块处理,转置SRAM | 40nm CMOS |
| Han et al. (2023) | 最远点采样 | 基于桶的FPS | 两级树数据结构,合并计算,4阶段流水线 | 28nm CMOS |
| Fang et al. (2024) | 3D目标检测 | 统一CONV和TCONV,结构化剪枝 | 基于哈希的分层体素器,脉动阵列骨干网络加速器 | FPGA |
| Lian et al. (2024) | 点云处理 | 基于分布感知的启发式距离计算 | 集成FPS-kNN架构,减少MaxPool和注意力-kNN层 | NVIDIA Jetson Orin |
| Li et al. (2024) | 点云加速 | 相似性感知差分点云神经网络(SD-PCNet) | 基于八叉树的密度自适应子树选择,并行原位处理 | 带HBM的ASICs |
| Jung et al. (2024) | LiDAR SLAM | 基于点神经网络(PNN) | 基于球坐标的分箱搜索,两步工作负载平衡 | 28nm CMOS |
| Lefebvre & Bol (2024) | 特征提取与ROI检测 | 电荷域4位加权MAC | 混合信号处理,增量复位采样,电压下移 | UMC 0.11μm CMOS |
| Hong et al. (2024) | 角点检测 | 改进FAST角点检测 | 基于忆阻器交叉开关的内存计算 | PSpice仿真 |
| Wei et al. (2024) | SLAM轨迹滤波 | 神经群体动力学推理 | 超轻量级数字宏,并行原位处理 | 40nm CMOS |
| Shin et al. (2024) | 3D点云匹配 | 时空预测,扩张1D-CNN | 基于体素的分区,顶点聚类,基于CAM的计算内存 | 28nm CMOS |
| He et al. (2025) | 视网膜形态视觉 | 一维特征提取(ODFE) | 钙钛矿光探测器阵列与一晶体管结构 | 定制硬件 |
| Lin et al. (2025) | 自主机器人运动控制 | 基于采样的轨迹优化 | PE阵列,片上网络工作负载平衡 | 28nm CMOS |
| Feng et al. (2025) | BEV感知 | 可重构互连拓扑,灵活调度 | 基于CAM的映射单元,芯片级并行 | 28nm CMOS |
| Lim et al. (2025) | BEV检测 | 基于四叉树的工作负载管理,符号-幅度表示 | 虚拟柱状体,异构架构与专用核心 | 三星28nm CMOS |
基于对当前研究的分析,未来图像/点云处理加速器研究可能沿以下方向发展:
多模态统一表示:将出现能同时高效表示图像、点云和其他传感数据的统一数据结构,如可变分辨率网格或混合表示,解决Feng(2025)等工作中多传感器融合的数据表示挑战。
动态自适应数据结构:将发展支持运行时重构的数据结构,根据数据特性和任务需求自动调整表示形式,解决Li(2024)和Lim(2025)中提到的不均匀数据分布问题。
时空融合表示:研究将融合空间和时间维度的数据表示,更好地捕捉物体运动和场景变化,扩展Jung(2024)和Shin(2024)工作中的时空特性利用。
超稀疏表示:将出现针对超大规模、超稀疏点云的专用数据结构,进一步提升Han(2023)和Fang(2024)中的稀疏数据处理能力。
神经形态算法:Wei(2024)的工作将加速发展基于脉冲神经网络和神经群体动力学的点云处理算法,提供超低功耗计算选项。
差分执行策略:Li(2024)的工作将扩展到更多场景,开发能够仅处理变化部分的增量算法,减少冗余计算。
任务自适应精度:将出现根据场景复杂度动态调整计算精度的算法,结合Shin(2024)和Lim(2025)中的思想,在简单场景中使用低精度计算以节省能源。
物理启发算法:基于物理原理的算法将用于点云配准和变形物体跟踪,为传统几何方法提供新思路。
传感-计算一体化:He(2025)和Lefebvre&Bol(2024)的工作将进一步发展,消除传感器和处理器间的边界,实现更高效的近传感器计算。
混合计算范式:数字、模拟和量子计算的协同将成为研究热点,特别是扩展Hong(2024)的忆阻器计算和Shin(2024)的CAM计算等技术,构建异质计算系统。
多芯片协同系统:Feng(2025)的工作将扩展,发展支持动态任务分配的芯片间通信和协同机制,处理更大规模点云模型。
通用可重构架构:将出现针对点云处理的领域特定可重构架构(DSRA),结合FPGA的灵活性和ASIC的高效性,提供比Tan(2023)更强大的可重构能力。
车载感知系统:将进一步整合Jung(2024)、Feng(2025)和Lim(2025)的技术,构建支持实时多任务(检测、分割、定位)的统一车载感知计算平台。
微纳机器人导航:扩展Suleiman(2019)和Wei(2024)的超低功耗设计,为微型机器人提供复杂环境下的自主导航能力。
混合现实交互:结合Hong(2024)的特征提取和Lefebvre&Bol(2024)的近传感器处理,开发支持实时手势识别和环境理解的AR/VR感知芯片。
随着这些技术路线的发展,图像/点云处理加速器将从当前的单点优化向系统化集成、从特定任务加速向通用高效处理、从静态设计向动态自适应系统转变,最终实现在极低功耗下的实时、高精度3D感知,为自动驾驶、机器人和AR/VR等新兴领域提供关键技术支撑。