与FPGA兼容的雾气矫正与对比度增强，以提升雾天环境中的视觉算法

摘要

abstract-雾气矫正是提升图像质量的关键预处理步骤，适用于自动驾驶和目标识别等应用，尤其在雾天和雾霾条件下。本论文提出了一种流式定点实现的雾气矫正与对比度增强算法，专为FPGA部署设计，旨在提升雾图像的可见度和对比度。雾气矫正过程包括对图像的暗通道进行计算以得到空气光图，然后使用滤波器进行细化并恢复去雾图像。对比度增强通过 RGB 转灰度以及对比度拉伸实现。所提出的算法旨在高效处理雾天 RGB 图像，去除雾霾并增强对比度。实现利用 Vision HDL Toolbox 的定点模块实现 FPGA 兼容，并采用流式像素格式进行实时处理。仿真结果表明该算法在提升雾天环境下视觉算法的图像质量方面具有有效性。

作者

Khadim Moin Siddiqui 电气与电子工程, S.R. 管理与技术学院, Lucknow, India

Anjali Chowdhary 电气与电子工程, S.R. 管理与技术学院, Lucknow, India

Rani Yadav 电气与电子工程, S.R. 管理与技术学院, Lucknow, India

Karandeep Yadav 电气与电子工程, S.R. 管理与技术学院, Lucknow, India

Sejal Verma 电气与电子工程, S.R. 管理与技术学院, Lucknow, India

Anurag Singh 电气与电子工程, S.R. 管理与技术学院, Lucknow, India

Surabhi Kanaujia 电气与电子工程, S.R. 管理与技术学院, Lucknow, India

Shiv Mani Tripathi 电子与通信工程，S.R. 管理与技术学院，勒克瑙，印度

Beer Singh 电子与通信工程，S.R. 管理与技术学院，勒克瑙，印度

Abhinav K. Gautam 电子与通信工程系，S.R. 管理与技术学院，勒克瑙，印度

出版信息

期刊: 2024 4th International Conference on Intelligent Technologies (CONIT) 年份: 2024 页数: 1-6 DOI: 10.1109/CONIT61985.2024.10627161 文章编号: 10627161

指标

论文引用数: 1 总下载量: 64

关键词

IEEE 关键词: 图像质量, 仿真, 细化, 流媒体, 实时系统, 图像恢复, 目标识别

索引条目: 对比剂, 雾霾环境, 图像质量, 图像对比, 目标识别, 实时性能, 提升图像质量, 增强图像质量, 暗通道, 图像处理, 计算机视觉, 输入图像, 高级算法, 低能见度, 不利天气条件

作者关键词: 雾霾矫正, 对比增强, FPGA 实现, 图像处理与视觉算法

未定义

第一节. 介绍

在图像处理和计算机视觉领域，解决与不良天气条件相关的挑战一直是长期的努力。 在雾霾条件下捕捉清晰、细节丰富的图像对于包括自动驾驶和目标识别在内的各种应用至关重要。 雾霾和雾蒙蒙的环境导致的图像质量劣化显著削弱了视觉算法的性能，导致不准确的结果并降低了关键场景中的可靠性 1–​2.

历史上，研究人员探索了多种技术来减轻雾对图像质量的影响。从传统方法到更先进的算法，重点在于开发能够提高雾天图像可见度和对比度的高效解决方案。这些努力奠定了当前雾气校正和对比度增强算法进展的基础 3–​4.

在当今时代，随着现场可编程门阵列（FPGAs）等硬件技术的快速发展，人们重新强调开发面向FPGA的实时雾气校正和对比度增强解决方案。将这些算法直接部署到硬件上，能够在速度、效率和可扩展性方面带来显著提升，使其适用于需要即时图像处理能力的系统 5–​6.

展望未来，本文所呈现的研究展示了一种前沿方法——一种针对 FPGA 专门定制的流式定点实现的雾障纠正和对比度增强方案。通过利用 FPGA 技术的能力，本研究旨在弥合雾霾图像采集与实时高质量图像处理之间的差距。所提出的算法不仅去除雾气并提升对比度，还为雾霾环境中增强视觉算法的性能奠定了基础。

通过仿真和实验，证明了所提出的 FPGA 兼容算法的有效性和可行性，凸显了其对自动化系统、目标识别技术以及在恶劣天气条件下依赖清晰、详细图像数据的各类应用的潜在影响。

SECTION II. 研究论文的目标

本文的研究目标是开发并实现一种新型 FPGA 兼容雾障纠正与对比度增强算法，旨在提升雾霾环境下的图像质量。具体目标包括：

  1. 设计适用于 FPGA 部署的流式定点实现雾剥离和对比度增强算法。

  2. 通过雾剥离技术（如暗通道估计、散射光图计算、细化和恢复）提升雾天图像的可见度和对比度。

  3. 通过 RGB 转灰度转换和对比度拉伸实现对比度增强，以提升图像清晰度和特征可见度。

  4. 利用 Vision HDL Toolbox 的定点块，以实现 FPGA 兼容性和实时处理的高效性。

  5. 通过仿真与实验展示该算法的有效性，彰显其在恶劣天气条件下对视觉算法的潜在影响。

  6. 通过应对雾霾等恶劣天气带来的挑战，为图像处理和计算机视觉的进步做出贡献。

第III节. 方法学：雾剥离与对比度增强算法

本节论文聚焦于开发一种旨在去除雾天条件下图像中雾气的算法。该算法专门针对 FPGA 实现进行定制，使其适用于自动驾驶和目标识别等实时应用。雾剥离被认定为解决雾霾和雾天条件下低可见度和差对比度挑战的关键预处理步骤，这些挑战可能显著影响视觉算法的性能。

本文提出了一种新型流式定点实现的雾剥离算法，强调其适合在硬件平台上部署。该算法融合了两个主要过程以提升雾天输入图像的质量：雾剥离和对比度增强。为帮助理解算法工作流程，本文提供了一个展示这些操作顺序步骤的图示，如图1所示。

雾去除过程首先通过估计雾蒙蒙RGB图像的暗通道来开始。该估计对于量化图像中雾量至关重要。随后，算法根据暗通道估计计算空气光图，包括雾霾因子以确定雾霾去除的程度。空气光图的细化通过应用滤波器实现，增强了图像准确性。随后恢复阶段涉及从输入图像中减去细化后的空气光图，以产生具有更好可见度的去雾图像。

雾去除后，色彩增强阶段聚焦于评估图像中的强度值。

对比度拉伸技术用于扩展数值范围，增强特征清晰度并改善整体图像对比度。这一步骤对于确保重要视觉信息在处理后图像中得到保留和突出显示至关重要。

Figure 1

图 1. 雾去除与对比度增强方法的块图

通过结合雾去除和对比度增强技术，该算法旨在显著提升在挑战性雾天条件下捕获图像的质量。本节概述的方法构成了 FPGA 兼容实现的基础，为视觉算法的进步做出贡献，从而在现实应用中实现更好的性能。

雾去除算法的步骤说明如下：

  1. **暗通道估计：**识别图像中的暗通道像素，这些像素代表非天空区域且具有低强度。通过对所有颜色通道进行像素级最小值计算来估计雾密度。该算法通过计算输入图像 I^{c}(x, y) 的三个通道（红、绿、蓝）的像素级最小值来估计暗电流 I_{\text {dark }}^{c}(x, y)，其中 c \in[r, g, b]。

  2. Airlight Map Calculation: 图像中白度增加的现象被称为大气光。在算法中，大气光图是通过将暗通道估计值与雾散射因子相乘得到的，该因子用 I 表示，表示需要消除的雾量。雾散射因子 I 的取值范围在 0 到 1 之间，数值越高对应越显著的雾去除效果。该因子可以通过以下等式计算。

\begin{equation*}I_{a i r}\left(x, y\right)=z \times \min _{c \in\left[r, g, b\right]} I_{d a r k}^{c}\left(x, y\right) \tag{1}\end{equation*}

  1. Airlight Map Refinement: 在大气光图细化阶段，算法采用双边滤波块来增强前一步得到的大气光图像的平滑度。该平滑操作旨在提升图像细节，从而得到一个细化后的范围。细化后的图像用 x 与 y 表示为 I_{\text {refined }}(x, y)。

  2. Restoration: 第四阶段，恢复，旨在通过应用特定方程来纠正过滤图像，从而减轻过度平滑的影响。在这些方程中，常数 m 表示空气光图像暗区向亮区过渡的中点。一个经验得到的值，例如本例中的 m=0.6，用作指导此调整过程的例子。求解 \mathrm{I}_{\text {reduced }} 的方程如下：

\begin{equation*}I_{\text {reduced }}\left(x, y\right)=m \times \min \left(I_{\text {air }}\left(x, y\right), I_{\text {refined }}\left(x, y\right)\right. \tag{2}\end{equation*}

Following are the previous stages, the algorithm proceeds by subtracting the airlight map from the input foggy image and then multiplying the result by a specific factor \frac{255}{255-I_{\text {reduced }}(x, y)}The 计算恢复的方程如下：

\begin{equation*}I_{\text {restore }}\left(x, y\right)=255 \times \frac{I^{c}\left(x, y\right)-I_{\text {reduced }}\left(x, y\right)}{255-I_{\text {reduced }}\left(x, y\right)} \tag{3}\end{equation*}

对比度增强算法的五个步骤如下：

  1. RGB to Gray Conversion: 将雾去除算法得到的去雾 RGB 图像转换为灰度图像 I_{\text {gray }}(x, y).

  2. 直方图计算: 利用直方图块统计落在每个强度级别（0到255）内的像素数量。

  3. 直方图归一化: 通过将直方图值除以输入图像的尺寸来归一化直方图值。

  4. CDF计算: 通过逐步相加，计算归一化直方图箱值的累计分布函数（CDF）。

  5. 对比度拉伸: 通过拉伸强度值范围覆盖整个动态范围来增强图像对比度，从而提高图像细节的可见性。i1 与 i2 计算: 确定与累积分布函数（CDF）的两个阈值水平（例如 0.05 和 0.95）相对应的像素强度值，确定拉伸操作的强度范围。T 计算: 计算拉伸后的像素强度值（T），以实现所需的输出强度值（o1 和 o2），其中 o1 是 uint8 输入最大输出强度的 10 \%，O2 是 uint8 输入最大输出强度的 90 \%。T 是一个 256 元素的向量，分成若干段，根据输入与期望输出强度范围之间的关系计算。以下方程说明了 T 中元素的计算方法。

\begin{equation*} t_1=\frac{o_1}{i_1}\left[0: i_1\right] \tag{4}\end{equation*}

\begin{equation*} t_2=\left(\left(\left(\frac{o_2-o_1}{i_2-i_1}\right)\left[\left(i_1+1\right): i_2\right]\right)-\left(\left(\frac{o_2-o_1}{i_2-i_1}\right) i_1\right)\right)+o_1 \tag{5}\end{equation*}

\begin{equation*} t_3=\left(\left(\left(\frac{255-o_2}{i_2-i_1}\right)\left[\left(i_2+1\right): 255\right]\right)-\left(\left(\frac{255-o_2}{255-i_2}\right) i_2\right)\right)+o_2 \tag{6}\end{equation*}

\begin{equation*} T=\left[\begin{array}{lll}t_1 & t_2 & t_3\end{array}\right] \tag{7}\end{equation*}

替换强度值: 通过将去雾图像中的每个像素值替换为对应的 T 中的强度值，将去雾图像的像素强度转换为拉伸后的强度值。输出与输入强度级别的曲线如图 2 所示。

  1. i1 与 i2 计算: 确定与累积分布函数（CDF）的两个阈值水平（例如 0.05 和 0.95）相对应的像素强度值，确定拉伸操作的强度范围

  2. T 计算: 计算拉伸后的像素强度值（T），以实现所需的输出强度值（o1 和 o2），其中 o1 是 uint8 输入最大输出强度的 10 \%，O2 是 uint8 输入最大输出强度的 90 \%。T 是一个 256 元素的向量，分成若干段，根据输入与期望输出强度范围之间的关系计算。以下方程说明了 T 中元素的计算方法。

\begin{equation*} t_1=\frac{o_1}{i_1}\left[0: i_1\right] \tag{4}\end{equation*}

\begin{equation*} t_2=\left(\left(\left(\frac{o_2-o_1}{i_2-i_1}\right)\left[\left(i_1+1\right): i_2\right]\right)-\left(\left(\frac{o_2-o_1}{i_2-i_1}\right) i_1\right)\right)+o_1 \tag{5}\end{equation*}

\begin{equation*} t_3=\left(\left(\left(\frac{255-o_2}{i_2-i_1}\right)\left[\left(i_2+1\right): 255\right]\right)-\left(\left(\frac{255-o_2}{255-i_2}\right) i_2\right)\right)+o_2 \tag{6}\end{equation*}

\begin{equation*} T=\left[\begin{array}{lll}t_1 & t_2 & t_3\end{array}\right] \tag{7}\end{equation*}

  1. 替换强度值: 通过将去雾图像中的每个像素值替换为对应的 T 中的强度值，将去雾图像的像素强度转换为拉伸后的强度值。输出与输入强度级别的曲线如图 2 所示。

Figure 2

图 2. 输出与输入强度级别曲线

第四节 HDL 实现雾去除与对比度增强

模型采用流式像素格式和 Vision HDL Toolbox 的定点块来实现雾去除和对比度增强算法，示例见图 3。该方法通过降低计算过程中存储像素数据所需的内存，确保硬件设计高效。模型使用串行接口模拟实时系统，提供对图像尺寸和格式的独立性，并增强对霜冻错误的容错能力。此外，利用定点数据类型可优化 FPGA 资源并提升整体性能。

第五节 雾去除与对比度增强的仿真与结果

使用尺寸为 240×320 像素的 RGB 输入图像。输入像素和增强后输出像素均采用 uint8 数据类型，表示 8 位无符号整数值。需要注意的是，该设计不支持多像素处理。

仿真结果展示了雾去除和对比度增强算法的有效性。雾去除过程成功消除了雾霾并提升了图像清晰度，尤其在受雾或能见度低的区域。该效果通过估计并从输入图像中减去空气光图谱，然后进行对比度拉伸以增强图像动态范围实现，所提系统的结果见图 4。

对比度增强阶段通过拉伸强度值进一步提升图像质量，使细节可见性和不同图像区域之间的对比度得到增强。该过程在对比度对图像分析或视觉感知至关重要的场景中特别有益。

因此，仿真结果表明雾去除和对比度增强算法的成功应用，显著提升了图像质量和清晰度，在各类应用中具有价值，例如监控、医学成像和遥感。

Figure 3

图 3. 基于 FPGA 的雾修正与对比度增强系统仿真模型（使用 Vision HDL Toolbox）

Figure 4

图 4. 提议系统结果，(a) 输入 RGB 图像，尺寸 240×320 像素，(b) 去雾和对比度增强后的增强输出图像，展示了图像清晰度和对比度的提升

第六节. 研究论文的未来展望

研究论文关于兼容 FPGA 的雾霾矫正和对比度增强，以提升雾霾环境下视觉算法的未来研究范围，可包括以下方面：

  1. 探索进一步的优化，以实现 FPGA 平台上的实时实现，例如降低延迟并提升处理速度，以处理更高分辨率的图像或 vedio 流。

  2. 调查将所开发算法与现有硬件系统（用于自动驾驶车辆、监控摄像机或医疗成像设备）的集成，以展示实际应用和性能提升。

  3. 开发能够根据环境条件（如雾密度水平或照明条件变化）动态调整参数的自适应雾霾矫正和对比度增强算法。

  4. 探索将机器学习技术集成，以提升算法基于不同条件下雾霾图像数据集学习而适应和改进性能的能力。

  5. 调查优化 FPGA 实现中的算法以提高能效的技术，考虑便携式或电池供电设备的功耗限制。

  6. 探索融合来自多种传感器（如 LiDAR、雷达和 RGB 摄像机）的数据，以提高复杂环境下雾霾矫正和对比度增强的准确性和可靠性。

  7. 在真实场景中进行广泛的验证和测试，以评估算法在不同雾霾条件下的性能，并验证其在提升视觉算法性能方面的有效性。

  8. 探索将所开发算法商业化和部署到各行业的路径，与行业伙伴合作将其集成到产品和系统中。

  9. 开发用户友好的界面和控制机制，以根据用户偏好或特定应用需求调整算法参数或模式。

  10. 解决与图像处理算法相关的安全问题，例如在实时雾霾校正和对比度增强系统中确保对抗性攻击或恶意输入的鲁棒性。

SECTION VII. 结论

本研究论文提出了一种新颖的 FPGA 兼容雾霾校正与对比度增强算法，旨在提升雾霾环境中的图像质量。通过利用 FPGA 技术并采用定点实现，该算法实现了实时处理能力，适用于自动驾驶、目标识别等应用。通过仿真与实验，我们已证明该算法在去除雾霾、提升可见度及改善雾霾图像对比度方面的有效性。这些结果为视觉算法的进一步发展铺平了道路，特别是在需要清晰、详细图像数据以进行准确分析和决策的场景中。因此，本研究为解决图像处理与计算机视觉应用中因恶劣天气条件带来的挑战，开发高效方案的持续努力作出了贡献。

参考文献

附加参考文献

  1. Miclea, R.-C.; Ungureanu, V.-I.; Sandru, F.-D.; Silea, I. 视觉增强与雾检测：近期科学论文中提出的解决方案，具有应用于移动系统的潜力。Sensors, 第21卷，第10期，2021年。

  2. T. Etherton, “合同形成与校正之雾”，Current Legal Problems, 第68卷，第1期，第367–385页，2015年。

  3. J. Tarel 与 N. Hautire, “从单一彩色或灰度图像快速恢复可见度”，发表于 2009 IEEE 12th International Conference on Computer Vision, 第2201–2208页，京都，日本，2009年。

  4. C.H. Son 与 X.-P. Zhang, “通过色彩正则化实现近红外融合，用于雾和色彩失真去除”，IEEE Transactions on Circuits and Systems for Video Technology, 第28卷，第11期，第3111–3126页，2018年。

  5. Y. Zhou, K. Gao, Z. Dou, Z. Hua, and H. Wang, “基于目标感知的红外与可见光图像融合,” IEEE Access, vol. 6, pp. 79039–79049, 2018.