可解释AI在安全可靠的自动驾驶中的应用：系统综述

摘要

人工智能（AI）因其相较传统方法的卓越表现，在自动驾驶（AD）的感知与规划任务中展现出有前景的应用。然而，高度复杂的 AI 系统加剧了 AD 安全保障的现有挑战。缓解这一挑战的一种途径是利用可解释 AI（XAI）技术。为此，我们呈现了第一份关于安全可靠 AD 可解释方法的全面系统文献综述。我们首先分析了 AD 背景下 AI 的需求，聚焦于数据、模型和自治性三个关键方面。我们发现 XAI 对满足这些需求至关重要。基于此，我们阐述了 AI 解释的来源，并描述了 XAI 的分类体系。随后，我们识别了 XAI 对安全可靠 AD 具有五个关键贡献，即可解释设计、可解释代理模型、可解释监测、辅助解释和可解释验证。最后，我们提出了一个名为 SafeX 的概念模块化框架，用以整合已评审的方法，实现向用户提供解释的同时，保证 AI 模型的安全性。

作者

Anton Kuznietsov 德尔姆施塔特技术大学（TU）汽车工程学院，德国德尔姆施塔特 ORCID: 0009-0002-6022-8739

Balint Gyevnar 爱丁堡大学信息学院，英国爱丁堡 ORCID: 0000-0003-0630-4315

Cheng Wang 赫瑞瓦特大学工程与物理科学学院，英国爱丁堡 ORCID: 0000-0002-5309-8115

Steven Peters 德尔姆施塔特技术大学（TU）汽车工程学院，德国德尔姆施塔特 ORCID: 0000-0003-3131-1664

Stefano V. Albrecht 爱丁堡大学信息学院，英国爱丁堡 ORCID: 0000-0002-8735-1465

出版信息

期刊： IEEE Transactions on Intelligent Transportation Systems 年份： 2024 卷号： 25 期号： 12 页码： 19342-19364 DOI： 10.1109/TITS.2024.3474469 文章编号： 10716567 ISSN： Print ISSN: 1524-9050, Electronic ISSN: 1558-0016

指标

论文引用数： 35 总下载量： 2179

资金支持

• 项目由德国联邦教育与研究部（BMBF）资助

• 项目 “AUTOtech.agil” (资助号：01IS22088S)

• 英国研究与创新（UKRI）自然语言处理博士培训中心（资助号：EP/S022481/1）

关键词

IEEE 关键词： Safety, Surveys, Explainable AI, Stakeholders, Trust management, Taxonomy, Standards, Monitoring, Autonomous vehicles, Terminology, Autonomous driving

索引词： Systematic Review, Autonomous Vehicles, Explainable Artificial Intelligence, Conceptual Framework, Alternative Models, Model Interpretation, Artificial Intelligence Systems, Artificial Intelligence Models, Safety Assurance, Heatmap, Deep Neural Network, Decision Tree, Black Box, Latent Space, Semantic Segmentation, Path Planning, Deep Reinforcement Learning, Semantic Knowledge, Tree Search, Visual Fixation, Saliency Map, Monte Carlo Tree Search, Scene Graph, Road Vehicles, Attention Map, Shapley Value, Deep Reinforcement Learning Algorithm, Stakeholder Requirements, Intermediate Output, Interpretation Of Features

作者关键词： Autonomous driving, autonomous vehicle, explainable AI, trustworthy AI, AI safety

未定义

第一节：引言

人工智能（AI）在过去几十年中在各个技术领域受到了广泛关注。特别是基于深度神经网络（DNN）的深度学习（DL），由于其数据驱动的高维学习能力，能够为某些任务提供与人类相当甚至更优的性能 ¹, ²，因此它自然而然地成为了自动驾驶（AD）领域的关键组成部分。

然而，深度学习存在缺乏透明度的问题。它表现出黑盒行为，模糊了对其内部工作机制的洞察。这种不透明性使得识别问题并确定哪些 AI 应用在现实世界中可行变得更加困难。然而，在与安全相关的领域，例如自动驾驶（AD），开发安全可靠的 AI 至关重要。虽然在 AI 中处理安全问题有多种缓解措施，例如充分合理的数据获取 ³，但这些措施在确保足够安全性方面的充分性仍然是一个悬而未决的问题，凸显了需要进一步方法的必要性。

此外，目前没有任何标准明确涉及数据驱动 AI 在 AD（自动驾驶）中的应用。现有的安全标准 ISO 26262 - Road Vehicles - Functional safety ⁴ 并非专门为数据驱动 AI 系统及其独特特性而制定的 ⁵。标准 ISO 21448 - Safety of the Intended Functionality (SOTIF) ⁶ 旨在确保系统功能不足所导致的危害不产生不合理风险，并要求对每个危害制定定量的接受标准或验证目标。该概念可适用于基于 AI 的功能，但这些接受标准并未被明确规定 ⁷。此外，缺乏针对基于 AI 功能设计的具体指导。

因此，这些标准在满足基于数据的深度学习系统安全需求方面面临挑战 ⁸。尽管 ISO/AWI PAS 8800 - Road Vehicles - Safety and Artificial Intelligence 正在进行中 ⁹，其范围和指导仍不清晰，因为它仍处于开发阶段。总体而言，社会对 AD 的信任度相对较低，存在较高的不信任感。美国汽车协会对自动驾驶汽车（AV）的调查表明，68%的美国司机对 AV 持怀疑态度 ¹⁰，而 AI 已被确定为导致社会不接受 AV 的关键因素之一 ¹¹。

一种有前景的方式来解决这些问题是可解释人工智能（XAI）。XAI 旨在为人工智能的行为提供人类可理解的洞见，XAI 方法的发展可能对不同类型的利益相关者有益 ¹²。首先，它可能成为 AI 开发者识别和调试故障的必备工具 ¹³。其次，XAI 可以帮助用户根据 AV 的实际能力校准对自动化系统的信任 ¹⁴，从而防止误用。最后，保障公司和监管机构也可能受益，因为 XAI 带来的透明度提升可实现可追溯性，从而在事故发生时更准确地评估尽职调查和责任 ¹⁵。Muhammad 等人 ¹⁶ 甚至认为，在未来，XAI 在监管合规方面（包括公平性、问责制和 DL 在 AD 中的透明度）可能是必要的。鉴于关于 XAI（特别针对 AD）的文献日益增多，系统地回顾现有的 XAI 技术及其如何应用以提升 AD 的安全性和可信度是必要的。

A. 以前关于 XAI 在 AD 中的综述

确实已有一些关于 XAI 在 AD 中的综述，我们在本小节中对每个综述进行简要概述。这些工作很好地概述了该领域的挑战和利益相关者，但存在一些关键缺陷：

1. 缺乏系统的文献综述方法，可能导致偏见和覆盖不完整；

2. 未关注 XAI 对 AD 的安全性和可信度的具体益处与缺点；

3. 未审查将 XAI 与 AD 集成的框架。

Omeiza 等人 ¹⁷ 的工作是该领域首个值得注意的综述。他们从整体上审视了 XAI 在 AD 中的应用，涵盖了解释、法规、标准和利益相关者的不同需求，以及在 AD 中应用的一些可解释性方法的概览。他们回顾了为 AD 设计有用的 XAI 系统所涉及的挑战和相关文献，然而，该综述既不可重复也不完整，尤其是在感知和规划任务方面。

此外，Atakishiyev 等人 ¹⁸ 涵盖了与 Omeiza 等人类似的主题，稍微更广泛地覆盖了近期用于 AV 感知和规划的 XAI 技术。他们提出了一个端到端（E2E）框架，用于将 XAI 与现有 AD 技术集成，然而，他们并未详细阐述不同 XAI 技术如何集成到该框架中。他们的文献综述也未以足够的细节描述，无法重复。

最后，Zablocki 等人 ¹⁹ 的文献综述确定了潜在利益相关者以及他们为何需要解释、对他们有用的解释类型以及何时需要提供解释。基于此，他们检视了文献中的不同方法。然而，他们并未关注 XAI 在满足安全可信 AI 要求方面的影响。此外，调查在完整性方面存在一些不足，因为他们仅关注基于视觉的端到端系统方法。因此，他们没有考虑可应用于模块化 AD 管道的规划和感知 XAI 方法。

B. 主要贡献

鉴于现有工作以及 XAI 在 AD 中日益重要的作用，我们的贡献如下：

1. 我们讨论了 AD 中 AI 的详细需求，并强调了 XAI 在满足这些需求中的重要性；

2. 采用结构化、系统化且可重复的评估方法，我们对应用于 AD 的 XAI 方法进行综述，重点关注环境感知、规划与预测以及控制；

3. 基于我们的综述，我们识别出适用于安全可信 AD 的五大 XAI 技术范式，包括可解释设计、可解释代理模型、可解释监控、辅助解释以及可解释验证。我们还使用具体示例讨论每个范式；

4. 我们分析了现有模块化 XAI 框架在 AD 中的局限性，并提出了一个名为 SafeX 的概念框架，该框架旨在可直接与已总结的 XAI 技术配合使用。

C. 范围与结构

我们的研究全面阐述了针对自动驾驶（AD）的当前先进可解释 AI（XAI）方法，包括模块化和端到端（E2E）管道，重点关注感知、规划与预测以及控制。我们还提出了一个概念性的模块化框架，用以将 XAI 纳入自动驾驶车辆（AV）的设计。我们的调查并未识别利益相关者，也不旨在提供如深度神经网络（DNN）或强化学习等数学基础的背景，因为在第 I-A 节已有现有调查对这些主题提供了充分覆盖。

我们的调查结构如图 1 所示。第二节中，我们提供基础内容，定义可信 AI 并识别与 AI 在 AD 中应用相关的需求。此外，我们描述了 AI 系统解释的各种来源，并引入了 XAI 概念的分类法以及 AD 组件的术语。第三节描述了我们的研究问题和调查方法，确保可重复性。第四节对文献进行分类，涵盖可解释设计、可解释监测、可解释代理模型、辅助解释和可解释验证。第五节回顾了 AD 中现有的 XAI 框架，并提出了我们的框架 SafeX。第六节和第七节讨论我们的发现，并根据调查结果确定未来方向。

图 1. 我们调查的结构。我们阐述了可信 AI 的必要性、XAI 分类法以及 AD 术语的基础。随后我们详细描述了调查方法，以确保审查可重复。分析中，我们将现有 AD XAI 方法根据其不同应用划分为五个分支：可解释设计、可解释监测、可解释代理模型、辅助解释和可解释验证。基于此分析，我们提出了一个名为 SafeX 的新概念框架。最后，我们讨论了挑战和未来方向。

第二节：基础

我们在本节开始讨论可信 AI 的必要性。随后，我们审视在 AD 中应用可信 AI 的要求。我们的分析强调 XAI 在满足这些要求中的关键作用，并确定 AI 系统中解释的来源。最后，我们回顾 XAI 的分类，并对 AD 组件提供了详细的术语说明。

A. 可可信人工智能

历史上，人工智能基于symbolic 表示，其中信息使用明确定义的数学符号编码，例如命题逻辑或程序归纳。最早成功的人工智能应用实例是专家系统 ²⁰，它们依赖这种symbolic 表示，具有不同程度的内在可解释性，通常以因果推理链的形式表现。

相反，当前的神经网络 AI 方法依赖于sub-symbolic 表示。在这种范式下，输入数据通过学习大量参数（来自海量训练数据）被数学转化为输出。这种方法使得能够建模高度复杂的多维关系，从而实现高性能。然而，由于其庞大的规模和高度抽象化，sub-symbolic 系统的输出并不可解释。因此，它们经常被比作缺乏透明度的黑盒。

虽然这种效率与透明度的权衡有时可以接受（可辩称，甚至不存在 ²¹），但像 AD 这样高度复杂且安全相关的系统无法完全依赖黑盒系统，因为它们目前无法获得安全认证。除此之外，还有无数伦理、社会和法律因素，使得神经方法也可能受到质疑 ²²。

这些问题的表现是用户对 AI 系统缺乏信任。为缓解因缺乏透明度而导致的众多问题，自动向用户解释预测和决策的方法已变得流行 ²³，形成了 XAI 领域。然而，构建可信 AI 是一个比仅仅赋予 AI 系统可解释性更为复杂的问题。相反，可信 AI 必须考虑一套复杂的社会技术需求，包括人类主体性、技术鲁棒性与安全、隐私与数据治理、多样性、非歧视、公平以及社会与环境福祉 ²⁴。我们对 XAI 的关注并非仅仅通过可解释方法就能实现可信 AI，而是作为支持 human-centric AI 的众多方法中的必要组成部分，human-centric AI 致力于确保人类价值观是 AI 系统开发、部署、使用和监控的核心，并通过尊重基本人权来实现这一目标。

在以下小节中，我们将详细探讨针对 AD 的可信任 AI 的这些要求。随后，我们将讨论当前 AI 方法在可解释性方面来自哪些来源、可解释性程度如何，并概述 XAI 的分类，以组织我们的讨论。

B. 安全与可信 AI 在 AD 中的需求

鉴于黑盒子子符号方法在高维任务（如图像处理和目标检测）²⁵ 方面的卓越表现，它们现在成为解决 AD 挑战的主要方法。与许多其他机器人领域不同，自动驾驶车辆的不当行为可能导致人类严重受伤甚至死亡，这意味着安全是所有利益相关者的首要任务。因此，为 AV 设计安全与可信的 AI 正变得迫在眉睫，迫切需要定义安全和可信任的要求。

遗憾的是，目前没有专门针对自动驾驶（AD）中人工智能的需求被公布。相反，我们需要以更通用的安全与可信人工智能需求作为起点。我们讨论这些需求是否适用于 AD 中的 AI 系统，以及是否应该在表 I 中为 AI in AD 定义新的需求。

表 I

幸运的是，已经制定了多项安全可靠 AI 的指南，适合解决自动驾驶汽车（AV）的透明性和安全关键运营问题。其中一个知名的 AI 监管框架是欧洲委员会发布的伦理准则 ²⁶，其中定义了七项可靠 AI 的关键要求。这些要求包括：(i) 人类代理与监督；(ii) 技术健壮性与安全性；(iii) 隐私与数据治理；(iv) 透明度；(v) 多样性、非歧视与公平；(vi) 社会与环境福祉；(vii) 问责制。

另一套 AI 风险管理框架由美国国家标准技术研究所（NIST）²⁷开发。它也定义了七项关键特性，表明可信 AI 应具备：(i) 有效且可靠；(ii) 安全；(iii) 安全与弹性；(iv) 负责与透明；(v) 可解释与可理解；(vi) 隐私增强；(vii) 公平并具备有害偏见管理。根据该框架，有效性与可靠性是其他特性的基础，而负责性与透明性则是涵盖所有特性的总体概念。

这两项提案中定义的要求源自三大主要来源：数据相关、模型相关和代理相关需求。我们在表 I 中进行了综合。首先，多样化的数据和数据治理对于避免偏见决策和保护隐私至关重要。其次，AI 模型本身应具备（除其他因素外）健壮性、安全性和可问责性。第三，部署的 AI 模型必须由人类监督，这就需要人类代理。其他研究者也提出了类似的需求。例如，Alzubaidi 等人 ²⁸ 为可信 AI 定义了类似的需求。他们将准确性和可复现性视为独立需求，而欧盟则将其归入健壮性。为避免不必要地混合冲突定义，我们将这两项国家级提案派生的需求视为起点，并注意到其他可信 AI 的概念可能更适合这些框架。

1) 数据相关需求：

对自动驾驶（AD）而言，恰当的数据治理是必要的，因为需要处理来自驾驶员及外部环境的隐私和质量敏感数据。例如，基于机器学习的感知通常使用视觉系统来感知和理解周围环境，其中也会出现高度个人化的数据，如行人面孔和车牌。然而，技术数据不一定必须被归类为非个人数据 ²⁹。在欧盟司法辖区内，例如，《通用数据保护条例》（GDPR）³⁰ 可能为在使用基于 AI 的功能时处理个人数据提供法律依据，但尚不清楚在自动驾驶车辆中单方面且完全自动化的个人数据处理在 GDPR 范围内的覆盖程度。此外，为了避免（例如）不公平偏见，我们应依赖多样化数据来训练 AI 模型。特别是对行人的非歧视性是自动驾驶中基于 ML 系统的重要要求。尽管如此，Li 等人 ³¹ 显示了对缺失的儿童或肤色较深的行人存在偏见。总体而言，对安全相关需求的提炼应被视为一个包含多方利益相关者视角的过程，以提高多样性 ³²。

2) AI模型的需求:

AD 是一种安全关键的应用程序，缺乏鲁棒性可能导致交通事故。 AV 所处的环境复杂、不确定，并随时间和空间变化。 基于 DL 的模型不仅需要对物理驾驶条件的变化（例如不同的天气条件，以及由于部件磨损导致的车辆行为变化） 具有鲁棒性，还需要对其他驾驶员行为的变化具有鲁棒性，包括对抗性道路使用者可能尝试利用 AV 系统的可能性 ³³。 此外，对抗性扰动可以欺骗基于深度学习的神经网络 ³⁴， 导致不合理的结果。 因此，AI 必须对噪声、分布偏移和对抗性攻击等多种因素具有鲁棒性 ³⁵， 并且即使在不确定的环境中也必须展示安全决策。 此外，AV 必须对相关利益相关者足够透明，以便他们能够理解 AV 的决策。例如，开发者需要透明性来调试模型，从而提高系统的鲁棒性，而监管者需要透明性来审计和认证系统。 此外，部署的 AI 模型应该以用户为中心，并以所有人都能从其服务中受益的方式设计，无论其情况如何。 最后，为 AD 系统建立问责制对于在事故发生时确定责任至关重要 ³⁶.

3) 机构的要求:

对于三级自动驾驶车辆 ³⁷，在自动驾驶车辆承担动态驾驶任务（DDTs）的同时，只要保持在预定义的运行设计域（ODD）内，人工驾驶员可以进行非驾驶相关的活动。然而，如果系统失效或超出 ODD，驾驶员应随时准备接管控制。相比之下，对于更先进的四级和五级系统，人工驾驶员不再需要保持在环，这削弱了他们的监督，尤其是在 AI 系统难以解释时。若没有额外措施，人工代理将因使用黑盒系统而受到损害。特别是自动驾驶车辆的用户可能几乎没有对车辆决策过程的洞察力，也无法期望对可能直接影响其身体完整性的决策提出异议。然而，在这些情况下寻求救济不仅仅是允许对 AD 系统进行干预，而是提供能够根据系统能力校准用户信任的解释。因此，依据系统的自动化级别，代理的需求可能已被现有系统满足，也可能没有。

除了上述三类要求之外，安全保障对 AD ³⁸、³⁹ 都是至关重要的。安全性从根本上重要，支撑并补充了上述三项面向可信 AI 的高层要求。虽然可信 AI 的要求通常包含安全性，但安全保障对 AI 系统的行为施加了严格的约束，这与可信 AI 的其他方面的更宏观标准形成对比。因此，安全可以被视为一套独立的要求。

然而，提供关于安全要求的全面说明将需要单独出版，因此我们改而聚焦于确保某些安全要求的一种方式，这种方式也与可信 AI 的众多建议相契合，即可解释 AI。首先，可解释 AI 通过提供（可理解的）AI 模型决策解释来提升透明度。为证明符合数据保护法规，可借助可解释 AI 提供证据，证明自动驾驶系统不处理个人数据，并且能够在数据中不使用可识别个人身份的特征来运行。其次，通过调查和可追溯性实现问责，这对展示非歧视性、确定失效案例以及为法律程序或监管合规建立其工作机制的整体案例至关重要。第三，可解释 AI 对 AI 模型的检查、调试和审计具有益处，可提升鲁棒性并更好地校准对自动驾驶车辆的信任 ⁴⁰。因此，我们必须得出结论，可解释 AI 是满足安全与可信自动驾驶 AI 要求的必要工具。

C. 解释来源

AI 系统有许多方式可以通过解释来揭示其决策过程。关键在于信息在 AI 系统中的表示方式以及随后如何使用，这直接影响我们为其生成解释的方法。了解这些不同的解释来源对于有效讨论各种 XAI 方法至关重要，因为它不仅有助于为 XAI 构建一致的词汇表，还能帮助理解不同 XAI 系统对 AD 的适用性以及它们如何满足安全与可信 AD 的各种要求。

我们在此讨论 XAI 文献中的五种解释来源。这些来源包括：可解释性、可解释度、可辩护性、可追溯性和透明度。这些术语相关且不一定是 AI 系统的互斥属性，但常常（错误地）被互换使用。本讨论借鉴了 ⁴¹、⁴² 和 ⁴³。

可解释性: 我们认为 AI 系统可解释，如果它的复杂度足够低，以至于具有一定经验的用户能够理解系统的输出以及从输入到产生该输出的因果过程 ⁴⁴。因此，可解释性是系统的内在属性。可解释系统常被认为更适合安全相关应用，因为可以观察到导致决策的因果链 ⁴⁵.

可解释性: 我们称 AI 系统具有可解释性，如果系统的输出伴随有一个额外的输出，其语法形式为解释。该解释应当清晰传达输出推导背后的推理过程 ⁴⁶。可解释性不一定是 AI 系统的内在属性，也可能无法准确反映产生该输出的因果链。

正当性: 若能解释某输出为何优秀而不必解释其计算方式，则 AI 系统的决策被认为是正当的 ⁴⁷。这一属性取决于对“好” 的定义，而该定义本质上取决于应用领域和系统设计者认为合适的伦理框架。

可追溯性: 若外部审计员能够追溯从输入到输出的完整决策过程的因果链，则 AI 系统具有可追溯性。任何依赖黑盒的系统都无法追溯，因为因果关系被设计所遮蔽。即便系统仅使用白盒，也可能因模型规模庞大而仍无法追溯。

透明度是一个宽泛的术语，常被（错误地）用来指上述任何定义。如 II-A 节所述，透明度不仅是通过 XAI 可实现的 AI 系统属性，而是通过多种措施的组合实现的结果，这些措施使人们能够理解并有依据地使用系统，包括但不限于文档、XAI、标准化和风险评估 ⁴⁸。

D. XAI 的分类

我们现在提供了一个 XAI 分类体系，图 2 中可视化展示，这将在后面用于描述在第 IV 节中评审的方法。我们的六个分类类别基于 Speith ⁴⁹。

图 2。XAI 的分类体系，涵盖了 AD XAI 文献中最重要的概念，术语借鉴自 Speith [42]。

表示 信息在决策模型中的方式对 XAI 系统的工作具有显著影响。我们可以区分 symbolic（例如基于规则的系统、决策树等）和 sub-symbolic 系统（例如深度学习），以及同时使用两者的 mixed 系统。请注意，这个类别通常由决策系统的设计决定，而非 XAI 系统决定。正如在 II‑A 节讨论的那样，解释子符号系统更困难，并且使用这种表示方式的系统更难建立可信且安全的系统。

Stage 与解释在决策过程中的生成时间以及所依据的表示方式有关。Post-hoc XAI 系统在决策完成后运行，并且可广泛应用于任何 AI 方法，无论其表示方式如何。ante-hoc XAI 系统受限于具有符号或混合表示的 AI 方法，因为这些 XAI 系统直接从决策过程中所表示的信息生成解释，而这在黑盒系统中无法实现。这些系统的适用范围更受限制，但通常更可信且可验证。

模式 决定了解释的句法和语义形式。 虽然解释模式范围广泛，但在 XAI 中有三种尤其流行。 Surrogate 系统将更复杂方法的整体工作流程浓缩为可解释模型，然而，很难量化这些模型在多大程度上能忠实再现其父模型。 此外，代表性和反事实 examples 以输入示例的形式解释决策过程的某些方面，但它们依赖于用户能够正确理解和解释示例的假设。 Importance-based 解释说明在模型做出预测时，输入表示的哪些特征最具影响力。 这些模型提供了一种揭示黑盒决策的途径，但重要性不应与实际因果关系混为一谈，因为它们往往可以在不影响输出预测的情况下被修改 ⁵⁰, ⁵¹。 最后，对于可解释的 ante-hoc 方法，系统本身 inherently 作为解释模式，尽管将模型本身视为解释需要大量认知处理，并且不太可能提升大多数利益相关者的信任度。

范围 决定了解释是仅适用于单个输入实例 (local)、一组实例 (cohort)，还是适用于整个模型 (global)。 解释的范围与其模式紧密相连。 示例-和重要性基解释更适用于局部和群体解释，而 Surrogate 模型代表整个决策过程，因此是全局解释器。

媒介 是通过 清晰地 向利益相关者传递解释的渠道。 解释的传递方式对有效性和可理解性有深远影响。 这是一项关键的设计考量，应补充对利益相关者需求的正确理解。 不幸的是，XAI 中的普遍趋势是以“现成”的方式提供解释（例如，特征重要性图、决策树可视化等），而不考虑如何进行沟通。

E. AD 组件术语

虽然根据细节层级存在不同的自动驾驶（AD）组件划分 ⁵²，自动驾驶车辆（AV）的核心能力通常可分为三大组成部分：感知、规划与预测以及控制 ⁵³，⁵⁴，如图 3 所示。感知是指从周围环境获取数据并从这些环境信息中推导有意义的见解或知识的能力。具体而言，environmental perception 指的是对环境的情境理解的形成，包括障碍物识别、道路标志和标记检测，以及根据其语义意义对数据进行分类。Localisation 指的是 AV 在环境中确定其位置的能力。

图 3. 自动驾驶系统的典型系统概览 [45]。箭头表示信息流。橙色框为硬件，灰色框为软件组件。(V2V: 车与车通信。)

规划与预测涉及根据障碍物预测的未来轨迹做出明智决策的战略过程，以实现车辆的高级目标。通常包括从起点导航到期望目的地，同时避免障碍物并根据预先设定的约束优化性能。根据 ⁵⁵，规划可进一步分为任务规划、行为规划和运动规划。Mission planning 表示根据道路网络从当前位置到预定义目的地的路线选择。Behavior planning 负责在所选路线的任何时间点确定合适的驾驶行为，考虑其他交通参与者的感知行为和道路条件等。最后，motion planning 旨在在行为层发出当前驾驶情境下的驾驶行为信号后，寻找无碰撞、舒适且动态可行的路径或轨迹。

最终，控制能力表示其执行规划动作的熟练程度，这些动作由其高级处理模块制定。在path tracking中，车辆需要收敛并跟随运动规划生成的路径，而不包含时序约束 ⁵⁶。相反，Trajectory tracking 指的是以下可行的“状态空间”轨迹，这些轨迹指定了位置、方向以及线速度和角速度的时间演化 ⁵⁷.

上述模块化系统描述使得各个组件可以独立开发。除了模块化方法之外，还有替代 AD 架构的端到端（E2E）系统，使用单一神经网络 ⁵⁸，但通常控制部分是分离的，E2E 网络仅包含规划和感知组件。E2E 架构的动机在于其简单设计，避免考虑不同模块之间的各种互连，而是专注于对各个模块的联合特征优化 ⁵⁹。与模块化管道相比，E2E 网络的可解释性更低，因此确保其安全更具挑战性。在模块化方法中，更容易追踪错误来源 ⁶⁰.

第III节. 审查方法论

鉴于在实现 AD 的 XAI 时的需求与挑战，该领域正日益受到关注。为全面探索已发布的方法，我们根据 Kitchenham 和 Charters 的建议 ⁶¹ 以及 Stepin 等人的审查方法论部分 ⁶² 进行系统性文献综述。结构化的综述使我们能够通过将越来越细化的查询与在线索引数据库相结合，系统性地探索该领域，同时对这一过程的描述使我们的搜索可重复，从而验证我们工作的有效性，并帮助在未来获得该领域的更新视角。

为了概述审查过程，首先我们定义了两个主要研究问题，并基于此制定了查询层次结构。我们使用得到的查询在三个索引数据库——Scopus、Web of Science 和 IEEE Xplore——中进行检索，并采用三步流程得到最终的 84 篇出版物。我们将在下文详细描述完整流程。

A. 研究问题

• RQ1 目前有哪些满足安全和/或可信性需求的 XAI 方法，它们在满足这些需求方面的主要贡献是什么？

• RQ2 为将 XAI 与自动驾驶集成提出了哪些具体通用框架？

B. 搜索过程

我们选择了 Scopus、Web of Science (WoS) 和 IEEE Xplore 在线索引数据库进行审查，因为这些平台覆盖了技术和非技术出版物，并且能够构建和细化详细查询。为获取候选论文列表，我们构建了如图 4 所示的搜索层次结构。树的每个深度层对应更精细的搜索词，最终候选论文列表为一组高度相关且数量可控的出版物。以下给出 WoS 表示法下的查询，Scopus 和 IEEE Xplore 也构造了等价查询。查询被应用于每篇被索引出版物的标题、作者关键词和摘要字段，检索时间为 2023 年 9 月 22 日至 26 日。

• q_{1}: expla* 或 interp* 或 XAI

• q_{2}: q_{1} AND (auto* AND (driv* OR vehicle* OR car*) 或 self driving);

• q_{3}: q_{2} 并且安全*;

• q_{4}: q_{2} 并且信任*;

• q_{5}: (q_{3} OR q_{4}) AND (管道 或 架构 或 框架);

• q_{6}: (q_{3} OR q_{4}) 与 \dots

q_{6a}: 感知 或 感知 或 计算机视觉 或 目标检测 或 语义分割;q_{6b}: 预测 或 计划*;q_{6c}: 控制*.

• q_{6a}: 感知 或 感知 或 计算机视觉 或 目标检测 或 语义分割;

• q_{6b}: 预测 或 计划*;

• q_{6c}: 控制*.

图 4. 用于调查的查询层次结构，包含对应每个查询的代表性关键词列表。颜色表示搜索层次结构的不同深度。

我们对 q_{1} 的选择涵盖了所有与解释、诠释或提及 XAI 的论文。此时，我们没有使用与特定主题领域相关的关键词（例如自动驾驶）来限制搜索，以便构建一个可供选择的大量论文基础。我们使用 q_{2} 将搜索范围缩小到关注自动驾驶（及相关关键词），随后根据论文是否包含与信任或安全相关的关键词进一步筛选。为回答 RQ1，我们对这组论文按它们是否与 AD 堆栈的特定子系统相关（如图 3 所示）进行排序。为回答 RQ2，我们根据与框架或架构相关的关键词过滤所收集的论文集合。

搜索与筛选过程如图 5 所示并在下文中作了解释。针对研究问题检索到的论文总数列于表 II。查询论文后，我们已删除所有重复论文。随后，对剩余集合依据我们的排除与纳入标准（详见 III‑C 节）进行筛选。接着，我们根据全文再次应用相同的排除与纳入标准，以确定最终纳入列表中的论文。

表II

图5. 审查流程的流程图概述。首先，论文按照查询层次结构（蓝色框）检索，然后按内容进行两次筛选（橙色框）。括号中的数字显示每一步结束时的论文数量。

C. 纳入与排除标准

现在我们描述了在搜索过程的每个阶段用于两个研究问题的包含和排除标准，以获得最终列表。在过滤过程的每个阶段，我们首先应用一系列包含标准来决定哪些论文在该阶段保留。所有这些包含标准必须被论文满足才能通过该阶段。我们纳入的论文满足以下条件：

• 论文（部分或全部）受对更安全或更可信技术需求的驱动；且

• 论文提出了与人工智能相关的具体系统、算法、框架或新颖的产物；

在包含过程之后，我们应用了一系列排除标准，具体规定了对论文的更详细要求。如果论文满足至少一个排除标准，我们就将其过滤掉。我们排除的论文是：

• 它没有尝试解决任何解释来源（如第二章C节所述）；或

• 主要的应用或评估领域不是自动驾驶；或者

• 论文没有涉及自动驾驶的感知、规划、预测或控制；

SECTION IV. XAI for 安全可信的自动驾驶

我们将审阅的论文归为五个主要类别。它们分别是可解释设计、可解释代理模型、可解释监测、辅助解释以及可解释验证。[^55] 本表（表 III）概述了各类别方法的优缺点，并在图 6 中展示了这些类别的可视化图示。本节将对每个类别中的不同方法进行概述，并分析它们在实现更安全、更可信的自动驾驶中的相关性。对于每个类别——可解释验证仅有五项工作除外——我们依据第二节 D 中提出的 XAI 分类法，在表 IV 至表 VII 中提供了方法的摘要表。

表 III

表 IV

表 V

表 VI

表 VII

图 6. 依据解释来源（Section II-C）对 AD 的 XAI 方法类型进行分组。 (A) AI 算法本质上可解释（white box）； (B) surrogate models are used to approximate opaque AI models (black box) and generate explanations for their outputs; (C) a transformed input is fed into an interpretable monitor system (white box) to runtime check the safety of opaque AI models (black box); (D) the AI model can deliver some intermediate information as explanation of its designed functions (gray box); (E) interpretable (white box) algorithms are employed to control agents for validating AVs.

A. 设计即可解释

定义 1（设计即可解释）:

*我们称一个算法为设计即可解释，如果它本质上可解释，并且其设计揭示了输入与输出之间的明确因果关系 ⁶³. *

1) 设计即可解释 – 感知:

Chaghazardi 等人 ⁶⁴ 引入了一种用于交通标志分类的归纳逻辑程序设计方法，首先提取颜色、形状等高级特征，然后学习假设。该设计提高了透明度和可靠性。此外，相较于其他最先进的算法，显示出更强的对抗攻击鲁棒性。⁶⁵ 中，Feifel 等人提出了一个结构化可解释潜在空间，用于 DNN 的行人检测，学习提取特定原型。潜在空间中学习到的原型可以通过主成分分析 ⁶⁶ 或 t-SNE 投影 ⁶⁷ 在投影的二维平面上聚类。由于可解释设计的 DNN，可进行先验分析以支持安全论证。Plebe 等人 ⁶⁸ 开发了一个时间自编码器，用于语义分割中的车道和车检测，由组织化的潜在空间组成，学习车道和车段的语义概念。类似地，Losch 等人 ⁶⁹ 为语义分割任务提出了语义瓶颈模型，将每个通道与人类可解释的视觉概念对齐。将语义概念引入潜在空间进一步提高了 DNN 预测的透明度。Oltramari 等人 ⁷⁰ 开发了一个混合 AI 框架，通过使用从标记训练数据聚类中提取的知识图谱指导 DNN 的潜在空间，实现感知场景理解。Martinez 等人 ⁷¹ 通过使用胶囊网络 ⁷² 在 DNN 中构建可解释的潜在空间，用于预测 AD 场景和上下文条件下的眼动注视。借助这些胶囊，可以在帧级和像素级表达特征与上下文条件之间的可解释关系。⁷³ 中，Yoneda 等人训练了一种 CNN 来识别 AD 环境中阳光眩光的存在。随后，使用梯度加权激活图方法（Grad-CAM）⁷⁴ 计算热图，以识别图像中阳光眩光区域。所开发的热图方法增强了决策过程的透明度。

2) 可解释性设计 – 规划与预测:

该类别中的方法主要用于三种目的：目标/轨迹预测、车道变更意图预测和运动规划。最常见的设计选择之一是使用高层次、可解释的驾驶操作 ⁷⁵, ⁷⁶, ⁷⁷, ⁷⁸, ⁷⁹, ⁸⁰。这些操作提供了对低层状态变量（例如加速度和转向）的便捷抽象，使决策过程可处理且可解释。

然而，可解释设计方法依赖广泛的领域知识，这可能无法扩展到更复杂的决策。 此外，一些方法依赖贝叶斯网络（BNs）来定义决策过程的概率模型 ⁸¹, ⁸², ⁸³，这需要对驱动决策背后的因果过程有良好的理解和假设。BNs 的好处在于它们提供了一个有原则的数学框架来推理因果关系，然而，对专家知识的依赖可能导致人为建模错误和偏差。

运动规划的另一种方法是利用蒙特卡罗树搜索（MCTS）在高层次驾驶操作上构建一个浅层搜索树，通过模拟得到可解释的结果 ⁸⁴, ⁸⁵, ⁸⁶。MCTS 的优势在于它仅覆盖搜索空间的相关部分，同时避免不安全的动作，但它依赖于对其他交通参与者轨迹预测，并且计算成本高。

可解释的目标与轨迹预测也受到关注。这些方法要么基于理性（贝叶斯）逆向规划 ⁸⁷, ⁸⁸, 决策树 ⁸⁹, ⁹⁰, 要么基于离散选择模型 ⁹¹. 对于车道变换（LC）预测的解释工作也相当丰富，采用的多种方法包括时间序列动机 ⁹², 规则提取 ⁹³, 以及可解释的变分自编码器 ⁹⁴. 有一项工作因使用从标注的真实世界图像数据导出的动态贝叶斯网络来预测行人意图 ⁹⁵ 而脱颖而出。

仅有三篇论文进行了用户研究 ⁹⁶, ⁹⁷, ⁹⁸，其中只有其中一篇对解释对用户的影响进行了更深入的调查 ⁹⁹。后者工作也是该类别中少数能够沿可解释性、问责制和信任三个轴详细获取利益相关者需求的方法之一。然而，他们提出的方法的主要局限在于使用了一个高度专业化的数据集，并且该数据集包含了高层次语义和结构化解释的注释，这些注释可能并不易于获取。

3) 可解释性即设计 – 控制：

郑等人 ¹⁰⁰ 提出了一个预先可解释的控制器，在该控制器中，将基于神经网络的控制器结合控制屏障函数过滤器的输出通过二次规划和量规映射以可解释的方式投射到安全集合上。他们的方法能够很好地追踪控制过程，并深入讨论可解释控制对安全验证的影响。

4) 可解释性即设计 – 总结：

在感知领域，设计上可解释的算法大多数依赖于在 DNN 内构建可解释的潜在空间。通过强迫算法学习语义概念，自动特征提取变得更加可解释。另一种可能是将感知算法模块化为多个算法，分别学习识别不同的语义概念。通过训练感知算法提取语义概念，算法被迫学习可解释的特征提取。然而，定义这些概念具有挑战性。除此之外，通常还需要一个包含对象语义概念标签的数据集。最后，也可以利用分类器的可解释性来定位对象 ¹⁰¹。

在规划与预测中，常常手工设计高级可解释特征或动作来抽象低层状态空间。这些抽象随后可用于各种决策算法，例如蒙特卡罗树搜索（MCTS）、贝叶斯网络（BN）或决策树。然而，创建这些抽象需要丰富的领域知识和细致的工程工作。对于控制任务，可以采用约束满足算法将 DNN 的输出映射到一个可解释的、构造安全的控制域。

这些方法本质上是可解释的，并且有潜力提升自动驾驶（AD）的可信度和安全性。可解释算法为输入与输出之间提供了清晰的因果联系，可能实现安全验证；而有意义的高层抽象易于人们理解，能有助于准确的信任校准。不幸的是，很少有方法在实际利益相关者面前检验算法的有效性，导致许多研究的动机性主张未得到验证。这一点尤其体现在缺乏能够生成具体、可理解解释的方法（即在 Section II-C 所定义的可解释系统）。相反，论文通常提供对其系统可解释组成部分的科学分析，但这些分析难以扩展到不同的利益相关者，也未考虑实现更可信 AD 所需的要求（参见 Section II-B）。缺乏对信任度的动机同样体现在缺少评估解释对利益相关者收益的用户研究。

B. 可解释代理模型

定义 2（可解释代理模型）:

我们称一个系统为可解释代理模型，如果一种可解释设计模型能够逼近黑盒算法的行为，从而为黑盒算法提供可理解的解释 ¹⁰²。

1) 可解释代理模型 – 感知:

Ponn 等人 ¹⁰³ 为基于摄像头的目标检测器提出了一种无模型依赖的代理模型。该模型使用随机森林训练，根据训练数据中关于环境的元信息来预测检测分数。随后计算 Shapley 值以衡量来自元信息的不同特征的影响，帮助解释结果，从而可以估计环境中影响因素对目标检测器行为的影响。

2) 可解释代理模型 – 规划与预测:

Cui 等人 ¹⁰⁴ 将 SHAP 与随机森林相结合，以提高由深度强化学习 (DRL) 算法驱动的决策过程的透明度。在他们的框架中，SHAP 确定与 DRL 算法所做决策相关的重要特征，并使用这些特征训练一个 RF 模型来解释原始 DRL 模型的决策。 此外，Li 等人 ¹⁰⁵ 也利用 SHAP 来理解 LC 预测中特征的重要性。他们提出了一种名为 Maximum Entropy SHAP (ME-SHAP) 的 SHAP 修改版本，用于解释基于 XGBoost 的 LC 决策模型。他们的评估表明，ME-SHAP 的特征贡献可以用直观的驾驶行为来合理化，但 ME-SHAP 对人类理解的定性好处尚未得到证实。

有三项工作脱颖而出，它们既不使用 SHAP，也进行了重要的用户研究。首先，Mishra 等人 ¹⁰⁶ 使用决策树来根据状态和由最优策略决定的相应动作来解释 RL 代理的行为。他们创建了一个可视化解释界面，并使用广泛的定性和定量分析，对学生和专家进行了评估。他们表明他们的方法既有效、可应用于专家，并且比文本解释更为有效。

其次，Omeiza 等人 ¹⁰⁷ 通过从场景图中推导决策树来创建自然语言解释。他们的算法基于预定义的有意义特征，但方法描述有限，使得难以评估其在未见场景中的表现。通过一项广泛的用户研究，测量了解释对 AD 系统感知问责制以及用户对 AD 系统工作方式理解的影响。

Finally, Gyevnar 等人 ¹⁰⁸ 提出了名为 CEMA 的方法，该方法基于人们选择解释原因的认知模型。他们还生成了自然语言解释，但与之前使用决策树的方法不同，他们的方法依赖于基于概率规划器的模拟。他们生成了用于分析影响 AV 运动规划的因果关系的反事实世界。他们与名为 HEADD ¹⁰⁹ 的人工编写解释基线对照，使用超过 200 名在线参与者评估了他们的解释。

3) 可解释的代理模型 – 控制:

鉴于其安全关键的硬件级应用，控制代理模型应高度重视安全性。我们在此识别了一项工作 ¹¹⁰，作者分析了基于 DNN 的控制器在扰动环境条件下稳定自动驾驶车辆动态位置的行为。提出了一种可跨可比的时间序列数据聚类方法，用于解释来自神经网络的响应信号，从而增强了内部模型的理解和透明度。然而，未对基础神经网络的规格进行说明，使其主张难以复制和推广。

4) 可解释的代理模型 – 端到端:

Zemni 等人 ¹¹¹ 提出了一个以对象为中心的框架，用于为端到端决策模型生成反事实解释。该端到端决策模型被设计为具有基于实例的潜在表示。因此，生成模型能够生成与原始输入图像稍有变化的对象的新图像。通过分析输出的变化，框架有助于理解环境中对象对网络决策的影响。Shi 等人 ¹¹² 提出了一个自监督的可解释框架，用于生成与每个像素赋予的重要性相对应的注意力掩码，这构成了代理决策的最大证据。该框架的核心概念是为基于视觉的强化学习训练的单独解释模型。

5) 可解释的代理模型 – 总结:

具备可解释性的元模型由一个具有可解释性能力的元模型组成，该模型逼近黑盒模型的行为，从而支持理解黑盒模型的内部工作原理。对于感知，可以通过训练不同的机器学习模型来实现，例如可以通过检验或使用 Shapley 值进行解释的随机森林 ¹¹³。这种类型的可解释代理模型有潜力提升网络的透明度和可靠性，因为检测错误可以得到更深入的分析，从而增强对模型行为的理解。在规划和预测中同样常用 Shapley 值，尤其是由 SHAP 实现的 ¹¹⁴，而仅有三项工作未使用 SHAP。

不幸的是，盲目依赖基于 SHAP 的可解释性可能无法实现更安全的自动驾驶，因为该方法易受到多种问题的影响，导致与其他特征显著性方法相比出现不一致的解释 ¹¹⁵, ¹¹⁶。这也意味着在尝试提升自动驾驶车辆的可信度时，使用时必须谨慎，并且与相关利益相关者的用户研究对于验证可信度主张至关重要。

对于控制任务，可以通过对时间序列数据进行聚类分析以事后方式解释 DNN 的输出 ¹¹⁷。在端到端学习中，可以通过黑盒模型训练一个单独的生成模型 ¹¹⁸。然后可以利用该生成模型为模型提供反事实解释。 此外，还可以训练一个单独的解释模块用于端到端网络 ¹¹⁹。

C. 可解释监测

Definition 3 (可解释监测):

我们称一个系统为可解释监测系统，如果使用可解释设计模型来验证决策算法的输出，从而确保自动驾驶车辆更安全的部署。

1) 可解释监测 – 感知:

在 ¹²⁰，Kronenberger 等人研究了可解释的深度神经网络（DNN）用于交通标志识别。 他们引入了对视觉概念（如颜色、形状、数字或符号）的额外解释。 这些视觉概念用于验证网络的决策。 Hacker et al. ¹²¹ 也提出了一个用于交通标志识别的监视器。 该监视器包含多种机制，包括一个可解释的显著性检测器。 在运行过程中，显著性图是通过遮挡敏感度 ¹²² 计算得到的，并通过计算每个交通标志类别的离线计算显著性图的欧氏距离来比较。 Keser et al. ¹²³ 通过引入概念瓶颈模型（CBM）提出了一个可解释且模型无关的监视器，该模型用于与原始基于 DNN 的目标检测器进行合理性检查。 CBM 的可解释性是通过学习可解释的人类标签实现的。 Fang et al. ¹²⁴ 构建了一个故障诊断框架，用于监测系统的运行状态，而故障诊断的可解释性是通过计算每个输入特征对异常检测结果的贡献实现的。 感知监视器以可解释的方式提升了检测算法决策过程的可靠性。 此外，鲁棒性也得到了提升。 除了检测网络的异常行为外，监视器还能够检测不安全输入。

2) 可解释的监控 – 规划与预测:

可解释的自动驾驶（AD）规划与预测系统主要关注两个任务：事故/碰撞预测和安全行动选择。 这里大多数方法依赖符号表示，主要是决策树 ¹²⁵、¹²⁶、¹²⁷、¹²⁸、¹²⁹，用于预测固定一组高级行动的二元或标量安全得分。这些方法有助于在执行前评估潜在行动的安全性，但它们仅依赖状态描述，未考虑其他视觉线索。

这一缺陷已在其他依赖原始感知数据来评估驾驶动作安全性的工作中得到解决，例如 Karim 等人 ¹³⁰ 使用 GradCAM ¹³¹ 提取事故预测的视觉解释。更独特的是，Bao 等人 ¹³² 提出了基于视觉注意力、受人类类视觉注意力聚焦启发的马尔可夫决策过程的两阶段交通事故预测设计。阶段 1 使用显著性图显示顶部向下（聚焦特定区域）和底部向上（考虑全部）两种视觉注意力；阶段 2 是一个随机马尔可夫决策过程，代理预测事故概率及视觉聚焦区域，从而平衡通过视觉聚焦进行探索与利用，以获得更准确的事故预测。

与预测单一动作的安全性相反，Schmidt 等人 ¹³³ 提出了基于决策树的完整运动规划监测流程。他们使用模仿学习训练了一个基于 RL 教师策略的决策树，该策略在受约束的 MDP 下训练以实现安全驾驶。该方法已被证明可验证且易于解释，尽管他们的评估仅限于车道变更决策。

与单独监测运动规划的安全性不同，Gilpin 等人 ¹³⁴ 设计了一个面向整体异常检测的高级解释框架，该框架还可以使用自然语言为终端用户生成解释。他们提出了一个系统层级，首先选择由低层系统（例如控制和感知模块）生成的解释，然后利用一阶逻辑规则和常识知识合成高级解释。不幸的是，他们没有进行用户研究，因此未评估其解释的实际可用性。

3) 可解释监测 – 摘要:

对于感知任务，设计上可解释的代理模型可以通过可解释的语义概念提取来验证感知算法的决策。此外，感知算法的内部运作可以通过热图监视器进行监测，或者可以开发一个可解释的元模型作为监视器，以识别感知算法中的异常及其原因。

对于预测和规划，大多数方法依赖决策树来预测自车行为的二元安全标签或标量风险评分。这些方法仅利用环境的状态描述。然而，提出了两种方法，也考虑了来自图像数据的视觉线索。

监测方法非常适合事后解决自动驾驶的安全问题，但它们并未设计用于校准信任。可解释监测系统面临的巨大挑战是计算复杂度与监测算法性能之间的权衡，因为监测器不应耗费过多时间，也不应占用主系统资源 ¹³⁵。

D. 辅助说明

定义4（辅助说明）:

我们说，如果算法的执行产生了可提供关于算法产生输出方式的信息的辅助信息，则算法可以提供辅助解释。

1) 辅助解释 – 感知:

在感知任务中，热图通常用于通过突出显示影响网络决策的区域来解释预测结果。
一种广泛使用的模型特定方法是 Grad-CAM ¹³⁶，它可视化激活，通常在最后一层。
Kolekar 等人 ¹³⁷ 将 Grad-CAM 应用于基于相机的语义分割 DNN。
Saravanarajan 等人 ¹³⁸ 还在合成生成的雾中通过 Grad-CAM 检查了 DNN 对语义分割的行为。
除了最后一层，Grad-CAM 还被应用于编码器中的两层和解码器中的一层，产生四个不同的热图，从而增强了对 DNN 决策理解的透明度。

Abukmeil 等人 ¹³⁹ 为语义分割任务提出了一种变分自编码器，并通过计算编码器层与潜在空间之间的二阶导数生成多个热图。
得到的注意力图被聚合并与最后的解码器层融合，以提升结果。
Mankodiya 等人 ¹⁴⁰ 定义了一个框架，用以确定对语义道路分割结果贡献重要区域的图像部分，所使用的 XAI 方法为 Grad-CAM 和显著性图。

在 ¹⁴¹，Nowak 等人为基于 DNN 的公交充电检测计算了注意力热图。
此外，这些热图用于识别虚假预测，并进一步通过数据增强用于训练，以提升鲁棒性。
除了因热图提供透明度外，DNN 的鲁棒性也得到提升。
上述方法仅聚焦于基于相机的感知任务。
Schinagl 等人 ¹⁴² 提出了针对基于 LiDAR 的 3D 目标检测的模型无关归因图生成方法。
这些热图通过系统性移除 LiDAR 点并观察输出变化的方式生成基于扰动的方法。
他们还提出了多种可视化分析工具，帮助以可解释的方式识别基于 DNN 的感知系统可能的异常行为。
通过这种方式，模型的工作机制获得了更高的透明度，整个 ML 系统的开发过程也变得更安全。

Gou 等人 ¹⁴³ 开发了框架 Vatld，用于通过分析输入-输出数据以及中间表示来检验交通灯检测算法。采用了解耦表征学习，以在潜在表示中提取语义概念，如颜色、背景、旋转等。因此，该分析工具在很大程度上依赖于基于表征学习的深度神经网络。

在 ¹⁴⁴，Schorr 等人开发了一个工具箱，包含各种最先进的 CNN 可视化算法，用于图像分类和语义分割，包括 Grad-CAM 及其扩展、显著性图 ¹⁴⁵ 和引导反向传播 ¹⁴⁶。Wang 等人 ¹⁴⁷ 提出了一个框架，通过结合宏观层面的时空信息和微观层面的 CNN 特征来解释 3D 对象检测失败。对于微观层面的特征提取，使用了热图算法 Grad-CAM 和前述的 Vatld 框架。Haedecke 等人 ¹⁴⁸ 引入了分析工具箱 ScrutinAI，用于语义分割和对象检测任务，提供了若干可视化工具。特别是，ScrutinAI 可以区分输入中的元数据（例如，用于行人检测的图像中不同可观测体部位），以明确识别与对象语义概念相关的模型弱点。

2) 辅助解释 – 规划与预测:

大多数生成辅助解释的方法依赖注意力机制，以获得对算法如何得到输出的洞察。这里的反复出现的设计模式是，首先提出一个循环神经网络（RNN），随后在其上附加一个辅助注意力机制。或者，取而代之地提出变压器架构，在这种情况下，注意力机制从一开始就内置于神经网络中。随后通过观察模型对输入或某些可解释的输入嵌入分配的注意力分数来进行可解释性分析。最后，注意力分数有时会通过热图或柱状图可视化。

例如，Jiang 等人 ¹⁴⁹ 提出了基于 Transformer 的车辆间轨迹交互分析方法。他们的评估表明，该模型比类似方法显著更快，并且在与基线模型比较时表现具有竞争力，并且具有一定的可解释性分析优势。此外，Kochakarn 等人 ¹⁵⁰ 设计了一种具有时空注意力的道路场景理解算法。该算法使用自监督的场景图学习方法，基于图对比学习生成时空嵌入，然后将其用于司机行为预测这一下游任务。在图嵌入的最终阶段，注意力层用于突出场景图序列中最重要的时空因素，以实现事后可解释性。Yu 等人 ¹⁵¹ 也使用注意力机制结合场景图嵌入和图像数据来预测二分类风险。然而，没有给出定量评估，仅提供了一个定性上有趣的例子，说明注意力机制对安全预测可解释性的影响。最后，可解释轨迹预测也在类似的神经注意力方法上受到了一定关注 ¹⁵², ¹⁵³.

然而，由于基于注意力的解释不可靠，值得关注那些不依赖注意力权重的方法。Liu 等人 ¹⁵⁴ 使用事后热图在地图上推断不同的潜在目标，然后引导基于神经网络的规划器捕捉规划不确定性。此外，Wang 等人 ¹⁵⁵ 将双向长短期记忆网络与条件随机场（CRF）预测器相结合，为 LC 场景中的可解释手工特征提供得分。他们的模型还强制执行系统必须满足的可解释硬规则和软规则。然而，他们的评估有限，并未给出 CRF 如何提升整个系统可解释性的定性讨论。

3) 辅助解释 – 端到端:

Kim 等人 ¹⁵⁶ 提出了为端到端驾驶任务生成文本解释的方法。他们引入了一个名为 BDD-X（Berkeley DeepDrive eXplanation）的数据集，该数据集对驾驶视频进行了驾驶描述和动作解释的注释。除了端到端控制系统之外，还训练了第二个基于注意力的模型来预测从视频序列生成的文本解释。两种模型的注意力图被对齐，以在控制器与解释之间创建依赖关系。在此基础上，Kühn 等人 ¹⁵⁷ 在新的数据集 SAX ¹⁵⁸ 上评估了所开发的基线，并提出了一些改进。该方法将视频帧作为输入，使用不透明神经网络生成自然语言动作描述和解释。在此架构基础上，Mori 等人 ¹⁵⁹ 在控制中加入了油门以及转向，并为自动驾驶决策的视觉解释开发了注意力图。Xu 等人 ¹⁶⁰ 引入了数据集 BDD-OIA（object-induced actions），该数据集从 BDD-X 中提取了复杂情境，并对其进行新的解释，重点关注影响决策的对象。此外，他们提出了一种 DNN 架构，能够同时学习动作预测和文本生成。Dong 等人 ¹⁶¹ 通过引入 transformer 架构来扩展端到端网络。这样，决策和原因生成器可以包括特征提取器和 transformer 架构的注意力区域。针对决策和原因生成任务，Zhang 等人 ¹⁶² 在网络中引入了一个额外的互相关联模块，以表达自车与其他交通相关对象之间的相互关系。该模块随后与端到端网络的全局特征结合，以提供更可靠的动作和解释。

Feng 等人 ¹⁶³ 提议通过在 BDD-OIA 数据集上增加额外注释，基于语义分割扩展对驾驶行为的文本推理，并包括周围环境的说明，尽管他们并未定性展示新注释带来的益处。在 ¹⁶⁴，Zhang 等人通过提供解释和相应的目标分割，将 BDD 数据集扩展为 BDD-3AA。对图像中目标的重要性值评分提供了解释。人工评估表明，目标级解释比像素级解释更具说服力，而额外的文本解释提升了用户和制造商的信任。然而，决策与解释不一定相关，且解释需要验证其可靠性。

Wang 等人 ¹⁶⁵ 提出了在端到端（E2E）设计中使用中间输出以提高互操作性。除了输出规划轨迹外，他们还提供来自中间感知部分的未来语义地图（Bird's Eye View，BEV）。Chen 等人 ¹⁶⁶ 提出了一种类似方法，提供了包含地图、自我状态、周围目标和路径的语义 BEV 掩模。Yang 等人 ¹⁶⁷ 提出了两种框架，用以生成 E2E 控制器的注意力图，从而更好地理解场景。第一个框架是模型特定的，从卷积层生成特征图。相反，第二个模型无关的方法将控制器输出在原始输入图像与遮挡图像之间进行比较。通过检查输出变化，生成了像素级热图。

Cultrera 等人 ¹⁶⁸ 在基于 DNN 的 E2E 控制器中提出了注意力块，用于生成注意力图。Aksoy 和 Yazici ¹⁶⁹ 开发了一个 E2E 控制器，明确提供了显著性图预测作为中间输出，并作为动作预测的输入。Chitta 等人 ¹⁷⁰ 提出了一个 E2E 系统，该系统输出轨迹和 BEV 语义预测。此外，DNN 的注意力图被计算以提高可解释性。同样，Sadat 等人 ¹⁷¹ 引入了一个 E2E 动作规划器，提供了语义占用预测作为可解释的中间表示，来源于感知和预测任务。中间输出包含语义占用图，包括不同代理的运动预测。此外，动作规划器的代价函数将占用预测作为额外输入，以提升生成轨迹的安全性。

Wei 等人 ¹⁷² 训练了一个直接为自身车辆规划未来轨迹的 E2E 方法。他们的方法在 CNN 主干上包含一个注意力掩码，声称通过允许检查 LiDAR 输入数据可以提升系统的安全性和可解释性。然而，他们的评估并未分析该系统的优势。Tashiro 等人 ¹⁷³ 也为 E2E 控制器生成了热图作为中间输出。为生成热图，他们对网络激活进行了量化，以对特定位元给予有限关注，并显示相较于其他注意力图生成方法有更佳表现。此外，视觉中间输出带来了与模块化 AD 架构相似的透明度。这也可能更准确地识别复杂 E2E 系统中的错误。然而，中间输出的可靠性并未得到保证，且中间解释不一定有助于理解 E2E 系统的行为。

Teng 等人 ¹⁷⁴ 利用了鸟瞰图 (BEV) 掩码，提供了场景语义信息。他们认为 BEV 掩码能够展示自动驾驶车辆如何理解场景，从而促进互操作性。

4) 辅助说明 – 摘要:

在感知领域，一种突出的做法是生成热图，这些热图直观地解释了黑盒算法关注的输入区域。热图可用于局部事后解释。然而，热图可能脆弱且不可靠。此外，评估所提供解释的正确性也很困难 ¹⁷⁵。生成辅助解释的规划和预测算法都依赖于注意力机制，或是作为变压器架构的一部分，或与循环神经网络（RNN）结合使用。然后对注意力权重进行手动解释，从而洞察算法如何将输入转换为决策。

基于注意力的方法的优点在于其结果可通过分析注意力权重进行解释，但所提出的系统高度依赖特定模型，并需要对底层神经网络架构有详细了解。此外，注意力权重被广泛认为不一致且难以作为解释 ¹⁷⁶、¹⁷⁷。这里的主要问题是，注意力权重可能提供一个“合理”——即直观上正确——的决策算法解释，尽管它并非“忠实”，即事实正确。这样可能错误地调节人们对系统的信任，导致过度或不足的依赖。

对于端到端学习，有多种方式提供辅助解释。与感知类似，可以提供热图，突出显示算法在输入中执行动作的重要区域。这些视觉解释可以通过文本解释进行扩展，文本解释基于输入生成所选动作的原因。最后，还可以提供中间输出，显示端到端网络内部的感知或预测部分。这可以更好地洞察端到端网络的内部工作原理，但中间输出无法直接解释网络的决策。

E. 可解释的安全验证

定义 5（可解释的安全验证）:

我们说，算法提供可解释的安全验证，如果它使用可解释的算法来生成其他交通参与者的对抗行为以验证自动驾驶汽车。

1) 可解释安全验证 – 摘要:

这些可解释方法通过生成失败案例或提取事故场景来支持安全保证，从而实现事后可解释性。安全验证与标准的感知、规划和其他运行时功能不同，因为它在验证与验证阶段（离线）执行。对于强化学习，可以将时序逻辑插入策略中以确保安全行为。对于预测和感知中的关键场景，可以进一步分析热图，以提取并解释对应场景中的关键因素。

Corso 和 Kochenderfer ¹⁷⁸ 采用信号时序逻辑 (STL) 来生成自动驾驶汽车的高概率失败案例，而他们认为 STL 易于理解，因为其逻辑描述了时间变量之间的关系。DeCastro 等人 ¹⁷⁹ 利用参数化 STL (pSTL) 构建了一个可解释的视图，用以建模策略参数与部署该策略时出现的行为之间的关系，且行为结果由 pSTL 公式表达。由于 pSTL 提供了一种构造描述信号空间和时间属性关系的公式的方法，可通过配置参数获得形式可指定的结果，从而主动生成各种期望行为，用于测试自动驾驶汽车。

Kang 等人 ¹⁸⁰ 提出了一个视觉 Transformer，用于预测碰撞并辅以注意力图。随后，对注意力图的时间序列进一步进行分析，以识别时空特征，并基于情境解释，提取安全评估所需的事故场景。提取基于 PEGASUS 项目 ¹⁸¹ 所定义的功能场景，包含 6 层信息：道路层级、交通基础设施、事件、对象、环境和数字信息。

在 ¹⁸²，Li 等人为危险车辆以及交通灯的感知与预测引入了风险评估阶段。通过计算 RISE 算法的显著性图 ¹⁸³，为分类提供了可视化解释，这支持了风险评估阶段的安全保障。Shao 等人 ¹⁸⁴ 还输出中间可解释特征以进行语义解释，旨在提升下游控制器的安全性。

第 V 节：自动驾驶的可解释性框架

我们现在提供了现有自动驾驶 XAI 框架的概览并分析其局限性。作为系统评述的一部分，我们识别了三个相关的 XAI 框架，这些框架展示了高级自动驾驶模块并描述了多种整合方式。随后，我们提出了基于第四节总结的具体 XAI 方法的自动驾驶 XAI 框架——SafeX：一个安全且可解释的自动驾驶框架。

A. 现有 XAI 框架

Omeiza 等人 ¹⁸⁵ 将解释器定义为自动驾驶车辆与用户之间的桥梁，使得基于 AD 模块信息的解释可以回答用户查询，如图 7 所示。其框架并未聚焦于某一特定自动驾驶功能，而是保持在高层次，说明 XAI 在自动驾驶中的通用角色。Atakishiyev 等人 ¹⁸⁶ 为端到端自主控制系统引入了类似的概念框架，包含实现安全监管合规的 XAI 组件。在该框架中，XAI 组件旨在为给定环境中每一次驾驶行为提供解释。监管合规性通过基于这些解释的仿真和实地测试得到确认。

图 7。对 [17] 中框架的再现，框架包含三个主要组成部分：用户界面、解释器和自动驾驶模块。解释器充当用户与自动驾驶模块之间的中间件，并与之交互。

Brajovic 等人定义的框架 ¹⁸⁷ 包含了整个 AI 开发周期的四个步骤。这些步骤分别是用例定义、数据收集、模型开发和模型运行。用例描述了 AI 旨在解决的任务，而数据则决定了 AI 是否存在偏见和鲁棒性。所开发的模型旨在达到适当的准确率、鲁棒性、可解释性以及其他可取的要求。最后，模型运行应配备与 AI 性质及其相关风险相称的监控系统。虽然该框架提供了有用的指导，但其在自动驾驶车辆（AVs）中的应用尚未讨论，且未考虑用户查询。

B. 概念框架：SafeX

我们提出了一个新颖的概念框架，用于安全且可解释的 AD，见图 8，我们称之为 SafeX。与先前工作中提出的框架不同，我们展示了对 AD 更细粒度的 XAI 应用，聚焦于将具体调查方法整合到完整的 AD 堆栈中，从而同时实现安全监控和可理解的解释交付。

Fig. 8. SafeX：我们的框架为 AD 提供安全且可解释的 AI，能够以可操作的方式将具体的 XAI 技术与 AD 集成。(a) 可解释监控使用 AD 模块的信息，为用户查询生成可理解的解释，以实现可信度，同时通过为每个模块提供安全反馈来监控其输出，确保安全；(b) SafeX 中的每个单元可能包含可解释的替代监控器和模型，而辅助解释可应用于每个 AD 模块中的黑盒。或者，AD 模块中的功能被设计为本质上可解释的。

SafeX 的整体结构如图 8a 所示。我们将可解释监控系统（EMS）定义为用户与自动驾驶汽车（AV）之间的桥梁。一方面，EMS 根据用户的查询，从 AV 中提取必要信息，生成可理解的解释；另一方面，它为每个 AD 模块提供监视器，以传递关于该模块输出的安全反馈。EMS 的这两项功能不仅旨在提高用户对 AV 的理解和信任，也为用户提供更安全的 AV。为了实现 EMS 的这两项角色，每个 AD 模块都必须经过仔细设计。图 8b 使用我们调查中识别的四个 XAI 类别，为每个 AD 模块向上游 EMS 提供解释性和监控信息。对于 AD 模块中的黑箱，可应用可解释的监视器、可解释的代理模型和辅助解释。此外，如果可解释函数满足性能要求，模块中的功能也可以本质上是可解释的，从而提供可追溯的解释信息。它们也可能在监控系统报告黑箱系统的不可预见且无法验证的行为时，作为后备方案。

与现有框架不同，SafeX 基于具体的最先进方法，并根据第 IV 节中识别的模块化组件设计 SafeX。我们展示了 SafeX 的两种实现方案。

Variant 1: Figure 8a中的三大单元均为基于深度学习的黑盒模块。对于基于摄像头的感知，可以生成热图作为辅助解释 ¹⁸⁸，突出显示与黑盒模型预测相关的摄像头图像像素。此外，可以使用随机森林根据环境的元信息来识别感知错误 ¹⁸⁹。结合相应的 Shapley 值，可以应用可解释的代理模型。另外，基于行人检测的概念瓶颈模型可用于 EMS，如 ¹⁹⁰ 所提出的。感知监视器可以验证目标检测器对安全相关目标类别行人的预测。关于基于深度学习的运动规划算法，它们以目标检测器提供的环境表征为输入，并输出 AV 的规划轨迹。与感知单元类似，可生成突出显示地图上不同潜在目标的热图 ¹⁹¹ 作为辅助解释。作为代理模型，可利用 Gyevnar 等人提出的基于规划与预测模型 ¹⁹² 的认知模型 ¹⁹³，为决策提供因果解释。对于 EMS，可训练一个本质可解释的决策树，以验证黑盒运动规划器的决策，如 ¹⁹⁴ 所提议的。最后，可应用基于 DNN 的控制器，可与交叉可比聚类相结合，作为代理来辅助解释控制信号。

Variant 2: AD模块本质上是可解释的。 感知模块可以训练为概念瓶颈模型 ¹⁹⁵。 在分割环境中提取语义概念可使算法更可解释且更可靠。 对于后续的规划单元，可以应用基于高层驾驶动作的蒙特卡洛树搜索 ¹⁹⁶。 产生的搜索树有助于解释规划器的决策。 最后，具有可解释投影机制的基于神经网络的控制器 ¹⁹⁷ 可用作框架中的可解释控制单元。

由此产生的模块化设计使得未来的研究和开发能够专注于深入研究并独立改进特定组件。通过叠加多种 XAI 方法，我们可以使开发者根据特定利益相关者和监管要求以及所需的安全程度，将合适的方法与他们的 AD 堆栈集成。此外，所提出的 EMS 可以同时实现对 AV 的安全监控和对用户查询的可解释说明的交付。

第六节：讨论

我们基于系统文献综述，旨在回答两个研究问题。在对检索到的文献进行仔细审查RQ1时，我们发现最前沿的文献正试图通过聚焦五个核心 XAI 设计范式——可解释设计、可解释代理模型、可解释监控、辅助解释和可解释验证——来解决 AD 中安全可信 AI 的挑战。

值得注意的是，在感知、规划与预测以及控制这三类驾驶任务的发表论文数量中，存在显著的不平衡。控制任务在所有五种 XAI 设计范式中始终被忽视得比感知和规划更多，尽管针对基于神经网络的安全 RL 控制方法的研究十分深入 ¹⁹⁸。此外，基于 LiDAR 的感知和各种融合方法在 XAI 领域仍然高度未被探索，远不及基于摄像头的检测器。这值得注意的是，尽管大多数最前沿的感知架构都集成了 LiDAR 传感器，以提供准确的深度信息 ¹⁹⁹，但 E2E 方法仍受到该领域的显著关注，然而大多数针对这些系统的方法仅限于辅助解释。

然而，这里存在一个重要挑战。已多次证明，基于Shapley值、注意力图或显著性图的后验辅助解释方法既不一致也不一定正确（参见一些例子 ²⁰⁰, ²⁰¹, ²⁰²）。虽然这些方法无疑有助于构建解释，但如果要在监管和司法等场景中维护可信且安全的AI要求，它们仍然不足够。 这一挑战进一步因辅助方法的评估往往粗略，量化指标难以解释且完全缺乏定性洞察而加剧。提高AD安全性的一个方法是将多种XAI技术整合到一个“Swiss cheese”模型框架中，确保在AD堆栈中故障不会被忽视。

这正是我们分析RQ2具有重要意义的原因，也是为何我们提出名为SafeX的新框架来将具体的XAI方法与AD集成。我们发现现有关于框架或管道的研究数量有限，这些研究仅对在AD堆栈较低层级整合XAI的方式提供了非常高层次的概览。鉴于这些局限以及对AD堆栈安全可信AI的迫切需求，我们的框架SafeX以模块化方式将已识别的XAI技术与每个AD模块集成。SafeX中的模块化方法使得多来源解释的组合成为可能，从而可能降低使用AI进行AD的风险。人们还可以组合多种预测模态，配合我们提出的可解释监控系统使用，既能充当用户与AD系统之间的桥梁，也能作为全面安全保证的工具。 因此，EMS被设计为在通过运行时监控确保每个AD模块的安全的同时，将解释交付给用户。

我们还观察到，可解释安全验证（interpretable safety validation），是五大XAI设计范式之一，在该领域受到的关注较少。这点相关，因为自动驾驶车辆的安全测试是当前自动驾驶（AD）领域最重要且最难的挑战之一，原因是驾驶场景的重尾分布 ²⁰³。正如我们在第四节E中所见，缓解这一问题的一种方式是从真实驾驶数据中提取多样化场景，这一过程通过可解释性分析来发现场景中环境的相关因素实现。通过可解释性，我们还能理解场景中的因果因素，从而操纵它们并提取新的场景。

在我们的研究中，我们将关注点聚焦在感知、规划与预测以及控制上，而未考虑关于数据多样性、伦理或AI模型监督的研究。这是因为如果我们旨在以一种同样能转化为更可部署、更可靠的自动驾驶车辆的方式来满足安全可信AI的要求，前面提到的三项更具迫切性。虽然后面提到的三项无疑重要，但它们的解决方案可能在推动现实世界自动驾驶车辆落地方面的进展不如前者。

此外，针对与用户互动并提供可理解解释的自然语言理解与生成并未被考虑，尽管我们的综述发现了一些方法 ²⁰⁴、²⁰⁵、²⁰⁶，它们直接将人机交互视为解释过程的重要组成部分。 这表明研究关注终端用户需求与关注驾驶堆栈可解释性之间存在脱节。 这种缺口的问题在于，解释应根据用户需求变化而调整，解释设计若不考虑这种依赖，可能导致用户产生不信任或困惑。 这需要对以人类为实际利益相关者的可解释性评估方法进行研究，例如，正如Vilone和Longo所总结的 ²⁰⁷。

此外，我们对 XAI 的关注仅仅是实现 AI 安全与可信度的一种局部手段。正如第二节 A 所讨论的，可信度、安全性与透明度是需要跨学科协作的总体概念。诸如不确定性量化、严格测试、全面文档、标准化等其他措施也同样必要。然而，我们也看到 XAI 是一个多元且流行的领域，它满足了可信且安全 AI 的若干关键需求。

最后值得指出的是，在我们的综述中生成式方法并未显著出现，尽管我们的系统检索并未排除这些论文。一方面，这并不令人惊讶，因为生成式方法进一步加剧了黑盒决策算法的问题，使得现有的 XAI 算法无法应用于它们。另一方面，生成式方法，尤其是将感知、控制和语言相结合的多模态方法（例如 ²⁰⁸），有潜力自我解释其决策。此外，关键场景的长尾分布问题也可能通过生成式方法得到缓解，尽管其在此方面的有效性尚待验证。至少，生成式建模是一个需要进一步研究的领域，并可能成为未来研究的有前景方向。

综上所述，我们识别了以下针对 AD（自动驾驶）XAI 领域的挑战和建议：

• 可解释感知架构: 调查针对除基于相机感知之外的其他传感器（如 LiDAR 和 Radar）的更具可解释性的方案；探索针对各种融合架构的 XAI，尤其是将不同传感器的 XAI 方法整合的方式；

• 严谨测试辅助方法: 辅助解释方法（如 Shapley 值、显著性图和注意力图）容易被滥用、产生不准确性和误解。需要全面评估这些方法，不仅要量化评估，还要通过广泛的定性洞察，特别关注方法的失败案例；

• Modular and layered monitoring: 为了提升 AD 的安全性，单一方法不足以满足需求。我们提出的框架 SafeX 认为，应该有多层独立且互相监督的解释性功能来验证并监测底层黑盒系统及其相互作用，必要时提供应急备用方案；

• Cross-disciplinary collaboration: XAI 方法通常是孤立开发的。为了更好地理解利益相关者的需求，并将解释适配于现实世界多样化的社会技术交互，至关重要的是开发根植于实际问题、而非仅凭对安全和可信度的模糊需求感受的解释方法。

• Generative methods: 生成式方法是未来 XAI 在 AD 领域研究的有前景方向。它们有潜力自行解释其决策，并可能缓解关键场景长尾分布问题。然而，尚未验证其有效性。

第七节 结论

在本文中，我们研究了 XAI 在安全可信 AD 领域的应用。我们首先通过定义 AD 可信 AI 的需求来展开综述，指出 XAI 是解决这些需求的有前景的领域。随后，我们概述了 AI 中解释来源，并提出了 XAI 的分类学。基于以两个研究问题为基础的系统性文献综述，我们提出了 XAI 在安全可信 AD 中的五大关键应用，并给出了将这些应用整合进 AD 的合适框架。我们的主要发现是：

• 实际针对 AD 的 XAI 研究可归纳为五类：可解释设计、可解释代理模型、可解释监测、辅助解释和可解释验证；

• 缺乏针对安全需求且根植于具体研究的详细通用 XAI for AD 框架。我们提出通过新的框架 SafeX 来填补这一空白，该框架可整合所有针对 AD 设计的 XAI 方法；

• XAI 在 AD 中作为一个新兴主题，随着每年发表的文献，正获得越来越多的关注。我们预计，随着 AI 的发展，相关研究数量将进一步增加。

展望未来，我们可以预期在人工智能发展方面将面临日益加剧的法律与社会压力。应对这一挑战需要多学科共同发起的举措以及各方利益相关者的参与。在此，我们预期可解释人工智能（XAI）将充当弥合跨学科差距的桥梁。新兴领域也将继续对该领域产生影响。随着基于大语言模型（LLM）系统的出现，随着模型持续提升且每天都发现新颖行为，XAI 的需求将比以往更为迫切。其他领域对此的呼吁已经出现（例如机制可解释性 ²⁰⁹），然而，在人工智能中使用 LLM 进一步加剧了黑箱问题。此外，LLM 本身有朝一日可能成为解释者，但只有通过各方利益相关者和学科的参与，这才有可能成为安全可信人工智能的现实。

脚注

1. 与我们关于解释来源的定义相反

Section II-C , Du et al. ²¹⁰ 将可解释机器学习划分为内在解释性和事后解释性。我们的收集出版物包括这两种方法。

参考文献

[1] A. Mathew, P. Amudha, and S. Sivakumari, “深度学习技术：概览,” in Advanced Machine Learning Technologies and Applications. Springer, 2021, pp. 599–608. DOI: https://doi.org/10.1007/978-981-15-3383-9_54 Google Scholar

[2] A. A. Jammal, “人类与机器：比较深度学习算法与人类评分在视网膜照片检测青光眼方面的表现,” Amer. J. Ophthalmol., vol. 211, pp. 123–131, Mar. 2020. DOI: https://doi.org/10.1016/j.ajo.2019.11.006 Google Scholar

[3] O. Willers, S. Sudholt, S. Raafatnia, and S. Abrecht, “关于在安全关键感知任务中使用深度学习的安全顾虑及缓解方法,” in Proc. Int. Conf. Comput. Saf., Rel., Secur., 2020, pp. 336–350. DOI: https://doi.org/10.1007/978-3-030-55583-2_25 Google Scholar

[4] ISO. ( 2018 ). ISO 26262-1:2018(en), 道路车辆—功能安全. [Online]. Available: https://www.iso.org/standard/43464.html Google Scholar

[5] R. Salay and K. Czarnecki, “在汽车软件中安全使用机器学习：对 ISO 26262 中软件过程要求的评估和适配,” 2018, arXiv:1808.01614. Google Scholar

[6] ISO. ( 2022 ). ISO 21448:2022: 道路车辆—预期功能安全. [Online]. Available: https://www.iso.org/standard/77490.html Google Scholar

[7] S. Burton, C. Hellert, F. Hüger, M. Mock, and A. Rohatschek, “感知功能的机器学习安全保障,” in Deep Neural Networks and Data for Automated Driving: Robustness, Uncertainty Quantification, and Insights Towards Safety. Cham, Switzerlad : Springer, 2022, pp. 335–358. DOI: https://doi.org/10.1007/978-3-031-01233-4_12 Google Scholar

[8] D. Gesmann-Nuissl and I. Tacke, “汽车行业基于 AI 的系统功能安全,” in Proc. 14th Workshop Fahrerassistenz Automatisiertes Fahren, 2022, pp. 85–98. Google Scholar

[9] ISO. ( 2023 ). ISO/CD PAS 8800：道路车辆—安全与人工智能。 [Online]. Available: https://www.iso.org/standard/83303.html Google Scholar

[10] B. Moye. ( 2023 ). AAA：自驾车恐惧上升。 [Online]. Available: https://newsroom.aaa.com/2023/03/aaa-fear-of-self-driving-cars-on-the-rise/ Google Scholar

[11] S. Reig, S. Norman, C. G. Morales, S. Das, A. Steinfeld, and J. Forlizzi, “行人和自动驾驶车辆的现场研究,” in Proc. 10th Int. Conf. Automot. User Interface Interact. Veh. Appl., Sep. 2018, pp. 198–209. DOI: https://doi.org/10.1145/3239060.3239064 Google Scholar

[12] M. Langer, “我们想从可解释人工智能（XAI）中获得什么？——从利益相关者视角看XAI及指导跨学科XAI研究的概念模型,” Artif. Intell., vol. 296, Jul. 2021, Art. no. 103473. DOI: https://doi.org/10.1016/j.artint.2021.103473 Google Scholar

[13] R. Dwivedi, “可解释人工智能（XAI）：核心思想、技术与解决方案,” ACM Comput. Surveys, vol. 55, no. 9, pp. 1–33, Sep. 2023. DOI: https://doi.org/10.1145/3561048 Google Scholar

[14] K. Weitz, D. Schiller, R. Schlagowski, T. Huber, and E. André, “‘你信任我吗？’：通过将虚拟代理集成到可解释人工智能交互设计中提升用户信任,” in Proc. 19th ACM Int. Conf. Intell. Virtual Agents, Jul. 2019, pp. 7–9. DOI: https://doi.org/10.1145/3308532.3329441 Google Scholar

[15] A. Deeks, “司法对可解释人工智能的需求,” Columbia Law Rev., vol. 117, no. 7, pp. 1829–1850, Nov. 2019. Google Scholar

[16] K. Muhammad, A. Ullah, J. Lloret, J. Del Ser, and V. H. C. de Albuquerque, “深度学习在安全自动驾驶中的应用：当前挑战与未来方向,” IEEE Trans. Intell. Transp. Syst., vol. 22, no. 7, pp. 4316–4336, Jul. 2021. IEEE: https://ieeexplore.ieee.org/document/9284628 Google Scholar

[17] D. Omeiza, H. Webb, M. Jirotka, and L. Kunze, “自动驾驶中的解释：综述,” IEEE Trans. Intell. Transp. Syst., vol. 23, no. 8, pp. 10142–10162, Aug. 2022. IEEE: https://ieeexplore.ieee.org/document/9616449 Google Scholar

[18] S. Atakishiyev, M. Salameh, H. Yao, and R. Goebel, “自动驾驶的可解释人工智能：全面概述及未来研究方向的实用指南,” 2021, arXiv:2112.11561. Google Scholar

[19] É. Zablocki, H. Ben-Younes, P. Pérez, and M. Cord, “基于深度视觉的自动驾驶系统的可解释性：综述与挑战,” Int. J. Comput. Vis., vol. 130, pp. 2425–2452, Aug. 2022. DOI: https://doi.org/10.1007/s11263-022-01657-x Google Scholar

[20] B. G. Buchanan and R. G. Smith, “专家系统基础,” in Annual Review of Computer Science, vol. 3. San Mateo, CA, USA : Annual Reviews Inc., Sep. 1988, pp. 23–58. DOI: https://doi.org/10.1146/annurev.cs.03.060188.000323 Google Scholar

[21] C. Rudin, “停止解释黑盒机器学习模型用于高风险决策，而使用可解释模型,” Nature Mach. Intell., vol. 1, no. 5, pp. 206–215, May 2019. DOI: https://doi.org/10.1038/s42256-019-0048-x Google Scholar

[22] D. Kaur, S. Uslu, K. J. Rittichier, and A. Durresi, “可信人工智能：综述,” ACM Comput. Surv., vol. 55, no. 2, pp. 39:1–39:38, Jan. 2022. DOI: https://doi.org/10.1145/3491209 Google Scholar

[23] N. Burkart and M. F. Huber, “关于监督式机器学习可解释性的综述,” J. Artif. Intell. Res., vol. 70, pp. 245–317, Mar. 2021. DOI: https://doi.org/10.1613/jair.1.12228 Google Scholar

[24] B. Gyevnar, N. Ferguson, and B. Schafer, “弥合透明度差距：可解释 AI 能从 AI 法案学到什么？,” in Proc. 26th Eur. Conf. Artif. Intell. (ECAI), Oct. 2023, pp. 1–12. DOI: https://doi.org/10.3233/faia230367 Google Scholar

[25] D. Feng, A. Harakeh, S. L. Waslander, and K. Dietmayer, “关于概率目标检测在自动驾驶中的综述与比较研究,” IEEE Trans. Intell. Transp. Syst., vol. 23, no. 8, pp. 9961–9980, Aug. 2021. IEEE: https://ieeexplore.ieee.org/document/9525313 Google Scholar

[26] Eur. Comission. ( 2019 ). 可信 AI 的伦理准则. [Online]. Available: https://digital-strategy.ec.europa.eu/en/library/ethics-guidelines-trustworthy-ai Google Scholar

[27] NIST AI. ( 2023 ). 人工智能风险管理框架 (AI RMF 1.0). [Online]. Available: https://airc.nist.gov/AI_RMF_Knowledge_Base/Playbook Google Scholar

[28] L. Alzubaidi, “迈向无风险可信人工智能：意义与需求,” Int. J. Intell. Syst., vol. 2023, pp. 1–41, Oct. 2023. DOI: https://doi.org/10.1155/2023/4459198 Google Scholar

[29] J. Andraško, O. Hamulák, M. Mesarč ík, T. Kerikmäe, and A. Kajander, “欧盟协同、互联和自动化移动的可持续数据治理,” Sustainability, vol. 13, no. 19, p. 10610, Sep. 2021. DOI: https://doi.org/10.3390/su131910610 Google Scholar

[30] Eur. Parliament. ( 2016 ). 欧盟议会与理事会2016年4月27日关于个人数据处理与自由流动的条例（通用数据保护条例）. [Online]. Available: https://data.europa.eu/eli/reg/2016/679/oj Google Scholar

[31] X. Li, Z. Chen, J. M. Zhang, F. Sarro, Y. Zhang, and X. Liu, “车轮背后的偏见：自动驾驶系统的公平性分析,” 2023, arXiv:2308.02935. Google Scholar

[32] K. Eykholt, “针对深度学习视觉分类的鲁棒物理世界攻击,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., Jun. 2018, pp. 1625–1634. IEEE: https://ieeexplore.ieee.org/document/8578273 Google Scholar

[33] X. Yuan, P. He, Q. Zhu, and X. Li, “对抗样本：深度学习的攻击与防御,” IEEE Trans. Neural Netw. Learn. Syst., vol. 30, no. 9, pp. 2805–2824, Sep. 2019. IEEE: https://ieeexplore.ieee.org/document/8611298 Google Scholar

[34] 面向道路机动车辆的驾驶自动化系统相关术语的分类与定义, Standard SAE J3016, Apr. 2021, doi: 10.4271/J3016_202104. Google Scholar

[35] A. M. Nascimento, “关于人工智能对自动驾驶安全影响的系统文献综述,” IEEE Trans. Intell. Transp. Syst., vol. 21, no. 12, pp. 4928–4946, Dec. 2020. IEEE: https://ieeexplore.ieee.org/document/8892611 Google Scholar

[36] Q. A. D. S. Ribeiro, M. Ribeiro, and J. Castro, “针对自动驾驶车辆的需求工程：系统文献综述,” in Proc. 37th ACM/SIGAPP Symp. Appl. Comput., Apr. 2022, pp. 1299–1308. DOI: https://doi.org/10.1145/3477314.3507004 Google Scholar

[37] R. Sheh, “安全、智能机器人可解释人工智能的需求,” in Proc. IEEE Int. Conf. Intell. Saf. Robot. (ISR), Mar. 2021, pp. 382–387. IEEE: https://ieeexplore.ieee.org/document/9419498 Google Scholar

[38] P. P. Angelov, E. A. Soares, R. Jiang, N. I. Arnold, and P. M. Atkinson, “可解释人工智能：一项分析性综述,” Wiley Interdiscipl. Rev., Data Mining Knowl. Discovery, vol. 11, no. 5, p. e1424, 2021. DOI: https://doi.org/10.1002/widm.1424 Google Scholar

[39] T. Miller, “人工智能中的解释：来自社会科学的见解,” Artif. Intell., vol. 267, pp. 1–38, Feb. 2019. DOI: https://doi.org/10.1016/j.artint.2018.07.007 Google Scholar

[40] C. Molnar. ( 2023 ). 可解释的机器学习. [Online]. Available: https://christophm.github.io/interpretable-ml-book/ Google Scholar

[41] G. Schwalbe and B. Finzel, “可解释人工智能的综合分类学：关于方法与概念的系统综述,” Data Mining Knowl. Discovery, vol. 38, no. 5, pp. 3043–3101, Sep. 2024. DOI: https://doi.org/10.1007/s10618-022-00867-8 Google Scholar

[42] T. Speith, “可解释人工智能（XAI）方法分类综述,” in Proc. ACM Conf. Fairness, Accountability, Transparency, Jun. 2022, pp. 2239–2250. DOI: https://doi.org/10.1145/3531146.3534639 Google Scholar

[43] S. Jain and B. C. Wallace, “注意力并非解释,” 2019, arXiv:1902.10186. Google Scholar

[44] I. E. Kumar, S. Venkatasubramanian, C. Scheidegger, and S. Friedler, “基于Shapley值的解释作为特征重要性度量存在的问题,” in Proc. 37th Int. Conf. Mach. Learn., Nov. 2020, pp. 5491–5500. Google Scholar

[45] S. Pendleton, “自动驾驶车辆的感知、规划、控制与协调,” Machines, vol. 5, no. 1, p. 6, Feb. 2017. DOI: https://doi.org/10.3390/machines5010006 Google Scholar

[46] J. Van Brummelen, M. O’Brien, D. Gruyer, and H. Najjaran, “自动驾驶车辆感知：今日与明日技术,” Transp. Res. C, Emerg. Technol., vol. 89, pp. 384–406, Apr. 2018. DOI: https://doi.org/10.1016/j.trc.2018.02.012 Google Scholar

[47] C. E. Tuncali, G. Fainekos, D. Prokhorov, H. Ito, and J. Kapinski, “面向含机器学习组件的自动驾驶车辆的需求驱动测试生成,” IEEE Trans. Intell. Vehicles, vol. 5, no. 2, pp. 265–280, Jun. 2020. IEEE: https://ieeexplore.ieee.org/document/8911483 Google Scholar

[48] B. Paden, M. Čáp, S. Z. Yong, D. Yershov, and E. Frazzoli, “自驾城市车辆运动规划与控制技术综述,” IEEE Trans. Intell. Vehicles, vol. 1, no. 1, pp. 33–55, Mar. 2016. IEEE: https://ieeexplore.ieee.org/document/7490340 Google Scholar

[49] C. Altafini, “将变化曲率路径跟随视为输出调节问题,” IEEE Trans. Autom. Control, vol. 47, no. 9, pp. 1551–1556, Sep. 2002. IEEE: https://ieeexplore.ieee.org/document/1032317 Google Scholar

[50] E. Frazzoli, M. Dahleh, and E. Feron, “使用反向步进算法的自主直升机轨迹跟踪控制设计,” in Proc. Amer. Control Conf., vol. 6, 2000, pp. 4102–4107. IEEE: https://ieeexplore.ieee.org/document/876993 Google Scholar

[51] L. Chen, P. Wu, K. Chitta, B. Jaeger, A. Geiger, and H. Li, “端到端自主驾驶：挑战与前沿,” 2023, arXiv:2306.16927. Google Scholar

[52] A. Tampuu, T. Matiisen, M. Semikin, D. Fishman, and N. Muhammad, “端到端驾驶综述：架构与训练方法,” IEEE Trans. Neural Netw. Learn. Syst., vol. 33, no. 4, pp. 1364–1384, Apr. 2022. IEEE: https://ieeexplore.ieee.org/document/9310544 Google Scholar

[53] B. Kitchenham and S. Charters, “软件工程系统文献综述的实施准则,” Dept. School of Computer Science and Mathematics, Keele Univ., Keele, U.K., EBSE Tech. Rep. EBSE-2007-01, Jul. 2007. Google Scholar

[54] I. Stepin, J. M. Alonso, A. Catala, and M. Pereira-Fariña, “可解释人工智能对比与反事实解释生成方法综述,” IEEE Access, vol. 9, pp. 11974–12001, 2021. IEEE: https://ieeexplore.ieee.org/document/9321372 Google Scholar

[55] M. Du, N. Liu, and X. Hu, “可解释机器学习的技术,” Commun. ACM, vol. 63, no. 1, pp. 68–77, 2019, doi: 10.1145/3359786. DOI: https://doi.org/10.1145/3359786 Google Scholar

[56] Z. Chaghazardi, S. Fallah, and A. Tamaddoni-Nezhad, “安全自主驾驶可解释且可信的交通标志检测：一种归纳逻辑编程方法,” Electron. Proc. Theor. Comput. Sci., vol. 385, pp. 201–212, Sep. 2023. DOI: https://doi.org/10.4204/EPTCS.385.21 Google Scholar

[57] P. Feifel, F. Bonarens, and F. Köster, “重新评估内在可解释性对深度神经网络行人检测安全性的影响,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. Workshops (CVPRW), Jun. 2021, pp. 29–37. IEEE: https://ieeexplore.ieee.org/document/9523030 Google Scholar

[58] M. Cordts, “用于语义城市场景理解的Cityscapes数据集”，发表于 Proc. IEEE Conf. Comput. Vis. Pattern Recognit. (CVPR)，Jun. 2016，pp. 3213–3223。IEEE: https://ieeexplore.ieee.org/document/7780719 Google Scholar

[59] M. Losch, M. Fritz, 和 B. Schiele, “语义瓶颈：量化并提升深度表示的可检验性”，Int. J. Comput. Vis., vol. 129, no. 11, pp. 3136–3153，Nov. 2021。DOI: https://doi.org/10.1007/s11263-021-01498-0 Google Scholar

[60] A. Plebe 和 M. D. Lio, “搭载16个神经元在路上：迈向可解释且可操作的潜在表示，用于驾驶场景中的视觉预测”，IEEE Access, vol. 8, pp. 179716–179734，2020。IEEE: https://ieeexplore.ieee.org/document/9210618 Google Scholar

[61] G. Ros, L. Sellart, J. Materzynska, D. Vazquez, 和 A. M. Lopez, “SYNTHIA数据集：一大批合成图像用于城市场景的语义分割”，发表于 Proc. IEEE Conf. Comput. Vis. Pattern Recognit. (CVPR)，Jun. 2016，pp. 3234–3243。IEEE: https://ieeexplore.ieee.org/document/7780721 Google Scholar

[62] A. Oltramari, J. Francis, C. Henson, K. Ma, 和 R. Wickramarachchi, “用于情境理解的神经符号架构”，发表于 Knowledge Graphs for EXplainable Artificial Intelligence: Foundations, Applications and Challenges。Amsterdam, The Netherlands : IOS Press, 2020，pp. 143–160。Google Scholar

[63] H. Caesar, “NuScenes：用于自动驾驶的多模态数据集”，2019，arXiv:1903.11027。Google Scholar

[64] J. Martínez-Cebrián, M.-Á. Fernández-Torres, 和 F. Díaz-De-María, “用于预测自动驾驶场景中眼动注视的可解释全局-局部动力学”，IEEE Access, vol. 8, pp. 217068–217085，2020。IEEE: https://ieeexplore.ieee.org/document/9275291 Google Scholar

[65] A. Palazzi, D. Abati, S. Calderara, F. Solera, 和 R. Cucchiara, “预测驾驶员注意力焦点：DR(eye)VE项目”，IEEE Trans. Pattern Anal. Mach. Intell., vol. 41, no. 7, pp. 1720–1733，Jul. 2019。IEEE: https://ieeexplore.ieee.org/document/8375682 Google Scholar

[66] K. Yoneda, N. Ichihara, H. Kawanishi, T. Okuno, L. Cao, and N. Suganuma, “利用视觉解释进行交通灯检测的日光眩光区域识别,” in Proc. IEEE Intell. Vehicles Symp. (IV), Jul. 2021, pp. 1464–1469. IEEE: https://ieeexplore.ieee.org/document/9575631 Google Scholar

[67] S. V. Albrecht, “用于自动驾驶的可解释目标驱动预测与规划,” in Proc. IEEE Int. Conf. Robot. Autom. (ICRA), May 2021, pp. 1043–1049. IEEE: https://ieeexplore.ieee.org/document/9560849 Google Scholar

[68] J. P. Hanna, “在遮挡因素存在下，对自动驾驶车辆的可解释目标识别,” in Proc. IEEE/RSJ Int. Conf. Intell. Robots Syst. (IROS), Sep. 2021, pp. 7044–7051. IEEE: https://ieeexplore.ieee.org/document/9635903 Google Scholar

[69] M. Antonello, M. Dobre, S. V. Albrecht, J. Redford, 和 S. Ramamoorthy, “Flash: Fast and light motion prediction for autonomous driving with Bayesian inverse planning and learned motion profiles,” 发表在 Proc. IEEE/RSJ Int. Conf. Intell. Robots Syst. (IROS)，2022 年 10 月，页 9829–9836。IEEE: https://ieeexplore.ieee.org/document/9981347 Google Scholar

[70] 下一代仿真（NGSIM）车辆轨迹与支持数据，美国运输部联邦公路管理局，华盛顿特区，美国，2017。 Google Scholar

[71] C. Brewitt, B. Gyevnar, S. Garcin, and S. V. Albrecht, “GRIT：基于学习决策树的快速、可解释且可验证的自主驾驶目标识别”， in Proc. IEEE/RSJ Int. Conf. Intell. Robots Syst. (IROS), Sep. 2021, pp. 1023–1030. IEEE: https://ieeexplore.ieee.org/document/9636279 Google Scholar

[72] C. Brewitt, M. Tamborski, C. Wang, and S. V. Albrecht, “带遮挡的自主驾驶可验证目标识别”， in Proc. IEEE/RSJ Int. Conf. Intell. Robots Syst. (IROS), Oct. 2023, pp. 11210–11217. IEEE: https://ieeexplore.ieee.org/document/10342386 Google Scholar

[73] J. Bock, R. Krajewski, T. Moers, S. Runde, L. Vater, and L. Eckstein, “inD 数据集：德国交叉路口自然驾驶路用户轨迹的无人机数据集,” in Proc. IEEE Intell. Vehicles Symp. (IV), Oct. 2020, pp. 1929–1934. IEEE: https://ieeexplore.ieee.org/document/9304839 Google Scholar

[74] R. Krajewski, T. Moers, J. Bock, L. Vater, and L. Eckstein, “圆形数据集：德国环形交叉路口道路使用者轨迹的无人机数据集,” in Proc. IEEE 23rd Int. Conf. Intell. Transp. Syst. (ITSC), Sep. 2020, pp. 1–6. IEEE: https://ieeexplore.ieee.org/document/9294728 Google Scholar

[75] A. Breuer, J.-A. Termöhlen, S. Homoceanu, and T. Fingscheidt, “OpenDD：大型环形交叉路口无人机数据集,” in Proc. IEEE 23rd Int. Conf. Intell. Transp. Syst. (ITSC), Sep. 2020, pp. 1–6. IEEE: https://ieeexplore.ieee.org/document/9294301 Google Scholar

[76] A. Ghoul, I. Yahiaoui, A. Verroust-Blondet, and F. Nashashibi, “可解释的基于目标的模型，用于交互式场景中的车辆轨迹预测,” in Proc. IEEE Intell. Vehicles Symp. (IV), vol. 30, Jun. 2023, pp. 1–6. IEEE: https://ieeexplore.ieee.org/document/10186734 Google Scholar

[77] W. Zhan, “INTERACTION dataset：一份国际、对抗与合作性 moTION 数据集，用于带语义图的交互式驾驶场景,” 2019, arXiv:1910.03088. Google Scholar

[78] B. Gyevnar, M. Tamborski, C. Wang, C. G. Lucas, S. B. Cohen, and S. V. Albrecht, “一种以人为中心的方法，用于为自动驾驶车辆运动规划生成自然语言因果解释,” in Proc. IJCAI Workshop Artif. Intell. Auton. Driving, 2022, pp. 1–10. Google Scholar

[79] D. Omeiza, S. Anjomshoae, H. Webb, M. Jirotka, and L. Kunze, “从口语想法到自动驾驶评论：预测并解释智能车辆的行为,” in Proc. IEEE Intell. Vehicles Symp. (IV), Jun. 2022, pp. 1040–1047. IEEE: https://ieeexplore.ieee.org/document/9827345 Google Scholar

[80] F. Henze, D. Faßbender, and C. Stiller, “自动驾驶车辆如何解释其驾驶决策？自动生成澄清性摘要,” in Proc. IEEE Intell. Vehicles Symp. (IV), Jun. 2022, pp. 935–942. IEEE: https://ieeexplore.ieee.org/document/9827197 Google Scholar

[81] K. Klein, O. D. Candido, and W. Utschick, “基于时间序列动机的可解释分类器，用于车道变换预测,” IEEE Trans. Intell. Vehicles, vol. 8, no. 7, pp. 3954–3961, Jul. 2023. IEEE: https://ieeexplore.ieee.org/document/10125023 Google Scholar

[82] R. Krajewski, J. Bock, L. Kloeker, and L. Eckstein, “highD 数据集：一套用于验证高度自动化驾驶系统的德国高速公路自然行驶轨迹的无人机数据集,” in Proc. 21st Int. Conf. Intell. Transp. Syst. (ITSC), Nov. 2018, pp. 2118–2125. IEEE: https://ieeexplore.ieee.org/document/8569552 Google Scholar

[83] R. Kridalukmana, H. Lu, and M. Naderpour, “协同驾驶情境下智能体的自解释能力,” IEEE Trans. Hum.-Mach. Syst., vol. 52, no. 6, pp. 1155–1165, Dec. 2022. IEEE: https://ieeexplore.ieee.org/document/9881522 Google Scholar

[84] A. Dosovitskiy, G. Ros, F. Codevilla, A. Lopez, and V. Koltun, “CARLA：一个开放的城市驾驶仿真器,” in Proc. 1st Annu. Conf. Robot Learn., 2017, pp. 1–16. Google Scholar

[85] N. Muscholl, M. Klusch, P. Gebhard, and T. Schneeberger, “EMIDAS：基于可解释社会交互的跨街行人意图检测,” in Proc. 36th Annu. ACM Symp. Appl. Comput., Mar. 2021, pp. 107–115. DOI: https://doi.org/10.1145/3412841.3441891 Google Scholar

[86] M. Neumeier, M. Botsch, A. Tollkühn, and T. Berberich, “基于变分自编码器的车辆轨迹预测与可解释潜在空间,” in Proc. IEEE Int. Intell. Transp. Syst. Conf. (ITSC), Sep. 2021, pp. 820–827. IEEE: https://ieeexplore.ieee.org/document/9565120 Google Scholar

[87] M. Wu, F. R. Yu, P. X. Liu, and Y. He, “一种融合马尔可夫逻辑网络和连接主义人工智能的混合驾驶决策系统,” IEEE Trans. Intell. Transp. Syst., vol. 24, no. 3, pp. 3514–3527, Mar. 2023. IEEE: https://ieeexplore.ieee.org/document/9990586 Google Scholar

[88] H. Zheng, Z. Zang, S. Yang, and R. Mangharam, “迈向模块化自主系统软件的可解释性,” in Proc. IEEE Intell. Vehicles Symp. (IV), vol. 32, Jun. 2023, pp. 1–8. IEEE: https://ieeexplore.ieee.org/document/10186720 Google Scholar

[89] M. E. Tipping and C. M. Bishop, “概率主成分分析,” J. Roy. Statist. Soc. B, Stat. Methodol., vol. 61, no. 3, pp. 611–622, Jan. 1999. DOI: https://doi.org/10.1111/1467-9868.00196 Google Scholar

[90] L. Van der Maaten and G. Hinton, “使用 t-SNE 可视化数据,” J. Mach. Learn. Res., vol. 9, no. 11, pp. 2579–2605, 2008. Google Scholar

[91] G. E. Hinton, A. Krizhevsky, and S. D. Wang, “变形自编码器,” in Artificial Neural Networks and Machine Learning—ICANN 2011, T. Honkela, W. Duch, M. Girolami, and S. Kaski, Eds., Berlin, Germany : Springer, 2011, pp. 44–51. DOI: https://doi.org/10.1007/978-3-642-21735-7_6 Google Scholar

[92] R. R. Selvaraju, M. Cogswell, A. Das, R. Vedantam, D. Parikh, and D. Batra, “Grad-CAM：通过基于梯度的定位从深度网络生成视觉解释,” in Proc. IEEE Int. Conf. Comput. Vis. (ICCV), Oct. 2017, pp. 618–626. IEEE: https://ieeexplore.ieee.org/document/8237336 Google Scholar

[93] T. Ponn, T. Kröger, and F. Diermeyer, “针对基于摄像头的自动驾驶车辆目标检测挑战性条件的识别与解释,” Sensors, vol. 20, no. 13, p. 3699, Jul. 2020. DOI: https://doi.org/10.3390/s20133699 Google Scholar

[94] Z. Cui, M. Li, Y. Huang, Y. Wang, and H. Chen, “基于 SHAP 与 RF 的自动驾驶车辆决策解释框架,” in Proc. 6th CAA Int. Conf. Veh. Control Intell. (CVCI), 2022, pp. 1–7. IEEE: https://ieeexplore.ieee.org/document/9964561 Google Scholar

[95] M. Li, Y. Wang, H. Sun, Z. Cui, Y. Huang, and H. Chen, “利用最大熵 Shapley 值解释机器学习车道变换模型,” IEEE Trans. Intell. Vehicles, vol. 8, no. 6, pp. 3620–3628, Apr. 2023. IEEE: https://ieeexplore.ieee.org/document/10098901 Google Scholar

[96] Y. Ma, S. Song, L. Zhang, L. Xiong, and J. Chen, “利用平均影响值法和逻辑回归模型进行车道变换分析与预测,” in Proc. IEEE Int. Intell. Transp. Syst. Conf. (ITSC), Sep. 2021, pp. 1346–1352. IEEE: https://ieeexplore.ieee.org/document/9564943 Google Scholar

[97] A. Mishra, U. Soni, J. Huang, and C. Bryan, “为什么？为什么不？什么时候？强化学习中智能体行为的视觉解释,” in Proc. IEEE 15th Pacific Visualizat. Symp. (PacificVis), Apr. 2022, pp. 111–120. IEEE: https://ieeexplore.ieee.org/document/9787897 Google Scholar

[98] B. Gyevnar, C. Wang, C. G. Lucas, S. B. Cohen, and S. V. Albrecht, “多智能体系统中序贯决策的因果解释,” in Proc. Int. Conf. Auto. Agents Multi-Agent Syst. (AAMAS), 2024, pp. 771–779. Google Scholar

[99] B. Gyevnar, “人们在解释其行为时将目的属性归于自动驾驶车辆,” 2024, arXiv:2403.08828. Google Scholar

[100] P. M. Dassanayake, A. Anjum, A. K. Bashir, J. Bacon, R. Saleem, and W. Manning, “基于深度学习的可解释控制系统用于可重构边缘设备网络,” IEEE Trans. Netw. Sci. Eng., vol. 9, no. 1, pp. 7–19, Jan./Feb. 2022. IEEE: https://ieeexplore.ieee.org/document/9442293 Google Scholar

[101] M. Zemni, M. Chen, É. Zablocki, H. Ben-Younes, P. Pérez, and M. Cord, “OCTET：面向对象的反事实解释,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2023, pp. 15062–15071. IEEE: https://ieeexplore.ieee.org/document/10205035 Google Scholar

[102] F. Yu, “BDD100K：多样化驾驶数据集用于异构多任务学习,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2020, pp. 2636–2645. IEEE: https://ieeexplore.ieee.org/document/9156329 Google Scholar

[103] Y. Xu, “可解释的基于对象的行动决策用于自动驾驶车辆,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2020, pp. 9520–9529. IEEE: https://ieeexplore.ieee.org/document/9157111 Google Scholar

[104] W. Shi, G. Huang, S. Song, Z. Wang, T. Lin, and C. Wu, “自监督发现可解释特征用于强化学习,” IEEE Trans. Pattern Anal. Mach. Intell., vol. 44, no. 5, pp. 2712–2724, May 2022. IEEE: https://ieeexplore.ieee.org/document/9259236 Google Scholar

[105] S. M. Lundberg and S. Lee, “解释模型预测的一致方法,” in Proc. 31st Int. Conf. Neural Inf. Process. Syst. (NeurIPS), 2017, pp. 4765–4774. Google Scholar

[106] D. Fryer, I. Strumke, and H. Nguyen, “特征选择的 Shapley 值：好与坏与公理,” IEEE Access, vol. 9, pp. 144352–144360, 2021. IEEE: https://ieeexplore.ieee.org/document/9565902 Google Scholar

[107] B. Bilodeau, N. Jaques, P. W. Koh, and B. Kim, “特征归因的不可能性定理,” Proc. Nat. Acad. Sci. USA, vol. 121, no. 2, Jan. 2024, Art. no. e2304406120. DOI: https://doi.org/10.1073/pnas.2304406120 Google Scholar

[108] J. Kronenberger 与 A. Haselhoff, “依赖分解与可解释模型的拒绝选项,” 2020, arXiv:2012.06523. Google Scholar

[109] S. Houben, J. Stallkamp, J. Salmen, M. Schlipsing, and C. Igel, “在真实世界图像中检测交通标志：德国交通标志检测基准,” in Proc. Int. Joint Conf. Neural Netw. (IJCNN), Aug. 2013, pp. 1–8. IEEE: https://ieeexplore.ieee.org/document/6706807 Google Scholar

[110] L. Hacker and J. Seewig, “基于不足驱动的DNN错误检测：SOTIF在交通标志识别用例中的应用,” IEEE Open J. Intell. Transp. Syst., vol. 4, pp. 58–70, 2023. IEEE: https://ieeexplore.ieee.org/document/10016638 Google Scholar

[111] M. Keser, G. Schwalbe, A. Nowzad, and A. Knoll, “使用域不变概念瓶颈模型对二维目标检测器进行可解释模型无关可信度验证,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. Workshops (CVPRW), Jun. 2023, pp. 3891–3900. IEEE: https://ieeexplore.ieee.org/document/10209016 Google Scholar

[112] T. Lin, “Microsoft COCO：语境中的常见对象,” in Proc. Eur. Conf. Comput. Vis. Cham, Switzerland : Springer, 2014, pp. 740–755. DOI: https://doi.org/10.1007/978-3-319-10602-1_48 Google Scholar

[113] D. Bau, B. Zhou, A. Khosla, A. Oliva, and A. Torralba, “网络剖析：量化深度视觉表征的可解释性,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., Jun. 2017, pp. 6541–6549. IEEE: https://ieeexplore.ieee.org/document/8099837 Google Scholar

[114] J. Fritsch, T. Kühnl, and A. Geiger, “用于道路检测算法的新性能度量与评估基准,” in Proc. 16th Int. IEEE Conf. Intell. Transp. Syst. (ITSC), Oct. 2013, pp. 1693–1700. IEEE: https://ieeexplore.ieee.org/document/6728473 Google Scholar

[115] Y. Fang, “面向自动驾驶车辆的故障诊断可解释性：传感器数据异常的解释,” IEEE Sensors J., vol. 23, no. 5, pp. 5014–5027, Mar. 2023. IEEE: https://ieeexplore.ieee.org/document/10022031 Google Scholar

[116] W. Bao, Q. Yu, and Y. Kong, “DRIVE：带视觉解释的深度强化事故预判,” in Proc. IEEE/CVF Int. Conf. Comput. Vis. (ICCV), Oct. 2021, pp. 7599–7608. IEEE: https://ieeexplore.ieee.org/document/9710981 Google Scholar

[117] J. Fang, D. Yan, J. Qiao, J. Xue, and H. Yu, “DADA: Driver attention prediction in driving accident scenarios,” IEEE Trans. Intell. Transp. Syst., vol. 23, no. 6, pp. 4959–4971, 2022年6月. IEEE: https://ieeexplore.ieee.org/document/9312486 Google Scholar

[118] G. Chen, Y. Zhang, and X. Li, “Attention-based highway safety planner for autonomous driving via deep reinforcement learning,” IEEE Trans. Veh. Technol., vol. 73, no. 1, pp. 162–175, 2024年1月. IEEE: https://ieeexplore.ieee.org/document/10214640 Google Scholar

[119] C. D. Franco and N. Bezzo, “Interpretable run-time monitoring and replanning for safe autonomous systems operations,” IEEE Robot. Autom. Lett., vol. 5, no. 2, pp. 2427–2434, 2020年4月. IEEE: https://ieeexplore.ieee.org/document/8988192 Google Scholar

[120] C. Gall and N. Bezzo, “Gaussian process-based interpretable runtime adaptation for safe autonomous systems operations in unstructured environments,” in Proc. IEEE/RSJ Int. Conf. Intell. Robots Syst. (IROS), 2021年9月, pp. 123–129. IEEE: https://ieeexplore.ieee.org/document/9636490 Google Scholar

[121] L. H. Gilpin, V. Penubarthi, and L. Kagal, “Explaining multimodal errors in autonomous vehicles,” in Proc. IEEE 8th Int. Conf. Data Sci. Adv. Anal. (DSAA), 2021年10月, pp. 1–10. IEEE: https://ieeexplore.ieee.org/document/9564178 Google Scholar

[122] J. Gorospe, S. Hasan, M. R. Islam, A. A. Gómez, S. Girs, and E. Uhlemann, “Analyzing inter-vehicle collision predictions during emergency braking with automated vehicles,” in Proc. 19th Int. Conf. Wireless Mobile Comput., Netw. Commun. (WiMob), vol. 12, 2023年6月, pp. 411–418. IEEE: https://ieeexplore.ieee.org/document/10187826 Google Scholar

[123] M. M. Karim, Y. Li, and R. Qin, “Toward explainable artificial intelligence for early anticipation of traffic accidents,” Transp. Res. Rec., J. Transp. Res. Board, vol. 2676, no. 6, pp. 743–755, 2022年6月. DOI: https://doi.org/10.1177/03611981221076121 Google Scholar

[124] W. Bao, Q. Yu, and Y. Kong, “Uncertainty-based traffic accident anticipation with spatio-temporal relational learning,” in Proc. 28th ACM Int. Conf. Multimedia, 2020年10月, pp. 2682–2690. DOI: https://doi.org/10.1145/3394171.3413827 Google Scholar

[125] R. Nahata, D. Omeiza, R. Howard, and L. Kunze, “评估与解释动态环境下自主驾驶安全的碰撞风险,” in Proc. IEEE Int. Intell. Transp. Syst. Conf. (ITSC), Sep. 2021, pp. 223–230. IEEE: https://ieeexplore.ieee.org/document/9564966 Google Scholar

[126] J. Houston, “千一小时：自动驾驶运动预测数据集,” in Proc. Conf. Robot Learn., Nov. 2021, pp. 409–418. Google Scholar

[127] L. M. Schmidt, G. Kontes, A. Plinge, and C. Mutschler, “你能信任你的自动驾驶汽车吗？可解释且可验证安全的强化学习,” in Proc. IEEE Intell. Vehicles Symp. (IV), Jul. 2021, pp. 171–178. IEEE: https://ieeexplore.ieee.org/document/9575328 Google Scholar

[128] M. D. Zeiler and R. Fergus, “可视化与理解卷积网络,” in Computer Vision—ECCV 2014, D. Fleet, T. Pajdla, B. Schiele, and T. Tuytelaars, Eds., Cham, Switzerland : Springer, 2014, pp. 818–833. DOI: https://doi.org/10.1007/978-3-319-10590-1_53 Google Scholar

[129] H. Y. Yatbaz, M. Dianati, and R. Woodman, “基于 DNN 的感知功能在自动驾驶系统中的内省：前沿技术与开放研究挑战,” IEEE Trans. Intell. Transp. Syst., vol. 25, no. 2, pp. 1112–1130, Feb. 2024. IEEE: https://ieeexplore.ieee.org/document/10260283 Google Scholar

[130] S. Kolekar, S. Gite, B. Pradhan, and A. Alamri, “在印度道路无序交通环境中使用 Inception U-Net 模型与 grad-CAM 可视化的可解释 AI 在场景理解中的应用,” Sensors, vol. 22, no. 24, p. 9677, Dec. 2022. DOI: https://doi.org/10.3390/s22249677 Google Scholar

[131] G. Varma, A. Subramanian, A. Namboodiri, M. Chandraker, and C. V. Jawahar, “IDD：用于探索无约束环境下自主导航问题的数据集,” in Proc. IEEE Winter Conf. Appl. Comput. Vis. (WACV), Jan. 2019, pp. 1743–1751. IEEE: https://ieeexplore.ieee.org/document/8659045 Google Scholar

[132] V. S. Saravanarajan, R.-C. Chen, C.-H. Hsieh, and L.-S. Chen, “在雾天环境下利用可解释人工智能和自适应去雾方法提升自动驾驶车辆语义分割性能,” IEEE Access, vol. 11, pp. 38194–38207, 2023. IEEE: https://ieeexplore.ieee.org/document/10057409 Google Scholar

[133] G. J. Brostow, J. Fauqueur, and R. Cipolla, “语义对象类别在视频中的高分辨率真值数据库，” Pattern Recognit. Lett., vol. 30, no. 2, pp. 88–97, Jan. 2009, doi: 10.1016/j.patrec.2008.04.005. DOI: https://doi.org/10.1016/j.patrec.2008.04.005 Google Scholar

[134] M. Abukmeil, A. Genovese, V. Piuri, F. Rundo, and F. Scotti, “朝向可解释语义分割的多尺度变分注意力，” in Proc. IEEE Int. Conf. Auton. Syst. (ICAS), Aug. 2021, pp. 1–5. IEEE: https://ieeexplore.ieee.org/document/9551172 Google Scholar

[135] J. Geyer, “A2D2: 奥迪自动驾驶数据集，” 2020, arXiv:2004.06320. Google Scholar

[136] H. Mankodiya, D. Jadav, R. Gupta, S. Tanwar, W.-C. Hong, and R. Sharma, “OD-XAI：基于可解释AI的自动驾驶车辆语义目标检测，” Appl. Sci., vol. 12, no. 11, p. 5310, May 2022. DOI: https://doi.org/10.3390/app12115310 Google Scholar

[137] T. Nowak, M. R. Nowicki, K. Cwian, and P. Skrzypczynski, “如何在驾驶员辅助系统中应用可解释深度学习来提升目标检测，” in Proc. IEEE Intell. Vehicles Symp. (IV), Jun. 2019, pp. 226–231. IEEE: https://ieeexplore.ieee.org/document/8814134 Google Scholar

[138] D. Schinagl, G. Krispel, H. Possegger, P. M. Roth, and H. Bischof, “OccAM’s激光：基于遮挡的LiDAR数据3D目标检测归因图，” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2022, pp. 1131–1140. IEEE: https://ieeexplore.ieee.org/document/9879848 Google Scholar

[139] A. Geiger, P. Lenz, and R. Urtasun, “我们准备好自动驾驶了吗？KITTI视觉基准套件，” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., Jun. 2012, pp. 3354–3361. IEEE: https://ieeexplore.ieee.org/document/6248074 Google Scholar

[140] L. Gou, “VATLD：用于评估、理解和改进交通灯检测的可视化分析系统，” IEEE Trans. Vis. Comput. Graph., vol. 27, no. 2, pp. 261–271, Feb. 2021. IEEE: https://ieeexplore.ieee.org/document/9233993 Google Scholar

[141] K. Behrendt, L. Novak, and R. Botros, “一种基于深度学习的交通灯方法：检测、跟踪与分类,” in Proc. IEEE Int. Conf. Robot. Autom. (ICRA), May 2017, pp. 1370–1377. IEEE: https://ieeexplore.ieee.org/document/7989163 Google Scholar

[142] C. Schorr, P. Goodarzi, F. Chen, and T. Dahmen, “Neuroscope：用于卷积神经网络语义分割和图像分类的可解释人工智能工具箱,” Appl. Sci., vol. 11, no. 5, p. 2199, Mar. 2021. DOI: https://doi.org/10.3390/app11052199 Google Scholar

[143] J. Wang, “何时、何地以及如何失败？一种用于自动驾驶可解释目标检测的时空可视分析方法,” IEEE Trans. Vis. Comput. Graphics, vol. 29, no. 12, pp. 5033–5049, May 2023. IEEE: https://ieeexplore.ieee.org/document/9870679 Google Scholar

[144] E. Haedecke, M. Mock, and M. Akila, “ScrutinAI：一种用于深度神经网络预测语义分析的可视化分析方法，” in Proc. EuroVis Workshop Vis. Anal. (EuroVA), J. Bernard and M. Angelini, Eds., 2022, pp. 1–5. Google Scholar

[145] T. Jiang, Y. Liu, Q. Dong, and T. Xu, “面向意图的交互式变压器，用于高密度交通中实时车辆轨迹预测，” Transp. Res. Rec., J. Transp. Res. Board, vol. 2677, no. 3, pp. 946–960, Mar. 2023. DOI: https://doi.org/10.1177/03611981221119175 Google Scholar

[146] P. Kochakarn, D. De Martini, D. Omeiza, and L. Kunze, “通过在场景图上自监督实现可解释动作预测，” in Proc. IEEE Int. Conf. Robot. Autom. (ICRA), May 2023, pp. 1479–1485. IEEE: https://ieeexplore.ieee.org/document/10161132 Google Scholar

[147] G. Singh, “ROAD：用于自动驾驶的道路事件感知数据集，” IEEE Trans. Pattern Anal. Mach. Intell., vol. 45, no. 1, pp. 1036–1054, Jan. 2023. IEEE: https://ieeexplore.ieee.org/document/9712346 Google Scholar

[148] W. Maddern, G. Pascoe, C. Linegar, and P. Newman, “一年，1000公里：牛津RobotCar数据集,” Int. J. Robot. Res., vol. 36, no. 1, pp. 3–15, Jan. 2017, doi: 10.1177/0278364916679498. DOI: https://doi.org/10.1177/0278364916679498 Google Scholar

[149] H. Liu, J. Zhao, and L. Zhang, “可解释且灵活的目标条件神经规划器用于自动驾驶车辆,” in Proc. IEEE Int. Conf. Robot. Autom. (ICRA), May 2023, pp. 10076–10082. IEEE: https://ieeexplore.ieee.org/document/10160913 Google Scholar

[150] K. Wang, J. Hou, and X. Zeng, “利用BiLSTM-CRF模型和规则嵌入预测周围车辆的换道意图,” in Proc. China Autom. Congr. (CAC), Nov. 2022, pp. 2764–2769. IEEE: https://ieeexplore.ieee.org/document/10056015 Google Scholar

[151] H. Hu, Q. Wang, M. Cheng, and Z. Gao, “基于时序模式注意力的轨迹预测神经网络和模型解释,” IEEE Trans. Intell. Transp. Syst., vol. 24, no. 3, pp. 2746–2759, Mar. 2023. IEEE: https://ieeexplore.ieee.org/document/9945660 Google Scholar

[152] S.-Y. Yu, A. V. Malawade, D. Muthirayan, P. P. Khargonekar, and M. A. A. Faruque, “基于场景图增强的数据驱动自动驾驶车辆决策风险评估,” IEEE Trans. Intell. Transp. Syst., vol. 23, no. 7, pp. 7941–7951, Jul. 2022. IEEE: https://ieeexplore.ieee.org/document/9423525 Google Scholar

[153] V. Ramanishka, Y.-T. Chen, T. Misu, and K. Saenko, “迈向驾驶场景理解：用于学习驾驶员行为与因果推理的数据集”， in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., Jun. 2018, pp. 7699–7707. IEEE: https://ieeexplore.ieee.org/document/8578901 Google Scholar

[154] K. Zhang and L. Li, “可解释的多模态轨迹预测使用注意力模型,” Transp. Res. C, Emerg. Technol., vol. 143, Oct. 2022, Art. no. 103829. DOI: https://doi.org/10.1016/j.trc.2022.103829 Google Scholar

[155] J. Kim, “自驾车辆的文本解释,” in Proc. Eur. Conf. Comput. Vis. (ECCV), 2018, pp. 563–578. DOI: https://doi.org/10.1007/978-3-030-01216-8_35 Google Scholar

[156] M. A. Kühn, D. Omeiza, and L. Kunze, “用于自动评论驾驶的文本解释,” 2023, arXiv:2304.08178. IEEE: https://ieeexplore.ieee.org/document/10186611 Google Scholar

[157] J. Dong, S. Chen, M. Miralinaghi, T. Chen, and S. Labi, “用于可解释自动驾驶系统的图像变换器的开发与测试,” J. Intell. Connected Vehicles, vol. 5, no. 3, pp. 235–249, 2022. IEEE: https://ieeexplore.ieee.org/document/10004532 Google Scholar

[158] Z. Zhang, R. Tian, R. Sherony, J. Domeyer, and Z. Ding, “基于注意力的相互关系建模，用于可解释的自动驾驶,” IEEE Trans. Intell. Vehicles, vol. 8, no. 2, pp. 1564–1573, Feb. 2023. IEEE: https://ieeexplore.ieee.org/document/9991055 Google Scholar

[159] Y. Feng, W. Hua, and Y. Sun, “NLE-DM：基于语义场景理解的自动驾驶决策自然语言解释,” IEEE Trans. Intell. Transp. Syst., vol. 24, no. 9, pp. 9780–9791, Sep. 2023. IEEE: https://ieeexplore.ieee.org/document/10144484 Google Scholar

[160] Y. Zhang, W. Wang, X. Zhou, Q. Wang, and X. Sun, “战术级解释并不足够：解释AV变道决策对驾驶员决策、信任和情绪体验的影响,” Int. J. Hum.-Comput. Interact., vol. 39, no. 7, pp. 1438–1454, Apr. 2023. DOI: https://doi.org/10.1080/10447318.2022.2098965 Google Scholar

[161] T. Chen, “PSI：用于社会智能化自动驾驶的行人行为数据集,” 2021, arXiv:2112.02604. Google Scholar

[162] M. Gadd, D. de Martini, L. Marchegiani, P. Newman, and L. Kunze, “Sense–Assess–eXplain (SAX)：在具有挑战性的真实驾驶场景中建立对自动驾驶车辆的信任,” in Proc. IEEE Intell. Vehicles Symp. (IV), vol. abs 1911 1207, Oct. 2020, pp. 150–155. IEEE: https://ieeexplore.ieee.org/document/9304819 Google Scholar

[163] K. Mori, H. Fukui, T. Murase, T. Hirakawa, T. Yamashita, and H. Fujiyoshi, “基于注意力分支网络的视觉解释，用于端到端学习型自动驾驶,” in Proc. IEEE Intell. Vehicles Symp. (IV), Jun. 2019, pp. 1577–1582. IEEE: https://ieeexplore.ieee.org/document/8813900 Google Scholar

[164] H. Wang, P. Cai, Y. Sun, L. Wang, and M. Liu, “通过光流蒸馏学习可解释的端到端视觉驱动运动规划，用于自动驾驶,” in Proc. IEEE Int. Conf. Robot. Autom. (ICRA), May 2021, pp. 13731–13737. IEEE: https://ieeexplore.ieee.org/document/9561334 Google Scholar

[165] J. Chen, S. E. Li, and M. Tomizuka, “利用潜在深度强化学习的可解释端到端城市自动驾驶,” IEEE Trans. Intell. Transp. Syst., vol. 23, no. 6, pp. 5068–5078, Jun. 2022. IEEE: https://ieeexplore.ieee.org/document/9346000 Google Scholar

[166] 001 S. Yang, W. Wang, C. Liu, and W. Deng, “基于深度学习的端到端控制器中的场景理解,” IEEE Trans. Syst., Man, Cybern., Syst., vol. 49, no. 1, pp. 53–63, Jan. 2019. IEEE: https://ieeexplore.ieee.org/document/8480450 Google Scholar

[167] L. Cultrera, L. Seidenari, F. Becattini, P. Pala, and A. D. Bimbo, “通过学习端到端视觉注意力解释自动驾驶,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. Workshops (CVPRW), Jun. 2020, pp. 340–341. IEEE: https://ieeexplore.ieee.org/document/9151003 Google Scholar

[168] B. Wymann, E. Espié, C. Guionneau, C. Dimitrakakis, R. Coulom, and A. Sumner. ( 2000 ). Torcs, 开放式赛车模拟器. [Online]. Available: https://torcs.sourceforge.net Google Scholar

[169] E. Aksoy and A. Yazici, “用于在驾驶视频中提取显著性图的注意力模型,” in Proc. 28th Signal Process. Commun. Appl. Conf. (SIU), Oct. 2020, pp. 1–4. IEEE: https://ieeexplore.ieee.org/document/9302267 Google Scholar

[170] Y. Xia, D. Zhang, J. Kim, K. Nakayama, K. Zipser, and D. Whitney, “预测在关键情境中的驾驶员注意力,” 2017, arXiv:1711.06406. Google Scholar

[171] A. Borji and L. Itti, “CAT2000：用于提升显著性研究的大规模注视数据集,” 2015, arXiv:1505.03581. Google Scholar

[172] K. Chitta, A. Prakash, and A. Geiger, “NEAT：端到端自动驾驶的神经注意力场,” in Proc. IEEE/CVF Int. Conf. Comput. Vis. (ICCV), Oct. 2021, pp. 15773–15783. IEEE: https://ieeexplore.ieee.org/document/9710855 Google Scholar

[173] A. Sadat, S. Casas, M. Ren, X. Wu, P. Dhawan, and R. Urtasun, “Perceive, predict, and plan: Safe motion planning through interpretable semantic representations,” 在 Proc. Eur. Conf. Comput. Vis. Cham, Switzerland : Springer, 2020, pp. 414–430. DOI: https://doi.org/10.1007/978-3-030-58592-1_25 Google Scholar

[174] B. Wei, M. Ren, W. Zeng, M. Liang, B. Yang, and R. Urtasun, “Perceive, attend, and drive: Learning spatial attention for safe self-driving,” 在 Proc. IEEE Int. Conf. Robot. Autom. (ICRA), May 2021, pp. 4875–4881. IEEE: https://ieeexplore.ieee.org/document/9561904 Google Scholar

[175] Y. Tashiro and H. Awano, “通过量化注意力：通过量化激活提升神经网络可解释性,” IEEE Access, vol. 11, pp. 34431–34439, 2023. IEEE: https://ieeexplore.ieee.org/document/10092762 Google Scholar

[176] Udacity. ( Jun. 2020 ). Udacity 自动驾驶汽车驾驶数据. [Online]. Available: https://github.com/udacity/self-driving-car Google Scholar

[177] S. Teng, L. Chen, Y. Ai, Y. Zhou, Z. Xuanyuan, and X. Hu, “用于端到端自动驾驶的分层可解释模仿学习,” IEEE Trans. Intell. Vehicles, vol. 8, no. 1, pp. 673–683, Jan. 2023. IEEE: https://ieeexplore.ieee.org/document/9965619 Google Scholar

[178] T. Kadir and M. Brady, “显著性、尺度与图像描述,” Int. J. Comput. Vis., vol. 45, no. 2, pp. 83–105, 2001. DOI: https://doi.org/10.1023/A:1012460413855 Google Scholar

[179] J. T. Springenberg, A. Dosovitskiy, T. Brox, and M. A. Riedmiller, “追求简洁：全卷积网络,” in Proc. 3rd Int. Conf. Learn. Represent., San Diego, CA, USA, May 2015, pp. 1–14. Google Scholar

[180] S. Wiegreffe and Y. Pinter, “注意力并非解释,” in Proc. Conf. Empirical Methods Natural Lang. Process. 9th Int. Joint Conf. Natural Lang. Process. (EMNLP-IJCNLP), K. Inui, J. Jiang, V. Ng, and X. Wan, Eds., 2019, pp. 11–20. DOI: https://doi.org/10.18653/v1/D19-1002 Google Scholar

[181] A. Corso and M. J. Kochenderfer, “针对自动驾驶车辆的可解释安全验证,” in Proc. IEEE 23rd Int. Conf. Intell. Transp. Syst. (ITSC), Sep. 2020, pp. 1–6. IEEE: https://ieeexplore.ieee.org/document/9294490 Google Scholar

[182] J. DeCastro, K. Leung, N. Aréchiga, and M. Pavone, “基于正式指定的时间属性的可解释策略,” in Proc. IEEE 23rd Int. Conf. Intell. Transp. Syst. (ITSC), Sep. 2020, pp. 1–7. IEEE: https://ieeexplore.ieee.org/document/9294442 Google Scholar

[183] M. Kang, W. Lee, K. Hwang, and Y. Yoon, “用于检测关键情境并提取功能场景以实现自动驾驶车辆安全评估的视觉变压器,” Sustainability, vol. 14, no. 15, p. 9680, Aug. 2022. DOI: https://doi.org/10.3390/su14159680 Google Scholar

[184] T. Menzel, G. Bagschik, L. Isensee, A. Schomburg, and M. Maurer, “从功能场景到逻辑场景：为仿真环境执行提供基于关键词的场景描述细化,” in Proc. IEEE Intell. Vehicles Symp. (IV), Jun. 2019, pp. 2383–2390. IEEE: https://ieeexplore.ieee.org/document/8814099 Google Scholar

[185] Y. Li, “基于深度学习的混合框架，用于自动驾驶中的目标检测与识别,” IEEE Access, vol. 8, pp. 194228–194239, 2020. IEEE: https://ieeexplore.ieee.org/document/9238023 Google Scholar

[186] V. Petsiuk, A. Das, and K. Saenko, “RISE：用于黑盒模型解释的随机输入采样,” 2018, arXiv:1806.07421. Google Scholar

[187] H. Shao, L. Wang, R. Chen, H. Li, and Y. Liu, “使用可解释传感器融合变压器增强安全的自动驾驶,” in Proc. Conf. Robot Learn., 2023, pp. 726–737. Google Scholar

[188] D. Brajovic, “模型报告用于可认证 AI：将欧盟监管合并到 AI 开发的提案,” 2023, arXiv:2307.11525. Google Scholar

[189] M. Wäschle, F. Thaler, A. Berres, F. Pölzlbauer, and A. Albers, “对高度自动驾驶中 AI 安全的综述,” Frontiers Artif. Intell., vol. 5, pp. 1–22, Oct. 2022. DOI: https://doi.org/10.3389/frai.2022.952773 Google Scholar

[190] J. Wang and R. Jia, “Data Banzhaf：一个用于机器学习的稳健数据估值框架,” in Proc. Int. Conf. Artif. Intell. Statist., vol. 206, 2023, pp. 6388–6421. Google Scholar

[191] C. Wang, F. Guo, R. Yu, L. Wang, and Y. Zhang, “驾驶员模型在自动驾驶车辆安全评估中的应用：视角、洞察与前景,” IEEE Trans. Intell. Vehicles, vol. 9, no. 1, pp. 2364–2381, Jan. 2024. IEEE: https://ieeexplore.ieee.org/document/10321740 Google Scholar

[192] G. Vilone and L. Longo, “可解释人工智能：系统综述,” 2020, arXiv:2006.00093. Google Scholar

[193] A.-M. Marcu, “LingoQA：用于自动驾驶的视觉问答,” 2023, arXiv:2312.14115. Google Scholar

[194] N. Elhage, “Transformer电路的数学框架”, Transformer Circuits Thread, vol. 1, no. 1, p. 12, 2021. Google Scholar

参考脚注

其他参考文献

58. M. Cordts, “城市景观数据集用于语义城市场景理解”, 载于 Proc. IEEE Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2016, pp. 3213–3223.

59. G. Ros, L. Sellart, J. Materzynska, D. Vazquez, and A. M. Lopez, “SYNTHIA数据集：用于城市场景语义分割的大型合成图像集合”, 载于 Proc. IEEE Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2016, pp. 3234–3243.

60. H. Caesar, “NuScenes：用于自动驾驶的多模态数据集”, 2019, arXiv:1903.11027.

61. A. Palazzi, D. Abati, S. Calderara, F. Solera, and R. Cucchiara, “预测驾驶员关注焦点：DR(eye)VE项目”, 载于 IEEE Trans. Pattern Anal. Mach. Intell., vol. 41, no. 7, pp. 1720–1733, Jul. 2019.

62. Next Generation Simulation (NGSIM) Vehicle Trajectories and Supporting Data, 美国交通部联邦公路管理局，Washington, DC, USA, 2017.

63. J. Bock, R. Krajewski, T. Moers, S. Runde, L. Vater, and L. Eckstein, “inD数据集：德国交叉口自然驾驶员轨迹的无人机数据集”, 载于 Proc. IEEE Intell. Vehicles Symp. (IV), Oct. 2020, pp. 1929–1934.

64. R. Krajewski, T. Moers, J. Bock, L. Vater, and L. Eckstein, “The round dataset：德国环形交叉口无人机道路使用者轨迹数据集”, 载于 Proc. IEEE 23rd Int. Conf. Intell. Transp. Syst. (ITSC), Sep. 2020, pp. 1–6.

65. A. Breuer, J.-A. Termöhlen, S. Homoceanu, and T. Fingscheidt, “OpenDD：大型环形交叉口无人机数据集”, 载于 Proc. IEEE 23rd Int. Conf. Intell. Transp. Syst. (ITSC), Sep. 2020, pp. 1–6.

66. W. Zhan, “INTERACTION 数据集：在交互式驾驶场景中具有语义地图的国际化、对抗性与合作性移动数据集”, 2019, arXiv:1910.03088.

67. R. Krajewski, J. Bock, L. Kloeker, and L. Eckstein, “highD 数据集：德国高速公路自然驾驶车辆轨迹的无人机数据集，用于验证高度自动化驾驶系统”, 载于 Proc. 21st Int. Conf. Intell. Transp. Syst. (ITSC), Nov. 2018, pp. 2118–2125.

68. A. Dosovitskiy, G. Ros, F. Codevilla, A. Lopez, 和 V. Koltun, “CARLA：一个开放的城市驾驶模拟器,” in Proc. 1st Annu. Conf. Robot Learn., 2017, pp. 1–16.

69. Y. Ma, S. Song, L. Zhang, L. Xiong, 和 J. Chen, “车道变换分析与预测：基于平均冲击值方法和逻辑回归模型,” in Proc. IEEE Int. Intell. Transp. Syst. Conf. (ITSC), Sep. 2021, pp. 1346–1352.

70. F. Yu, “BDD100K：一个用于异构多任务学习的多样化驾驶数据集,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2020, pp. 2636–2645.

71. S. Houben, J. Stallkamp, J. Salmen, M. Schlipsing, 和 C. Igel, “真实世界图像中交通标志检测：德国交通标志检测基准,” in Proc. Int. Joint Conf. Neural Netw. (IJCNN), Aug. 2013, pp. 1–8.

72. T. Lin, “Microsoft COCO：在语境中的常见对象,” in Proc. Eur. Conf. Comput. Vis. Cham, Switzerland : Springer, 2014, pp. 740–755.

73. D. Bau, B. Zhou, A. Khosla, A. Oliva, 和 A. Torralba, “网络剖析：量化深度视觉表示的可解释性,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., Jun. 2017, pp. 6541–6549.

74. J. Fritsch, T. Kühnl, 和 A. Geiger, “用于道路检测算法的新性能衡量与评估基准,” in Proc. 16th Int. IEEE Conf. Intell. Transp. Syst. (ITSC), Oct. 2013, pp. 1693–1700.

75. J. Fang, D. Yan, J. Qiao, J. Xue, 和 H. Yu, “DADA：驾驶事故场景中的驾驶员注意力预测,” IEEE Trans. Intell. Transp. Syst., vol. 23, no. 6, pp. 4959–4971, Jun. 2022.

76. W. Bao, Q. Yu, 和 Y. Kong, “基于不确定性的交通事故预判与时空关系学习,” in Proc. 28th ACM Int. Conf. Multimedia, Oct. 2020, pp. 2682–2690.

77. J. Houston, “一千零一小时：自动驾驶运动预测数据集,” in Proc. Conf. Robot Learn., Nov. 2021, pp. 409–418.

78. G. Varma, A. Subramanian, A. Namboodiri, M. Chandraker, 和 C. V. Jawahar, “IDD：探索无约束环境下自主导航问题的数据集,” in Proc. IEEE Winter Conf. Appl. Comput. Vis. (WACV), Jan. 2019, pp. 1743–1751.

79. G. J. Brostow, J. Fauqueur, 和 R. Cipolla, “视频中的语义对象类别：高分辨率真值数据库,” Pattern Recognit. Lett., vol. 30, no. 2, pp. 88–97, Jan. 2009, doi: 10.1016/j.patrec.2008.04.005.

80. J. Geyer, “A2D2：奥迪自动驾驶数据集,” 2020, arXiv:2004.06320.

81. A. Geiger, P. Lenz, 和 R. Urtasun, “我们是否已准备好自动驾驶？KITTI视觉基准套件,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., Jun. 2012, pp. 3354–3361.

82. K. Behrendt, L. Novak, 和 R. Botros, “基于深度学习的交通灯方法：检测、跟踪与分类,” in Proc. IEEE Int. Conf. Robot. Autom. (ICRA), May 2017, pp. 1370–1377.

83. G. Singh, “ROAD：面向自动驾驶的道路事件意识数据集,” IEEE Trans. Pattern Anal. Mach. Intell., vol. 45, no. 1, pp. 1036–1054, Jan. 2023.

84. W. Maddern, G. Pascoe, C. Linegar, 和 P. Newman, “1年，1000公里：牛津RobotCar数据集,” Int. J. Robot. Res., vol. 36, no. 1, pp. 3–15, Jan. 2017, doi: 10.1177/0278364916679498.

85. V. Ramanishka, Y.-T. Chen, T. Misu, 和 K. Saenko, “迈向驾驶场景理解：学习驾驶者行为与因果推理的数据集,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., Jun. 2018, pp. 7699–7707.

86. T. Chen, “PSI：社会智能自动驾驶汽车的行人行为数据集,” 2021, arXiv:2112.02604.

87. B. Wymann, E. Espié, C. Guionneau, C. Dimitrakakis, R. Coulom, 和 A. Sumner. ( 2000 ). Torcs, the Open Racing Car Simulator. [Online]. Available: https://torcs.sourceforge.net

88. Y. Xia, D. Zhang, J. Kim, K. Nakayama, K. Zipser, 和 D. Whitney, “预测驾驶员在关键情境中的注意力,” 2017, arXiv:1711.06406.

89. A. Borji 和 L. Itti, “CAT2000：大规模注视数据集，促进显著性研究,” 2015, arXiv:1505.03581.

90. Udacity. ( 6 月 2020 ). Udacity Self-Driving Car Driving Data. [在线]. 可用: https://github.com/udacity/self-driving-car