人工智能(AI)的可解释性再次成为了研究热点,因为需要与用户建立信任,让他们了解自动驾驶、医疗诊断或银行金融等不同领域中自动决策到底是“怎么回事”。今天分享的这篇文献是WIRESDATAMINKNOWL杂志年10月发表的文章《AhistoricalperspectiveofexplainableArtificialIntelligence》。在这篇文章中,作者以历史的角度看待可解释人工智能(XAI),主要讨论可解释性在过去是如何构思的,现在是如何理解的,以及未来可能会如何定义。
引言
可解释性已被认为是人工智能能否被广泛应用的关键因素。可解释性是指人(包括机器学习中的非专家)能够理解模型在其决策过程中所做出的选择(怎么决策,为什么决策和决策了什么)。
随着智能系统在自动驾驶汽车、医疗诊断或保险和金融服务等应用领域的不断发展,当自动化系统做出决策或提出建议时,出于实际因素和社会法律原因,向用户、开发人员和监管机构提供解释是必不可少的。例如,欧盟的“一般数据保护条例(GDPR)”规定,受智能系统自动化行为影响的消费者有权获得“关于逻辑的有意义信息”——通常被称为“获得解释的权利”。此外,设计人员和开发人员也需要可理解性以加强系统,使决策不存在偏见、不公平和歧视,并增加所有用户对决策原因和方式的信任。
因此,能够解释为什么做出了特定的决定,已经成为智能系统的理想属性。解释应该帮助用户理解系统的模型,以便有效地使用;还应该帮助用户在调试模型时纠正错误的结论。此外,解释还可以出于教育目的,有助于人们发现和理解某个应用领域的新概念。最后,解释还关系到用户的信任,要让用户相信系统的决策对他们来说是最好的。
什么是“好的”解释?
到目前为止,确定解释“好”的标准在各个领域都是一场活跃的辩论,包括认知科学、计算机科学、心理学和哲学。
Miller在年的研究以社会科学的角度对解释进行了深入的调查,报告强调了三个主要发现。首先,解释是反事实的,人类倾向于理解为什么会发生某一事件,而不是其他事件。其次,解释是有选择性的,集中在几个而不是所有可能的原因上,换句话说,解释不应该把太多的信息丢给用户。第三,解释是一种以传递知识为目的的社会交流。
许多心理学研究人员也在研究并定义以人为本的解释。例如Kulesza等人在年调查发现解释的完整性比稳健性更重要,而且过于简单化不利于用户对解释的信任。
计算机科学方面,到目前为止的工作主要集中在机械方面,即如何产生解释:要么与系统推理轨迹相结合,要么与系统决策过程背后的故事相结合。虽然这些解释通常是对系统行为的精确重建,但它们也应该能够适应不同类型的用户,比如非专业用户可能对不太准确但更容易理解的解释更感兴趣,而专家用户可能更喜欢技术性和精确的解释。
专家系统中的解释
专家系统是早期人工智能的一个重要分支,它可以看作是一类具有专门知识和经验的计算机智能程序系统,一般采用人工智能中的知识表示和知识推理技术来模拟通常由领域专家才能解决的复杂问题。专家系统由对领域知识进行编码的知识库、利用该知识库的规则解释器或推理器,以及用户可以通过其向系统查询知识的界面组成。在专家系统中,解释分为两种方式:
3.1以推理为主线的解释
这意味着系统使用产生式或推理式规则做出特定决策。最著名的实例是Mycin。Mycin是一个基于规则的诊断系统,具有咨询功能,开发于20世纪70年代,旨在为医生提供有关感染患者的诊断和治疗建议。该系统通过产生式规则(表1)进行建模,也就是说,用户提供一些关于特定患者的知识作为输入,系统使用这些知识来实例化规则并做出与特定病例相对应的诊断。
表1
解释由通用问答模块和推理状态检查器组成。前者回答简单的英语问题,涉及系统在咨询中的决定或一些关于系统的常识;后者提供了关于系统所遵循的推理路线的解释,允许用户更深入地了解所使用的规则。
3.2以解决问题为目标的解释
将解释设想为解决问题的活动,不仅意味着重建系统的推理路线,而且还要考虑到不同的用户类型。展示这种适应性的一个例子是Rex()。Rex是一个独立于所使用的专家系统的组件,通过构建一个“故事”来解释专家系统如何从特定案例的数据步入到最终结论(图1)。Rex的解释实例如图2所示。
图1以解决问题为目标的解释(左)和解释知识的范例(右)
图2Rex中的解释示例
机器学习中的解释
在机器学习领域,模型可解释性与模型性能(准确度)之间有一个权衡。有几种模型(包括线性回归和决策树)的预测原理很好直观理解,但是需要牺牲模型性能,因为它们产生的结果偏差或者方差很高(欠拟合:线性模型),或者容易过拟合(基于树的模型)。更复杂的模型,如集成模型和近期快速发展的深度学习通常会产生更好的预测性能,但被视为黑盒(blackbox)模型,因为要解释这些模型是如何真正做出决策是一件非常困难的事情。
Guidotti等人在年提出了一种解释模型的分类:
·全局解释:基于完整数据集上的响应变量和输入特征之间的条件相互作用,来一次理解和解释整个模型的决策。
·局部解释:对数据集的特定结果/实例所做的决策建立解释。根据所考虑的实例不同解释可能会有很大差异。
·自省解释:解释是通过输入与输出的联系来构建的,即与模型无关,对任何的黑盒子机器学习模型提供解释。
4.1全局解释(Globalexplanations)
这种方法的目标是自动生成黑盒模型的通用表示,并且其与数据集的特征的关系已经过训练。
部分依赖图(PDP)计算机器学习模型预测结果中各种变量的影响,影响可以是线性的,也可以更复杂。PDP的工作原理是将机器学习模型的输出边缘化到特征的分布上,以便该函数得到目标值和特征的关系。当人们想要解释两个或三个特征以及当特征不相关时,PDP工作得很好;而在其他情况下,使用累积局部效果图(ALE)会更好,ALE使用条件分布而不是边际分布。以图3为例,使用PDP和ALE预测温度、湿度和风速如何影响特定一天的自行车租赁数量,由于温度和湿度之间存在相关性,与ALE相比,PDP预测的高温或高湿度自行车数量降幅较小。
图3部分依赖图PDP(左)和累积局部效果图ALE(右)
4.2局部解释(Localexplanations)
对于局部的可解释性,我们不关心模型的内在结构或假设,而是专门