可解释机器学习最新综述:应用于实时场景中的机遇与挑战

2023-02-28 11:06:59   来源:商业新知网


(相关资料图)

大数据文摘 授 权 转载自将门创投

作者: Gu anchu Wang

论文链接:

https://arxiv.org/abs/2302.03225 代码链接: https://github.com/ynchuang/awesome-efficient-xai

什么是可解释机器学习?

深度模型(神经网络)的推理过程是黑盒化的、不可解释的。机器学习发展至今仍然无法完全打开这个黑盒子。可解释机器学习的研究内容就是为深度模型的推理结果提供人类可以理解的解释(原因)。这在有道德约束下的应用场景中是极其重要的。例如,某银行利用深度学习算法来预测用户的信用度以决定是否贷款给用户。对于信用度预测值较低的用户,银行有责任提供合理的解释来说明认定该用户信用度低的原因。 模型解释可分为两种:模型层面的解释和样本层面的解释,如图1所示。模型层面的解释是展示出模型判断的逻辑,如图1(a)所示;样本层面的解释是展示出每个样本的不同特征对于模型预测的贡献度,如图1(b)所示。由于复杂模型对于不同样本的推理过程是多样性的,所以宏观的模型层面解释很难适用于所有样本。目前主流的研究工作更关注样本层面的解释。 因此,本文所讨论的解释算法都是样本层面的解释,不涉及模型层面的解释。 图1 (a)模型层面的解释和(b)样本层面的解释。

实时系统需要怎样的模型解释算法?

虽然解释算法能够客观地反映深度模型的推理依据,但是为每个样本生成解释的过程有相当高的计算复杂度。以目前主流的解释算法为例:Shapley解释如式(1)所示,其中 U 是全部特征组成的集合。计算规模随着特征数量的增多而指数级增长;积分梯度是一种有效的图像解释算法,如式(2)所示。它需要沿着积分路径多次采样模型的梯度值来近似估计积分值。 然而,在实时场景中,如在线推荐系统,医疗系统的实时监测以及自动驾驶的实时目标检测等,我们需要算法可以快速高效地生成解释。这就需要对现有解释算法进行加速,以满足实时系统的需求。本文汇总了目前主流的(算法层面)加速模型解释算法(不涉及系统层面),分析了已有工作的局限性,并提出了未来研究的技术难点。
图 2 模型解释加速算法的分类。

非批量解释的加速方法

非批量解释的加速是指直接加速解释量的估计,即直接加速式(1)以及式(2)或者其他解释量的估计。该类方法可以分为以下几种技术路线:优化特征选取、优化采样过程、基于近似算法加速等。下面详细描述每一种技术路线的代表工作。 优化特征选取:这类方法通过去掉在Shapley解释的估计过程中影响较小的特征来减少计算复杂度。比较有代表性的工作是 SHEAR [1]。SHEAR 选取每个特征与待估计特征的相互作用强度来选取少量的伴随特征,这样。其他有代表性的工作是 L-Shapley 和 C-Shapley [2]。该工作在图结构的解释中提出两种概念:Local Shapley 和 Connected Shapley,分别指的是每个节点在其所在子图中的贡献以及边缘贡献。L-Shapley 和 C-Shapley 可以通过对邻居节点的枚举快速估计。进一步,该工作指出 L-Shapley 和 C-Shapley 在某些条件下是 Shapley 解释的无偏估计。因此可通过估计 L-Shapley 和 C-Shapley 来近似加速 Shapley 解释。 优化采样过程:这类方法通过优化采样分布来加速Shapley解释估计的收敛速度。比较有代表性的工作是 APS [3] 和 OSC [4]。APS 的全称是 Antithetical Permutation Sampling。该工作提出一种对称采样策略(Antithetical Sampling)来减小 Permutation Sampling 对于Shapley解释的估计方差,从而加速估计值收敛与Shapley解释;同理,OSC 是 Orthogonal Spherical Codes 的缩写。该方法提出了在希尔伯特空间选取相互正交的特征排序。这种特征排序可以应用到估计Shapley解释中来提高估计值收敛于真值的速度。 基于近似算法加速:这类方法通过将不可解释的深度模型近似为可解释的模型进而实现快速得到解释。具有代表性的工作是 Tree-SHAP [5] 和 Fast-IG [6]。Tree-SHAP 是针对树模型的解释算法,其时间复杂度是 O(TLD2),其中T、L和D分别是树的数量、平均叶子数和平均深度。实际应用中,可以用树模型来逼近神经网络这类黑盒模型的输出,进而用树模型的解释来代表神经网络的解释;Fast-IG 是一种加速积分梯度的算法。该工作发现具有非负齐次性的模型的积分梯度解释可以通过模型的一次前馈传播估计得到。但是神经网络模型不具有非负齐次的性质,因此该工作提出了将神经网络模型进行适当的近似从而满足非负齐次性,进而实现加速模型解释。基于近似算法的加速由于对原模型进行了一定近似,所以会影响模型的性能(准确率、召回率、F1得分等)。

批量解释的方法

批量解释方法是针对实时场景的解释方法。从本文前几段的内容可知,非批量解释方法对每一个样本的解释都是分别进行的,即对每个样本都分别执行一次解释过程,如图3(a)所示。这无疑是浪费时间的。为了实现高速估计模型解释,一些工作开创性地提出了批量解释方法,如图3(b)所示。 总的来说,批量解释方法假设模型解释的结果服从某种分布,这种分布可以通过一个全局解释器来学习。学习过程在训练集上进行,训练好的解释器可以在实际场景中批量生成解释。批量解释方法是模型解释加速的质的飞跃。 批量模型解释的技术路线有:基于预测模型、基于生成模型和基于强化学习等。下面详细叙述每一条技术路线的代表工作。 图3 (a)非批量解释方法和(b)批量解释方法。 基于预测模型:这类方法通过监督或者半监督的方式来学习全局解释器。代表作有 L2X [7]、FastSHAP [8] 以及 CORTX [9]。L2X 训练全局解释器对数据特征进行遮掩,训练目标是遮掩的特征不影响原模型的推理过程。这样未被遮掩的特征就是重要特征。L2X 只能将特征大致分为重要的和不重要的。FastSHAP 训练全局解释器生成Shapley解释,训练目标是Shapley解释的必要条件:任何一个特征子集的Shapley解释之和表征了原模型基于该特征子集的预测值。FastSHAP 可以快速生成较为精确的解释,但是需要利用原模型进行监督训练。CORTX 开创性地提出通过对比学习的方式来预训练解释器,而后通过少量的解释标注来 Fine-tune 解释器,从而实现轻量级的解释器训练以及实际场景中的高精度解释。 基于生成模型:这类方法通过训练生成模型来快速提供因果解释。代表作有 MCS [10] 和 DiVE [11]。MCS 通过训练一个条件对抗生成网络来生成反事实样本。反事实样本可以推翻原模型的预测结果,这样从原样本到反事实样本变化量就是模型预测值的因果解释。DiVE 通过一个变分自编码器来学习特征空间的非耦合隐空间(特征在原空间中是相互耦合的),进而在隐空间中生成反事实样本,在通过变分自编码器把反事实样本映射至原空间进而估计解释值。 基于强化学习:这类方法通过强化学习来优化反事实样本的生成过程。代表作有 RELAX [12] 和 FASTAR [13]。这类将原样本变换为反事实样本的过程抽象为马尔科夫过程决策过程,即原样本在每个时刻都发生一点变化,经过多个时刻的演化最终变为反事实样本。RELAX 和 FASTAR 用强化学习的方式学习一个演化策略。原样本经过演化策略生成的一系列变化量成为反事实样本,累计变化量就是原模型的因果解释值。

现有工作的局限性及未来研究的难点

解释性能和速度的此消彼长:目前大部分的模型解释方法都存在解释性能和速度的此消彼长,例如 KernelSHAP [14]、LIME [15]、IG [16] 等。 对原模型采样更多的预测值可以提高解释的精度,但是会降低解释生成的速度。此外,批量解释方法需要在训练集上学习全局解释器。训练过程的时间及空间消耗和训练精度之间也存在类似的平衡关系。已有工作为可解释机器学习提供了基准,未来解释算法需要能达到性能和速度二者更优的平衡。 解释方法的部署:在已有工作中,解释及加速方法的设计、实现及验证都是基于 CPU 和 GPU结构的硬件。但是在实际应用场景中有很多其他种类及结构的硬件。已有算法无法从系统层面上达到最优的性能(内存消耗及运行速度)。部署模型解释方法以适应不用种类及结构的硬件系统将会推动可解释机器学习走向实际应用。 全局解释器的隐私保障:在目前批量解释算法中,由于全局解释器学到了训练数据的分布,因此这会有信息泄露的风险。所谓信息泄露指的是第三方可以从训练好的全局解释器中恢复出训练数据的分布。因此防止解释器泄露训练数据的分布也是推动可解释机器学习走向实际应用需要克服的困难之一。 加速方法的选择:本文所介绍的以及更多的模型解释算法都存在此消彼长的关系,即不存在某一种算法在所有的应用场景中都是最优的。然而决策者需要在实际应用中从众多的解释方法中选取最符合需求的一种或者几种解释方法。这无疑是困难的。一个解决方案是用算法来实现解释方法的选取,这使得决策者在不用了解所有解释方法的情况下仍然可以得到一种符合需求的解释方法。

结束语

本文首先阐明了可解释机器学习部署到实际场景中的速度需求,进而系统地介绍了目前主流的加速模型解释算法;最后分析了已有工作的局限性,并提出了未来研究的技术难点。

关键词: 机器学习 强化学习

上一篇:
下一篇:
精彩阅读

可解释机器学习最新综述:应用于实时场景中的机遇与挑战

热点

深度模型(神经网络)的推理过程是黑盒化的、不可解释的。

世界即时:阿里巴巴2022年全年裁员1.9万人

热点

目前,阿里巴巴仍有239740名员工。

观天下!蚂蚁集团第二次分红派息319亿元,两次累计超438亿元

热点

阿里最新财报披露了蚂蚁集团第二次分红的具体情况。

当前头条:腾讯要代理Meta Quest,是妙招,但修Bug得趁早

热点

这种变化其实并不完全意味着元宇宙概念已经彻底失败,或是VR硬件再一次开始退潮。

全球热门:河南广电与大象融媒签署战略合作协议,推动河南省5G发展新格局

热点

2月24日,中国广电河南网络有限公司与河南大象融媒体集团有限公司在大象融媒一楼新闻发布厅举办战略合作签约仪式。

全球观天下!上海商汤智能科技注册资本增22.6%至162亿元

热点

上海商汤智能科技有限公司近期发生工商变更,注册资本由132 5亿元增加至162 5亿元,增幅约22 64%。

快播:龙竹科技2022年净利润4357.95万元,同比减少37.36%

热点

2月27日,龙竹科技发布2022年年度业绩快报公告。

许单单离任:拉勾网已由前程无忧接管继续运营

热点

许单单离任:拉勾网已由前程无忧接管继续运营。

今日热闻!夸克成长的烦恼:被抄袭、盗用

热点

目前,杭州中级人民法院受理了夸克起诉高途不正当竞争案。

财富

三星note3怎么提高性能?三星手机note3跑分多少?

资讯

三星NOTE3使用的是高通骁龙MSM8974四核处理器搭配3GB的运行内存,可以算是目前智能手机里面的最高水平,使用专业跑分软件进行测试可以发现

dnf更新不了怎么回事?dnf手游更新慢解决方法是什么?

资讯

目前大部分人都这么卡的,游戏刚更新,很多不完善的地方城镇内走路都一卡一卡的输入法先别切换到搜狗或者QQ拼音先原始呆着,貌似好点首先说

uc浏览器怎么取消自动续费?uc浏览器qq浏览器哪个好?

资讯

应该这么理解,uc浏览器它是一个wap浏览器,是专门用来访问手机wap站点的,当然用其他的浏览器也可以访问wap,比如opera,ok浏览器,它们就

联想一键强制恢复出厂设置?联想自带系统怎么恢复?

资讯

第一种方法在启动了电脑情况下,启动联想一键恢复6 0,点系统还原,然后选择系统备份的那个文件夹,确定后出现进入重启对话框,点确定,完

电脑桌面横条怎么设置?电脑下方任务栏一直闪烁怎么回事?

资讯

1、如果是台式机先检查显卡是否有插紧,可以将显卡拔下来重新插一下,插得紧一点试试。2、台式机电脑显示器连接线松动也会造成这种问题,拔

使命召唤9电脑屏幕黑屏?使命召唤9无法运行什么原因?

资讯

关于游戏黑屏可能出现的原因有以下几种:1 一般像970,980这类高端显卡是有单独供电的,如果电源功率不高的话,在玩游戏的时候也会出现黑屏

联想v550怎么做系统?联想v550开机没声音?

资讯

1、根据笔记本型号以及操作系统位数,到笔记本官网下载最新的声卡驱动,下载后重新安装重启电脑;2、重启后将声音的音量音量加大并开启音量;

中关村在线买电脑可以吗?中关村和中关村在线?

资讯

点子产品的话建议在京东天猫或者苏宁去买中关村的话不建议去买如果是同一个地方或者比较近的也可以去看看商城Z团的东西都是正品行货,这点

为什么优酷有时候没有弹幕?优酷弹幕在哪里打开?

资讯

您好,非常感谢您的建议,优酷会不定期对视频播放器进行升级,已提高用户使用感受。目前优酷还没有弹幕功能。1、可能是手机卡顿所导致的,

现在的高端显卡笔记本有哪些?3050ti属于中端显卡吗?

资讯

1 市场份额N卡销量大于A卡2 在中低端,中高端显卡,A卡的性价比高于N卡3 N卡游戏性能强于A卡4 A卡具备高清解码能力,适合高清视频和专业制

世界即时:阿里巴巴2022年全年裁员1.9万人

目前,阿里巴巴仍有239740名员工。

观天下!蚂蚁集团第二次分红派息319亿元,两次累计超438亿元

阿里最新财报披露了蚂蚁集团第二次分红的具体情况。

当前头条:腾讯要代理Meta Quest,是妙招,但修Bug得趁早

这种变化其实并不完全意味着元宇宙概念已经彻底失败,或是VR硬件再一次开始退潮。

全球热门:河南广电与大象融媒签署战略合作协议,推动河南省5G发展新格局

2月24日,中国广电河南网络有限公司与河南大象融媒体集团有限公司在大象融媒一楼新闻发布厅举办战略合作签约仪式。

环球速读:【阿里四位大总裁“期末交卷”:谁才是“全村的希望”?】

与业务重新划分相对应的,是组织结构的调整。

苹果举行主题为超前瞻秋季新品发布会 AirPodsPro2正式登场

北京时间9月8日凌晨,苹果举行主题为超前瞻的秋季新品发布会,在此次发布会上,备受关注的iPhone 14系列新机、新款Apple Watch Ultra以

微软正为Windows12开发新驱动框架 提升新老显卡性能

Windows 12系统可能会在2024年到来,按照正常的节奏,其开发工作应该早已秘密进行。日前,有开发者从Windows 11最新预览版Build 25188中

华盛顿地铁站首次亮相为视障人士扩展旅行路线

5月25日消息,一款旨在帮助视障人士或盲人行人使用公共交通工具的应用程序在华盛顿地铁站首次亮相。该应用程序名为Waymap,旨在为盲人和视

2022年情况又要变了!华硕高管:今年PC恐怕要供过于求

这两年来,由于疫情导致的居家办公及远程教育需求爆发,一直在下跌的PC市场枯木逢春,2021年更是创下了2012年以来的最快增长,然而2022年情

垃圾佬的心头好!西数新款固态盘SN740曝光

对于DIY垃圾佬来说,散片、拆机件、工包……这些名词怕是并不陌生。本周,西数推出了主要供应OEM厂商的新款固态盘SN740。SN740升级到了第五

虚假宣传、误导消费者 倍至冲牙器关联公司被处罚

后来者要想在激烈的市场竞争中立足,如果可以背靠巨头享受大树底下好乘凉的红利,那自然是皆大欢喜,没有这个福气,也大可凭借自己一步一个