人工智能:在“黑匣子”内

人工智能过程应该是可解释的,以避免重复过去的人类错误
12月3日

人工智能

人工智能

分享

人工智能正变得越来越强大,并进入人们的日常生活,但我们往往不知道这些系统内部发生了什么。它们的不透明可能会引发实际问题,甚至是种族主义,这就是为什么研究人员越来越想打开这个“黑匣子”,让人工智能变得可以解释。

2013年2月,埃里克·卢米斯(Eric Loomis)在美国威斯康辛州拉克罗斯小镇开车兜风时,被警察拦下。他所驾驶的汽车被证实与一起枪击案有关,他被逮捕了。最终,法院判处他六年监禁。

如果没有一项技术帮助法官做出判决,这可能是一个平淡无奇的案件。他们使用了COMPAS算法来确定被告成为累犯的风险。法庭向系统输入一系列数据,如被告的人口统计信息,从而得出他们再次犯罪的可能性的分数。

然而,该算法如何预测这一点仍然不透明。换句话说,该系统是一个黑匣子——卢米斯在2017年向美国最高法院提起诉讼。他声称COMPAS使用性别和种族数据来做决定,并将非洲裔美国人列为更高的再犯风险。法院最终驳回了他的案件,声称即使没有算法,判决也会一样。然而,也有一些披露表明,COMPAS并不能准确预测累犯。

采用

虽然算法量刑系统已经在美国投入使用,但在欧洲,它们的采用总体上是有限的。例如,荷兰的一个人工智能量刑系统,在对公司逾期付款等私人案件进行审判后,于2018年在媒体的批评报道后被关闭。然而,人工智能已经进入了欧洲的其他领域。它的推出是为了帮助欧洲医生诊断Covid-19。像英国的M:QUBE这样利用人工智能分析抵押贷款申请的初创企业正在迅速涌现。

这些系统通过算法运行历史数据,然后得出预测或行动方案。然而,我们常常不知道这样一个系统是如何得出结论的。它可能工作正确,也可能有一个技术错误。它甚至可能重现某种形式的偏见,比如种族主义,而设计师甚至没有意识到这一点。

这就是为什么研究人员想要打开这个黑盒子,让人工智能系统变得透明,或者“可解释”,这一运动正在加速发展。今年早些时候发布的欧盟人工智能白皮书呼吁开发可解释的人工智能,谷歌和IBM等大公司正在为其研究提供资金,GDPR甚至包括了消费者的可解释性权利。

位于意大利比萨的国家研究委员会信息科学与技术研究所高级研究员Fosca Giannotti说:“我们现在能够生产出在决策方面非常有效的人工智能模型。”“但最终用户往往无法理解这些模型,这就是为什么可解释人工智能变得如此受欢迎的原因。”

诊断

Giannotti领导着一个名为XAI的可解释人工智能研究项目,该项目旨在让人工智能系统揭示其内部逻辑。该项目致力于自动化决策支持系统,比如帮助医生做出诊断的技术,或者向银行推荐是否向某人提供贷款的算法。他们希望开发出技术方法,甚至是新的算法,来帮助人工智能变得可解释。

“在这些系统中,人类仍然做出最终决定,”詹诺蒂说。“但每个使用这些系统的人都应该清楚地了解建议背后的逻辑。””

如今,医院和医生越来越多地尝试使用人工智能系统来支持他们的决策,但往往不知道决策是如何做出的。在这种情况下,人工智能分析了大量的医疗数据,并得出了患者患某种疾病的可能性百分比。

例如,一个系统可能在大量人体皮肤照片上进行训练,这些照片在某些情况下代表皮肤癌的症状。基于这些数据,它可以根据皮肤异常的新照片预测某人是否可能患有皮肤癌。这些系统还没有普及,但医院正在越来越多地测试它们,并将它们整合到日常工作中。

这些系统通常使用一种流行的人工智能方法,称为深度学习,它需要大量的小决策。这些数据被组合成一个层数从几十层到几百层不等的网络,这使得人们很难理解为什么系统会提示某人患有皮肤癌,或者识别错误的推理。

“有时候,即使是设计网络的计算机科学家也无法真正理解其中的逻辑,”詹诺蒂说。

自然语言

西班牙圣地亚哥德孔波斯特拉大学(University of Santiago de Compostela)计算机科学和人工智能教授塞恩•巴罗(sensamn Barro)认为,人工智能不仅应该能够证明其决策的合理性,而且应该能够使用人类语言来证明。

巴罗教授说,可解释的人工智能应该能够将结果自然地传达给人类,同时也能将证明结果合理性的推理过程传达给人类。

他是一个名为NL4XAI的项目的科学协调员,该项目通过探索不同的子领域(如实现可解释性的特定技术),培训研究人员如何使人工智能系统具有可解释性。

他说,最终的结果可能看起来类似于聊天机器人。他说:“自然语言技术可以构建对话代理,将这些交互式解释传达给人类。”

另一种给出解释的方法是系统提供一个反事实。吉安诺蒂说:“这可能意味着这个系统给出了一个例子,说明人们需要改变什么来改变解决方案。”在贷款判断算法的情况下,反事实可能会向贷款被拒绝的人显示最近的情况是什么,他们将在哪里获得批准。它可能会说某人的工资太低,但如果他们每年的收入超过1000欧元,他们就有资格。

白盒子

Giannotti说,有两种主要的解释方法。一种是从黑盒算法开始,黑盒算法本身无法解释其结果,并找到揭示其内在逻辑的方法。研究人员可以在这个黑匣子系统上附加另一个算法——一个“解释器”——它向黑匣子提出一系列问题,并将结果与它提供的输入进行比较。从这个过程中,解说者可以重建黑箱系统是如何工作的。

“但另一种方法是扔掉黑盒子,使用白盒算法,”詹诺蒂说。这些机器学习系统是可以通过设计来解释的,但往往不如黑盒系统强大。

詹诺蒂警告说,我们还不能说哪种方法更好。“选择取决于我们正在研究的数据。”When analysing very big amounts of data, like a database filled with high-resolution images, a black box system is often needed because they are more powerful. But for lighter tasks, a white box algorithm might work better.

然而,找到实现可解释性的正确方法仍然是一个大问题。研究人员需要找到技术手段来检验一种解释是否能很好地解释黑箱系统。NL4XAI的巴罗说,最大的挑战是定义新的评估方案,以验证生成的解释的良好性和有效性。

最重要的是,可解释性的确切定义有些不清楚,这取决于它的应用情况。与使用系统进行医疗诊断的医生相比,编写算法的人工智能研究人员需要不同的解释。

NL4XAI的副协调员、圣地亚哥德孔波斯特拉大学的研究员何塞·María阿隆索博士说:“人类对(系统输出)的评估本质上是主观的,因为它取决于与智能机器互动的人的背景。”

然而,可解释的人工智能正在逐步发展,这将改善人类与机器之间的合作。“人类不会被人工智能取代,”詹诺蒂说。它们将被电脑放大。但解释是这种合作的一个重要前提。

评论

添加注释