算法做决定:问题

最近在英国，政府试图使用一种算法来生成因COVID-19大流行而中断的公开考试的替代分数。结果是灾难性的:许多学生声称他们受到了不公平对待，被剥夺了宝贵的大学入学资格。政府被迫改弦易辙。但是，正如Phil Sansom从法律和计算机科学专家Karen Yeung那里听到的那样，这远远不是当今唯一被自动化的关键社会决策。

Karen:使用统计数据来为各种分配决策提供信息已经有很长的历史了。问题的发生是因为某些人忽视了根据每个学生的优点来评估他们的重要性。这当然是非常不公平的，因此我们看到了在这些成绩公布后出现的强烈抗议。

菲尔:那么这个想法，就是利用过去发生的事情来自动化对未来的决策:在其他地方发生的事情会不会是我没有预料到的?

凯伦:这种事到处都有。这是一个非常严重的问题，我们还没有找到解决的方法，因为如果我们以过去的购物行为模式为例，建立一个你喜欢什么和不喜欢什么的档案，那么我们就会想象你明天会像昨天一样喜欢同样的东西。这是一个相当温和的例子，但我觉得用一个很有力的例子来说明这个问题:几年前，卡内基梅隆大学的一组研究人员做了一个实验，把1000个模拟用户分成几组，让他们在网上找工作。他们允许他们继续搜索，然后让他们浏览相同的新闻网站，看看提供给他们的是哪种个性化广告。他们发现，男性用户看到高薪工作广告的频率是女性用户的六倍，这是基于历史数据表明女性不会获得高薪工作的假设;因为她们不喜欢高薪工作，所以假设女性对高薪工作不感兴趣，而且她们没有能力达到高薪工作的标准。

菲尔:哇。所以你的意思是，你不仅忽略了人们是不可预测的这一事实，而且你还会被刻板印象所影响。

凯伦:当然，当然。当您使用历史数据作为未来的预测器时，有一个基本的刻板印象逻辑。

菲尔:这是你可以通过提高你的统计或分析来解决的问题吗?

凯伦-我不相信我们能做到。你如何以一种非武断、非主观的方式，从你的数据集中消除历史偏见?你实际上是在瞎编。你会有一个理想社会的愿景，你会试图通过相应地改变你的数据集来反映它，但你实际上是在武断的判断基础上这样做的。

菲尔:我们谈过找工作;我们谈到了重要的考试成绩;在其他领域，这类事情会对人生的关键时刻或决定造成问题吗?

凯伦:是的，我认为近年来出现的一个问题是公共部门的决策，特别是与某些公共服务的资格有关的决策，越来越自动化了。

这在英国真的发生过，就像自动通用信贷之类的?

自动通用信用就是一个很好的例子。在澳大利亚，你可能听说过机器人债务的惨败，在那里，人们试图要求收回预测的超额付款，而许多人——成千上万的人——被剥夺了福利支票。事实上，一个年轻人甚至自杀了，因为他被错误地指控了。

菲尔:这项技术真的是个麻烦吗?因为它似乎在处理庞大、复杂、乏味的任务时非常有用。

Karen -这绝对是真的。计算系统在自动化非常重复，直接的任务方面非常出色，当它们自动化时，我们应该庆祝很多任务。但我认为我们需要注意的是将这些技术视为复杂的社会技术系统，尤其是当它们对人们的生活产生具体影响时。当然，富人能够逃脱这些系统，如果他们想和人说话，通常可以和人说话;还有很多其他关于算法恐怖秀的故事，如果你愿意的话，人们基本上被困住了，或者发现无法挑战这些系统产生的结果，因为它们根本没有入口。

菲尔:我们是否有一个合适的计划来培训人们真正擅长使用数据和自动化，就像你所说的那样，并通过培训来找出什么时候使用它们是正确的?

凯伦-我想我们还没有。