词嵌入

摘自“矢量空间中词语表示的有效估计”，2013年

词嵌入是机器学习中使用的一种技术，在机器学习中，单词被翻译成一个向量－这些向量构成了用于算法的词汇字典。词嵌入在翻译服务、搜索和文本自动完成提示等许多常用应用中得到了广泛的应用。根据向量的角度，机器将能够理解单词的意义，进而理解词汇的普遍联系和对应关系。例如，“国王和王后”与“王子和公主”有关。对词嵌入能力的理解层级可以相当复杂，这使得它成为分析SAT测试、求职申请、求职信等的一个很好的工具。

摘自Bolukbasi等人的论文，2016年

然而，词嵌入的一个问题是，它有可能扩展现有的性别联系。波士顿大学的Bolukbasi等学者对谷歌翻译服务中使用的词嵌入技术进行了研究。在训练中很少涉及人类工程师的介入，代之以自然语言内容的文章、新闻、书籍等词库为基础进行训练。Bolukbasi考察了土耳其语与英语翻译的关系，因为土耳其语使用性别中性代词而不是明确的“（男）他”或“（女）她”。在将土耳其语翻译到英语的过程中，谷歌将被迫选择一个性别代词。这项研究发现了谷歌的性别歧视偏见，因为它将“o bir doktor”翻译为“他是一名医生”，而将“o bir hemsire”翻译为“她是一名护士”。

“知情”算法与“不知情”算法

从表面上看，消除偏见、解决公平问题的最简单方法是，隐藏造成偏见的信息：例如，在审查简历的算法中，排除简历中的姓名和性别，理论上听起来可能会防止性别偏见的发生。毕竟如果没有关于性别的信息，那么机器就不可能对男人和女人有不同的对待，对吧？

但现实比这更加复杂。上述方法被称为“不知情”的算法构建方法。如果要删除性别这一属性，前提是在工作能力方面，性别将是一个可以忽略不计的因素。然而，由于算法是经由训练来识别统计数据中的模式的，所以无论我们怎么做，数据集中都会不可避免的体现社会中的相关性、刻板印象和不平等，这些因素既然存在于现实中，也就存在于我们训练算法的数据集中。即使没有明确说明，机器学习也将能够获得与性别相联系的可见特征。例如，用于雇佣的分类算法可能会将权重放在兵役年限上，并将其与能力或忠诚联系起来，而在以色列，男性通常服务3年，而女性则服务2年。这就使得服役年限成了一个与性别密切相关的属性，删除了这一基本信息，就删除了做出客观决策所必需的上下文。正因为如此，一个“不知情”算法有时会比“知情算法”有更大的偏差。

另一方面，“知情算法”使用性别信息，可以将妇女服役时间较短的趋势纳入考虑的范畴。弥合准确性与公平性之间的鸿沟往往需要权衡：毕竟鱼和熊掌不可兼得。“不知情算法”是一个更公平的过程：在训练阶段不考虑敏感属性。然而，这可能导致有偏见的结果。“知情算法”使用了一个更不公平的过程：将敏感的分类和信息纳入考量，但最终可能产生更客观的结果。

反馈循环／自我延续

机器学习很容易陷入反馈循环，这最终会导致偏见的延续。例如，当机器预测用于刑事风险评估时，黑人比白人更有可能被评为高风险。这纯粹是由于黑人和白人之间在犯罪记录上的悬殊差异造成的，不幸的是，这反映了人类在种族方面的偏见。而且，随着机器不断的给黑人贴上高风险标签，数据集的数据逐渐的累加，从而使对黑人被告的偏见雪上加霜。在这种情况下，系统不仅反映了从人类偏见中学到的模式，而且还加强了自己的学习过程。

替代目标

除了训练数据中存在的问题外，偏见还可以通过多种方式进入算法的过程。我们的下一项研究是关于传播算法度量的构造有效性：你的度量方法是否达成了既定的目标？当它不能准确度量时，会产生什么后果呢？

社交媒体算法不再基于时间序显示帖子，而是通过机器学习算法过滤所有你曾经参与过的事情。目标是根据你以前的兴趣来衡量你的参与度，然后它会向你展示它认为你可能会参与的更多的内容。对一段内容的参与率越高，算法就越有可能将该内容推荐到新闻提要上：理想情况下，这是有意义的。因为，理论上，受欢迎的帖子应该是更好的内容，否则，为什么会有这么多人喜欢？

不幸的是，人类并不拥有足够的智慧，让这个算法可以恰如其分地工作。一直以来，表现最好的内容往往是由虚假新闻、名人八卦、政治诽谤和许多其他对改善世界毫无意义的东西组成的。但是对此算法是无法理解的，所以恶性循环仍在继续。

译注：

替代目标所讲，就是对于无法直接达成的目标采用的替代做法。如我们无法准确的获知人们对于内容的喜好所表达的方式是什么，因此只能生硬的选择点赞、评论、转发等指标作为替代目标来进行评估。而人们喜欢或者不喜欢一个内容，或者一个内容是否足够优秀，其真正的成因往往是十分复杂的。

人们在招聘过程中的许多决定也被移交给AI，用以进行简历筛选、工作能力分析和比较等。招聘工作是一个非常强调时限的过程，招聘过程的每个参与方都要付出高昂的代价：一旦出错的话代价甚至更高。据全美高校和雇主协会估计，在一家500人规模的中型公司中，雇佣一名雇员的费用约为7，600美元。通过让算法来完成这一繁重的任务，企业可以将其大部分资源和资金投入到其他地方，最终也更可能找到合适的人才。

然而，“替代目标”成为这个过程中的一个问题，因为对许多理想的工作特征的评估很难直接操作。如今，业界的一些热门词汇包括“创造力”、“沟通”和“生产力”，所有这些都是难以衡量的。衡量创造力的最常见的方法是替代用途测试，在这种测试中，人们会为常见的项目提供非常规的用途（比如，列举出回形针的25种用法，用以检测应聘者“不走寻常路”的能力，译者注）。基于这一衡量标准，员工可能会被分配一个“创造力能力倾向”分数，这个分数会加入训练数据集，用以筛选具备相同特质的员工。问题是，替代测试只是测试创造力的一个方面，即发散思维。它忽略了创造力的所有其他方面，而有些方面可能对公司文化非常有价值。其结果是，公司招聘了一大批具备“创造力”的员工，然而他们却都是以同样的方式来进行“创造”的：这很讽刺，也很无聊。

我们已经将机器学习算法用于做出重要决策的可能性尽量理想化了，但事实是，机器无法理解客观性、真实性、中立性或平等性。而当人类生命受到威胁时，所有这些特征都是重要的考虑因素。我们将何去何从？

结语

尽管我们已经阐明了人工智能模型可能带来的许多问题，但仍旧有很多理由可以支撑我们从以人为中心的决策方式转变为基于人工智能的决策方式。正如前面提到的，尽管人工智能存在种种缺陷，但它仍然比人类更客观。正因为如此，我们看到人工智能在基于决策和预测的任务中的应用仍旧在持续深入。但是，较少的偏见并不等同于没有偏见，当算法做出有偏见的决定时会发生什么？我们如何决定谁应该为此承担责任？毕竟我们没办法去惩罚一个有偏见的预测算法（能怎么办呢，删除它？）

可以说，跟踪问责制的最佳方法是对人工智能决策过程进行准确和详细的记录。也就是说，做出决定的过程和数据必须是透明的，这样如果有任何问题发生，第三方审计师就能够追溯导致结果的步骤，以找到问题的根源。人们已经为此制定了法案和法律，以保持相关实践的透明度。

当然，审计方法本身并不是没有问题的。对于具有大数据集的人工智能来说，审计并不总是可行的，审计也不总是适用于深度学习系统，后者不只面临大数据集的问题，还面临复杂的计算网络的挑战。算法的自主性和透明性似乎互相矛盾，随着算法在‘学习’和调整方面变得越来越好，人们就更难理解偏见发生在哪里了。虽然审计对于更简单的模型是有效的，但我们可能需要一种不同的方法来减轻复杂算法的偏见。

另一种减轻偏见的方法是针对AI的训练者和创建者。通过让他们意识到自己的偏见，我们有更好的机会将这些偏见排除在算法之外（比如，在设计谷歌翻译时考虑中性性别代词）。值得注意的是，人类的偏见是客观存在的，而且很难减轻，因为它是一种进化特征，但我们至少可以不断意识到我们自己的大脑容易受到偏见的影响。总之，如果我们不断学习、自查、保持明智并做出正确的选择，算法将可以为缓解由来已久的偏见作出贡献。

“继续努力使文化变得更好，并不断更新人工智能，以跟踪文化的发展。这才是上策。”

——乔安娜？布莱森

谢谢你的阅读！

相关参考资料

1．Abate， Tom．， Krakovsky， Marina． “Which is more fair： a human or a machine？” Stanford Engineering， January 31， 2018．

2．Bornstein， Aaron M． “Are Algorithms Building an Infrastructure of Racism？” Nautilus， December 21， 2017．

3．Bright， Peter． “Microsoft Terminates Its Tay AI Chatbot After She Turns Into a Nazi．” Ars Technica， March 24， 2016．

4．Courtland， Rachel． “Bias Detectives： the researchers striving to make algorithms fair．” Springer Nature， Macmillan Publishers， June 21， 2018．

5．Miller， Alex P． “Want Less－Biased Decisions？ Use Algorithms．” Harvard Business Review， July 26， 2018．

6．Schep， Tijmen． “What is Mathwashing？” Mathwashing， 2018．

7．Shapiro， Stewart． “The Objectivity of Mathematics．” Synthese， vol． 156， no． 2， 2007， pp． 337–381．

8．Bolukbasi， T．， Chang， K．， Zou， J．， Saligrama， V．， Kalai， A． “Man is to Computer Programmer as Woman is to Homemaker？ Debiasing Word Embeddings．” Microsoft Research New England， 2016．

9．Yona， Gal． “A Gentle Introduction to the Discussion on Algorithmic Fairness．” Towards Data Science， Medium． October 5， 2017．

关于作者：Nicole Kwan，坐标不列颠哥伦比亚大学，对这个世界和它所能提供的一切充满好奇。目前对认知科学和UX设计的研究十分着迷。