IT思维

文/sunshine_lady

根据普林斯顿信息技术和政策中心（Center for Information Technology and Policy，CITP）的一项研究，虽然人工智能系统鼓励我们洞察我们所依赖的互联网大数据时代，然而这却容易对女性以及宗教种族群体产生一些偏见。

现在是机器学习和 AI 算法的黄金时代，智能算法的应用无处不在。根据计算机科学副教授 Arvind Narayanan 的研究，这种现象却会不经意强化和扩大了社会上流传的或者用户潜意识中的既定偏见。其文章已经提前发表在 2016 年 8 月的 arXiv 数据库中。

Arvind Narayanan 团队发现那些有意将女性更多地和家庭言辞结合的算法，同时有的算法的结果还会对老年人或者特定种族信仰人群挂上负面影响。“对于每一种记录在人群中的偏差，包括对性别的刻板印象和宗族歧视，在今天的机器学习模型中，我们已经能够复制出来，”Narayanan 说道，这项研究是她在博士后研究期间和英国巴斯大学计算机科学系的 Aylin Caliskan-Islam，以及 CITP 的访问学者 oanna Bryson 一起完成的。

研究通过探索词组在文本中的使用规律，并用机器学习算法构建语言模型，比如，通过关联所有维基百科或者新闻节选报道的十亿数量级的字节。语言模型每次只学习一个单词，研究员通过单词的几何坐标，对其在一个多维空间中的位置进行定位。如果这些单词经常挨着某些特定的单词，那么表明这两者间具有关联性，并且其所处的位置也能反映这些单词的含义。

通过这些单词在坐标系中的位置关系，研究人员发现了字里行间的偏见印象。

如果用这些文本训练模型，那么不难发现，互联网算法加剧了刻板偏见的扩大，比如男性经常会和“医生”联系在一起，这样的词还包括“雄心壮志”及“药物”。然而“护士”这个词更多的和女性关联在一起，这样的字眼还有“护理”及“药物”。这个模型将会默认“护士”是女性的，即使译文中的护士是男性的。

为了检测算法结果的偏差，研究人员努力建立一种针对人类对象的长期使用的测试工具，来揭露语言模型中潜在的偏差，即内隐联想测验（Implicit Association Test）。以人类为主要目标的检测译文来检测一些与名字、肤色等人口这类词汇相连接的，比如“邪恶”或者“美好”等带有主观情感的词语。通过机器学习算法所使用语言的几何化模型，可以更直接的通过测算褒义、贬义、中性的词汇之间的间隔来锁定学习结果中出现的偏差。

诸如此类的偏见足以对现实世界产生巨大的影响。比如，在 2013 年哈佛大学 Latanya Sweeney 带领的研究团队发现非裔美国人的名字更容易和通缉令形成配对。这样的结果无意地引起了种族歧视，比如当一个非裔美国人投递他的简历时，如果雇员在网上搜索他的名字，那么歧视很容易发生，因为他的名字更多的和犯罪这样的字眼挂钩。

“人工智能的力量其实和人类旗鼓相当，并不存在碾压或完爆的现象，”Bryson 是这样理解人工智能与人类的关系的，“我们人类可以不断地学习。只要我们拔掉电源，AI 程序的发展就会停滞在某个阶段。”

Narayanan 认为，如果我们可以处理这种偏见，人类可以采取一些措施从而使这种情况得以减轻缓解。也就是说，人类可以从数学意义上更正一个语言模型的偏差，并对算法出现类似的错误结果之时提高警觉。但更重要的是，我们还应该注意自身的用语习惯。

via princeton