多伦多大学应用科学与工程学院的大四学生DebRaji和麻省理工学院的研究人员进行的一项研究强调了面部识别服务中的种族和性别偏见。

2018年夏天，Raji在麻省理工学院媒体实验室实习，她在那里回顾了微软、IBM和亚马逊等领先公司生产的商业面部识别技术。研究人员发现，他们都有将肤色较深的女性误认为男性的倾向。

但是其中一项服务，尤其是亚马逊的Rekognition，表现出了比其他服务更高的偏见。虽然它能以接近100%的准确率识别浅肤色男性的性别，但29%的女性将男性归类为男性，而浅肤色男性中有31%是男性。

Rekognition最近由佛罗里达州奥兰多的警方进行了试点，将该服务用于公共安全场景，例如扫描摄像头上的人脸，并将其与犯罪数据库中的人脸进行匹配。

Raj说：“这种技术不能很好地描述黑脸的事实可能会导致对犯罪嫌疑人的错误识别。”“考虑到亚马逊正在使用这项技术的高风险场景，亚马逊应该承担一些公众压力。”

随着人工智能(AI)产品的快速发展和部署，这项新研究强调不仅需要测试系统的性能，还需要测试对代表性不足的群体的潜在偏见。

虽然算法应该是中立的，但Raji解释说，因为数据集(用于“训练”AI模型的信息)来自一个仍在处理日常偏差的社会，这些偏差已经嵌入到算法中。

Raj说：“我想说明健康皮肤的外观。如果你立即用谷歌搜索，你会看到皮肤白皙的女性。”“在你真正向下滚动之前，你不会看到男人，也不会看到黑皮肤的女人。如果输入到AI模型中，它会采用这种世界观，并根据这些偏见调整决策。”

Raj说这些偏见应该被消除，就像追究一个人的责任一样。她说：“当偏见嵌入算法时，而不是当人们做出有偏见的决定时，危险就会增加。有人会告诉你，这是不对的，不管是公众还是老板。”

“有了人工智能，我们倾向于免除这一责任。没有人会把算法关进监狱。”

Raji对这个话题的热情偏向于机器学习，这源于她在ai开始Clarifai的时间，其中AI与道德的话题集中在一家有一年专业经验的带薪实习(PEY的Co-op)学生公司的学习上。

她说：“这是公司注意到的，在解决方案方面非常明确。这是一个让我个人产生共鸣的主题，因为我是一个明显的少数群体。”

这也源于她本人对种族偏见技术的亲身体验。她说：“我会在黑客马拉松上建造一些东西，想知道为什么它检测不到我的脸，或者为什么自动水龙头检测不到我的手。”

拉吉在麻省理工学院媒体实验室与计算机科学家和数字活动家乔伊布拉姆维尼分享了她的经历。这导致了实习，并使拉吉成为她在人工智能促进协会的人工智能伦理和社会会议上提交的论文的主要作者。

Raj说：“我知道我好像在三个月内写了一篇研究论文。”“但这个问题已经渗透到我的身体里很久了。”

Raji目前正在完成工程科学专业的最后一个学期，并推出了一个由学生主导的项目，名为ProjectInclude，该项目培训学生在多伦多和密西沙加的低收入社区教授计算机编程。她也是谷歌AI的实习生。作为指导计划的一部分，她正在写一篇新论文，重点是让公司负责的实际解决方案。

Raj说：“人们有时会淡淡地说：‘嗯，人工智能才刚刚开始。”“但如果你想建桥，行业能让你偷工减料，提供这些借口吗？"