此事给我们提了一个醒：“真正负责思考的是人类。尽管这种思考以算法形式体现出来，而我们也认为这种算法是中立而科学的，但本质并没有改变。”他说。

公民自由组织最近对基于计算机的执法预测工具表达了担忧——这类系统会使用数据预测犯罪可能发生在哪些地方——因为这些数据可能采用了有瑕疵的统计数据，因而可能加剧种族偏见，并引发有害的警务措施。

“数据受到污染，结果也会受到污染。”媒体争议中心（Center for Media Justice）执行总监马尔基亚·赛丽尔（Malkia Cyril）说。

ProPublica今年早些时候进行的一项调查发现，用于预测未来犯罪活动的软件对黑人存在偏见，这有可能引发更严厉的量刑。

“这真的是人命关天的大事。”哈弗福德学院计算机科学教授索瑞勒·弗雷德勒（Sorelle Friedler）说。

弗雷德勒表示，关键问题在于，少数族裔在数据库中的占比本身就比较低，因此算法很容易针对这些人得出不准确的结论，而算法的创作者却无法发现这一问题。例如，她表示，一套对印第安人存有偏见的算法可能被视作一大成功，因为这些人在人口总数中仅占2%。

“你可能得到98%的准确率，并由此认为自己设计了一套优秀的算法。”

弗雷德勒表示，可以通过一些具有前瞻性的方法对算法进行调整，以便纠正偏见，包括改进输入系统的数据，或者增加一些过滤器，以便确保不同种族的人都能得到平等对待。

具有前瞻性的人工智能算法并不限于刑事司法系统。一项研究发现，在网上看到高薪招聘广告的女性远少于男性。谷歌的照片应用去年甚至将黑人识别为大猩猩。

赛丽尔指出，计算机算法在纠正社会不平等的过程中发挥的作用非常有限。“在本应着眼于制度变化的时候，我们却过于依赖技术、算法和机器学习。”

扎沃伦科夫表示，当Beauty.AI今年秋天举行新一轮选美比赛时，他希望通过对算法的一系列调整来规避歧视性结果。“我们将努力纠正这个问题。”

他补充道，机器人或许根本就不是最好的选美裁判：“更令我惊讶的是算法在选美过程中使用的标准。它从大量候选人中选出的优胜者可能并不符合我自己的审美。”