ACLU实验脸部辨识发现错误率太高，Amazon：是信度阈值设错了

针对美国公民自由联盟（American Civil Liberties Union，ACLU）对Amazon人脸辨识系统Rekognition所做的实验，错将28名美国国会议员辨识为罪犯的结果。Amazon回应，这结果与信度阈值设定有关，提高信度阈值便能减少错误配对，该公司举例，人们不会因为烤箱温度设定错误烤焦比萨而丢弃烤箱。

ACLU使用Amazon的Rekognition系统，以25,000张公开的罪犯照片建构了脸部数据库，并使用当前国会议员的公开照片进行比对，在80％的信度下，发现535位议员被错误配对28次，也就是说有28位议员被系统认为是罪犯，正确率95％而错误率为5％。Amazon在自家部落格发文回应ACLU的实验结果，由于无法取得更进一步系统设定的资料，Amazon仅能以目前ACLU公开的资料回应。

Amazon提到，虽然Rekognition系统预设信度阈值为80％，但这仅适用于一般社交媒体名人辨识之用，是无法用于公共安全的。Amazon对用于公共安全目的之应用，根据他们公开的文件建议，应该要将信度阈值设为99％。

Amazon重现了类似ACLU的实验，他们将学术界常用的脸部资料集850,000张照片作为脸部数据库，对所有国会成员的公开照片进行比对。Amazon提到，当他们把信度阈值设为99％的时候，尽管Amazon自己所做的实验，比ACLU的规模大30倍，复杂度更高，但是错误辨识率却是0％。而这个实验说明了信度阈值设定的重要性。Amazon也提到，ACLU使用的脸部资料集也可能是造成结果偏差的原因之一。

而Amazon拿出了美国国家标准与技术研究所（NIST）的研究资料打脸ACLU，Amazon表示，一般人都以为人类在脸部比对的能力比机器优秀，但事实上并非如此，根据NIST的研究，即便使用比Rekognition落后的脸部系统，其辨识人类脸部的精准度仍然在人类之上。

在现实使用案例中，Amazon强调，Rekognition系统只用于帮助人类缩小可能范围，并让人类使用自有判断能力审查系统的建议选项。这样的功能对于寻找失踪人口、打击人口贩卖或预防犯罪有很大的用处。

Amazon提到，当新技术发展时，必须很清楚什么是真实的，什么不是，机器学习应用在娱乐与执法上截然不同，他们不会建议执法单位使用小于99％的信度阈值。正确使用机器学习，能为执法单位带来庞大的价值，但不应该因为没有正确使用而丢弃工具，Amazon打了个比喻，就像是错误设定烤箱温度而烤焦比萨，我们也不会把烤箱丢掉。