Google推出机器学习公平性量测工具以评估模型偏见

Google发布了Fairness Indicators工具，可针对二元和多类别分类（Classification）进行运算与视觉化，帮助机器学习开发团队，评估与修正模型所存在的偏差。

产业界与学术界大量地使用机器学习技术解决问题，但是机器学习算法和资料集，可能同时反映且强化了偏差。Google提到，偏差有可能出现在机器学习工作管线的任何部分，从资料集到模型的表示，甚至是将结果呈现给终端使用者的方式都不例外。

而为了检测机器学习存在的偏差，针对单一用户或是用户群的评估非常重要，Google强调，因为总体指标可以掩盖某些群组不良的状况，这些群组包括敏感的特征群体，像是种族、性别、国籍、收入、性倾向、能力和宗教信仰。

Google的人工智能原则其中一项，是要避免造成或是加强不公平的偏见，他们也持续在这领域耕耘，现在并于TensorFlow World大会发布了Fairness Indicators工具。Fairness Indicators可运算并视觉化像是误报率等常用的分类模型公平性指标，还能计算信赖区间，以多个阈值进行评估。在使用者界面上，使用者可以切换基准群组并调查不同指标的效能，也可为自己的使用案例，增加自定义的视觉化指标。

Fairness Indicators可以用来产生透明性报告指标，以帮助开发人员更负责地调校模型，Google表示，公平性的顾虑与评估会因为案例而不同，因此Fairness Indicators工具还包含了一个互动式研究案例，提供Jigsaw毒性资料产生的意外偏差，说明使用Fairness Indicators检测和修补机器学习模型偏差的方法。

Google提到，光靠指标与测量并无法让机器学习模型实现完全的公平，这些方法仅是辨识与解决偏差的其中一环。