微软开源自家模型除错工具Error Analysis

微软使用之前所开发的负责任人工智能（Responsible AI，RAI）工具，开发出了最新的Error Analysis工具，让使用者可以对模型进行除错，探索其可能出现错误的情况。

微软提到，在现实世界部署机器学习模型，开发团队常会遇到评估模型效能的问题。模型准确性可能在不同的资料子集并不一致，还可能因为特定输入条件，使得模型发生错误的概率更高，这类的错误使得机器学习应用缺乏可靠性和安全性，像是交通号志侦测器可能在部分日光条件，或是意外输入下无法运作，因此即便模型整体的准确性可能很高，但是开发团队能掌握模型，会在特定情况发生错误，仍是一件重要的事。

而目前模型评估方法存在一些问题，最明显的是使用汇总指标来对模型进行评分，但是模型的详细情况，很难只用一个数字来表达，因此汇总指标有其限制，另外，输入特征空间也存在多个维度，像是自动驾驶汽车开发团队，便需要关心车辆在黑夜以及雪地中运作的状况，在特殊的条件下，自动导航的能力可能会受到限制。而且随着资料和技术改进，模型在更新和重新部署后，开发团队还必须持续追踪和监控模型行为，避免混入新的错误。

为了解决这个问题，微软开发了Error Analysis工具，该工具使用机器学习技术，以有意义的维度切分模型错误，让开发者能够更好地掌握模型的错误模式，使得开发者能够更快速、准确地辨识出不准确的子集，进而从根本解决问题。微软现在公开Error Analysis的源代码，并且已经成为微软开发人工智能应用，不可缺少的工具之一。

微软在2020年5月的Build大会，发表了三个负责任人工智能工具InterpretML、Fairlearn和SmartNoise，这些工具可以让资料科学家深入理解模型预测，还有评估模型公平性和提高资料隐私，而Error Analysis便是建立在这些工具基础之上，该专案整合负责任人工智能小工具OSS储存库，开发人员除了可以使用Error Analysis分析模型错误，同时也可以利用Fairlearn、InterpretML和SmartNoise来改进机器学习模型。