Google释出无程式码机器学习模型分析工具What-IfTool

Google推出开源TensorBoard网页应用程序的新功能What-If Tool，让使用者在不需要撰写任何程式码的情况下，检测机器学习模型，使用视觉化互动界面，探索模型结果。

建构有效的机器学习系统有很多面向需要注意，除了算法和效能表现外，资料也是一个良好机器学习应用的根本要素，TensorFlow官方早前释出了TensorFlow资料验证（TensorFlow Data Validation，TFDV）工具，来帮助开发者进行大规模资料分析与验证。而Google也提到，机器学习的模型训练完成后，仍然可能存在许多问题，需要经过反复的探索调校。

Google认为，一个优秀的开发人员，应该要可以对自己训练出来的机器模型，回答几个问题，像是资料的变化会如何影响模型的预测？机器模型对不同的群体有哪些不同的表现？用来测试模型的资料是否足够多样化？要回答这些问题并不容易，通常探索机器学习模型必须要编写一次性的程式码，来分析特定的模型，但这个过程通常效率很低，而且不会写程式的人也很难参与其中。

为此，Google在开源的TensorBoard网页应用程序中，推出了What-If Tool新功能，可以让使用者在不撰写任何程式码的情况下分析模型，只要给What-If Tool一个TensorFlow模型以及资料集的指标，该工具就能提供互动式视觉化界面，让使用者探索模型结果。What-If Tool包含了丰富的有用功能，除了能使用Facets自动视觉化资料集外，还可以从资料集手动编辑范例以检视影响变化等。

Google提到，What-If Tool有两个强大的使用案例，可以用在反事实（Counterfactual）以及效能和算法公平性分析。反事实是来侦测“如果-那么”的假设性因果关系，使用者只要在What-If Tool点击一个按钮，就能把资料点和模型预测不同结果的最相似资料点进行比较，这能有效地寻找模型决策边界。而且使用者也可以直接手动编辑资料点，以探索整体模型预测的变化。在效能和算法公平性分析方面，使用者也可以用What-If Tool探索不同分类阈值对模型的影响，同时考虑不同数值的公平性标准等约束条件。

What-If Tool在Google内部测试的结果，有一个团队发现他们的机器学习模型，错误忽略资料集的整体特征，还有另一个团队则使用What-If Tool的视觉化工具，整理模型最佳与最差的范例类型，发现了导致他们模型表现不佳的原因。