预防AI被误导，IBM开源检测模型及对抗攻击的工具箱

为了防御AI模型遭到误导产生错误的判断，研究人员需要经过不断的模拟攻击来确保AI模型不会受到欺骗，IBM研究团队近日于GitHub开源了检测模型及对抗攻击的工具箱Adversarial Robustness Toolbox，来协助开发人员加强针对深度神经网络攻击的防御性，让AI系统变得更加安全。

近几年AI在许多认知任务上都有所突破，生活中许多任务也都开始加入AI技术，像是辨识图像和影片中的物体、语音转文字、机器翻译等，不过，深度学习网络若受到设计过的干扰讯号影响，很容易产生错误的判断，而这类型的干扰是人类难以察觉的，有心人可能会利用这样的弱点，误导AI模型的判断，用于不当的意图。

Adversarial Robustness工具箱目前主要提供增强电脑视觉辨识的防御性，提供开发人员开发出新型防御技术，并在实际部署AI模型时也能防御恶意的误导攻击，该工具箱是用Python撰写而成，因为Python为建立、测试和部署深度神经网络最常用的语言，包含了对抗和防御攻击的方法。

首先，开发人员可以用该工具箱检测深度神经网络的稳固性，主要记录了模型对不同干扰的输出结果，再透过攻击的资料集来强化AI模型，最后标注攻击模式和讯号，防止模型因干扰讯号，产生错误结果。

Adversarial Robustness工具箱目前支援TensorFlow和Keras，未来预计会支援更多框架，像是PyTorch或MXNet，现阶段主要是提供图像辨识的防御，未来将会增加更多领域的版本，像是语音辨识、文字辨识或和时间序列等。