脸书开源差分隐私模型训练函式库Opacus

脸书释出了一个高效能开源函式库Opacus，可以用来训练差分隐私（Differential Privacy）PyTorch模型。Opacus透过轻量级API提供了PrivacyEngine抽象，该抽象会处理差分隐私工作，而训练完的模型是标准PyTorch模型，可简单地部署，另外，Opacus函式库还包括预训练和微调的模型，以及大规模模型使用教学，并提供了隐私研究的实验基础设施。

差分隐私是一种密码学的方法，用来防止跨去识别化数据库查询时，可能使纪录暴露个人资料的可能性，也就是说，当研究人员连结两个或是多个分别经去识别化的数据库时，各种公共纪录匿名化的分法都可能会失效，而差分隐私技术就是防护这类匿名技术的隐私框架，过去通常差分隐私应用于分析中，但是最近也被大量用于机器学习里。

而为了让研究人员与工程师，能够在机器学习应用中，简单地使用差分隐私技术，并加速差分隐私的研究，脸书开源了自家使用的Opacus函式库，Opacus在训练模型时，尽可能降低客户端需要更改的程式码，减少差分隐私对训练效能的影响，并且让客户端追踪任何时刻的隐私预算。

Opacus使用差分隐私随机梯度下降法（Differentially Private Stochastic Gradient Descent，DP-SGD），其透过修改标准的PyTorch最佳化程式，在训练过程实作并且测量差分隐私，脸书提到，Opacus会保留每个训练样本的隐私，但同时又能限制差分隐私处理对最终模型准确性的影响。

该算法的核心思想是，调整模型用来更新权重的参数梯度，来保护训练资料集隐私，也就是在每次迭代的时候，将噪声添加到梯度中，可以避免模型记住训练范例，但同时又可以进行汇总学习，而噪声会在训练过程中的众多批次中被消除。

脸书强调Opacus具有高速、灵活、安全和高互动性等特色，由于透过使用PyTorch中的Autograd Hook，Opacus能够计算每个批次每个样本的梯度，与仰赖微批次的差分隐私函式库相比，Opacus超越他种方法数个数量级的速度，而且开发者能简单地结合Opacus和PyTorch一起使用，并撰写纯Python程式，来快速验证自己的想法。

而在安全性上，Opacus在重要的程式码上，使用加密的伪随机数生成器（Pseudo Random Number Generator，PRNG），这个过程是以GPU进行运算，高速地加密每批次参数。Opacus也具有极佳的互动性，能够追踪特定时间点隐私预算，进而让用户能够执行即时追踪或是提早停止等动作。

脸书提到，机器学习的应用和研究不断往前进，他们鼓励开发社群，特别是在重要的程式码上，使用少量且经过仔细审查和专业维护的函式库，不要使用自己开发的相关加密函式库，才能最大程度地减少攻击面，而脸书现在开源Opacus工具，让差分隐私应用资源普及，使得机器学习更加安全。