Google推出网页版跨平台AI工作管线框架MediaPipe

Google将跨平台多模应用机器学习工作管线框架MediaPipe移植到了网页平台，在去年的时候，Google释出MediaPipe开源专案，可以让开发者在行动装置Android和iOS，以及边缘装置Google Coral上，以MediaPipe图（Graph）形式建置和执行机器学习工作管线。

现在透过WebAssembly技术以及XNNPack机器学习预测函式库的加持，Google将MediaPipe带上网页浏览器，并且能即时执行MediaPipe图。Google提到，他们用Emscripten将所有需要用到的C++程式码都编译成WebAssembly，因此在执行的时候，网页浏览器可以非常快速地执行这些指令，比传统的JavaScript程式码有效率的多。

而且Google还创建了一个简单的API，让JavaScript和C++之间能进行必要的通讯，使得JavaScript能够直接更改MediaPipe图，并且进行互动，而机器学习模型与辅助的文字和资料档案，则被打包成二进制资料包，在执行的时候才载入。MediaPipe会自动使用WebGL，来处理需要用到OpenGL的运算。

虽然WebAssembly比纯JavaScript快得多，但还是比原生C++还要慢，Google提到，他们进行了许多最佳化，在可能的情况下，尽量使用GPU进行图像操作，并选择最轻量的机器学习模型版本，牺牲品质以换取速度。

但由于电脑着色器无法广泛地用于网页，因此没办法简单地利用TensorFlow Lite GPU机器学习预测，而使用CPU预测又会成为效能瓶颈，为了降低这情形带来的影响，Google使用XNNPack机器学习预测函式库，以扩充TfLiteInferenceCalculator，提升多数应用程序2到3倍的速度。

Google将MediaPipe网页版整合到网页视觉化工具Visualizer中，提供互动式Playground环境，开发者可以快速迭代图的设计，使用鼠标和滚轮就能缩放图形表示，图也会即时根据编辑器的修改变化，而且每次图迭代，都可以即时的使用网络摄影机进行串流测试。

网页版MediaPipe目前仍然有一些限制，开发者只能使用模版图（Template Graph）进行编辑，无法重头开始设计，另外，图的执行程式还必须是单执行绪的。