谷歌新运行时 让闲置智能体成本降九成
在近日举行的KubeCon＋CloudNativeCon北美站上，谷歌云AI基础设施产品总监Allan Naim与产品经理Gari Singh接受采访时说，Kubernetes正在进入他们所说的第三幕：从训练与推理的底座，变成承载大量AI智能体的运行时。
问题在于钱。智能体有90％到95％的时间在等待模型返回、等待测试运行、等待人工审批，而它的容器或虚拟机通常一直处于运行状态，客户于是要为这段等待同样付出算力费用。
谷歌给出的答案是Agent Substrate，一个开源运行时，把智能体隔离托管在Kubernetes上。智能体被挂起时，运行时会把它的内存与本地文件保存成快照，腾出的算力交给其他智能体；工作恢复时，再从快照把智能体还原到一个可用沙箱里。
Naim说，在Kubernetes上运行Agent Substrate，相比把智能体直接跑在专用虚拟机与容器上，成本可以降到十分之一。这对按小时计费的智能体业务来说差别很大。
安全是另一半考量。谷歌2018年开源的gVisor位于宿主机内核之上，能够拦截或审计智能体的每一次系统调用。Singh解释说，智能体会想尽各种办法绕过限制去解决问题，因此需要确认它没有偷偷改动底层安全设置、没有发起意外的外网请求、没有打开不该打开的文件。
此外，谷歌与Anyscale合作推进KubeRay，让Ray框架原生跑在Kubernetes上，把分布式训练和推理能力开放给更多研究团队；OpenRL则把这套思路用到强化学习上。谷歌还向云原生计算基金会捐赠了三个相关项目。
编译自 SiliconANGLE，原标题：Google Cloud takes aim at the cost of keeping idle AI agents running on Kubernetes
