APP下载

容器丛集效能成新议题,HyperPilot开源释出,要靠机器学习自动优化容器丛集

消息来源:baojiabao.com 作者: 发布时间:2024-05-10

报价宝综合消息容器丛集效能成新议题,HyperPilot开源释出,要靠机器学习自动优化容器丛集

借助容器丛集,来支援大数据或机器学习分析所需的大型丛集,已是资料科学家常用的方法之一,但想要自己在云端部署Docker容器丛集,第一个挑战就是,要怎么租用VM,才能省钱又能符合需要的效能?得同时考量VM规格、容器配置和应用程序的配置需求等多项复杂变因,来衡量成本,往往得靠资深的云端架构师才有能力拿捏得当。

前Mesosphere分散式系统首席工程师Timothy Chen近日开源释出了一套容器丛集配置自动化工具Hyperpilot,这是利用机器学习技术中的Bayesian Optimization最佳化技术,依据使用者提供的条件,来找出最佳的容器丛集所需要的VM架构配置,目前只能针对AWS上的VM规格为优化对象。

这套工具还提供了一个资源瓶颈分析工具HyperPath,可以从CPU、内存、网络、I/O的来评估资源瓶颈,开发者已配置的单一容器或单一节点的效能上限,方便开发者来衡量应用程序在这样规格的容器或节点上的执行效能。

Timothy Chen率领的团队也开发了新的Heracles 效能评估算法,可供容器丛集控制器使用,来动态调整配置给应用程序的资源,根据Timothy Chen释出的测试例子,可将一个Spark分析丛集的效能利用率提高2~3倍。

2018-03-19 16:32:00

相关文章