Container周报第128期：Line改用K8s建置核心机器学习丛集，vSphere则推公测计划长期招募新功能试用者最新消息

图片来源:

Line

7/1~7/31 精选容器新闻

＃机器学习丛集 #资料工程 #K8s
Line改用K8s取代Mesos自建ML丛集，影像辨识、推荐引擎和使用者图像预测都靠它

去年Line在东京开发大会上，首度公开了自家资料工程平台资料特征服务化（FssS，Feature as a Service）的新架构，这是用来将资料去识别化变成基础预设功能，在支援庞大资料量分析需求时又能兼顾隐私规范。去年Line揭露FaaS服务时，只透露这是一个专属的机器学习丛集，但没有揭露这个丛集是部署在Line私有云Verda或是后来增加的K8s环境中。

Line原本就利用开源基础架构软件OpenStack，自行打造了一套私有云平台Verda，每年要维运部署超过2万个VM，给内部4千个专案使用。因为许多专案规模较小，为了提高主机CPU的利用率，Line基础架构团队决定导入一款K8s管理平台软件Rancher，来建立方便自动化维运的K8s环境。

去年12月时，Line只先完成了K8s简单丛集部署机制和维运自动化机制，能支援Line基础运算需求的应用情境，但还是无法满足原有Verda私有云所能支援的各种基础架构使用情况，也没有将所有专案都搬上K8s环境。当时Line就预告，将逐渐扩大K8s导入范围，并且增加更多外挂式设计，当时Line的目标是，要将常用的K8s管理功能变成一套功能化服务。

今年6月底，在一场Data Labs线上招募说明会中，Line日本Machine Learning1（简称ML1）团队经理菊地悠揭露了整套资料工程平台的基础架构的最新进展。这个团队的任务是要建立一套内部标准化和方便运用的机器学习运算工作流程，来强化各种Line服务的竞争力。

ML1团队所负责的资料工程平台中，其中一项功能是特征服务化（FaaS）架构，这是一个用来提供标准化ML流程和服务的框架。这个框架包括了一套集中式的通用特征服务，也就是使用者特征相关的z特征服务，稳摇功能用的Y特征服务，以及抽取内容特征的c特征服务，主要由机器学习团队维护。不过，要满足Line对外各种机器学习解决方案，只有FaaS共用服务还不够，ML1团队自己还有负责维运了一套全公司通用的机器学习元件服务，以及针对特定服务提供的专门元件服务。另外，其他部门也会自己维护元件

ML1团队自行管理的机器学习丛集服务则用来提供各种机器学习解决方案，包括机器学习团队提供的解决方案，和其他部门也会有自行维护的ML专用元件，来满足各自ML解决方案之用。换句话说，Line虽然有一套共用的私有云，各部门在机器学习应用上，还是各自建立一套自行维护的专用服务元件，只有各部分通用的共同ML元件和服务，统一由ML1团队来负责维护。

而ML1团队除了部分服务使用了Verda私有云平台，例如提供z特征服务的Hadoop资料湖，就是部署在内部基础架构环境Verda私有云上，但是ML1团队也自己另外采用了一款容器管理平台Mesos，来建立了一套自用的机器学习丛集，作为其他ML元件计算之用。像是常用的Spart的ETL处理，或是一些批次型运算，如影像辨识或音乐分析的DNN深度学习模型训练、推荐引擎、使用者图像预测都是利用这套Mesos容器丛集来运算，另外还有一些长期运算任务，例如用来优化机器学习模型用的ABTest功能、相似比对（Look A Like），MAB强化学习计算也会使用Mesos丛集。

但是，随着Verda私有云去年开始逐渐大力拥抱K8s，ML1团队也决定换掉Mesos软件，改用K8s来建立ML丛集，支援内部各项机器学习计算之用，并且也简化了ML1团队K8s运算丛集的任务，将部分长期性任务抽离到外部环境中提供，只留下核心处理和批次型运算任务，以及用来自动优化ML模型的ABTest。

去年Line在开发日时，Line机器学习开发主管并川淳就预告，希望能建立一个所有服务都能通用的自动推荐系统，并且将推荐结果标准化，透过ABTest来了解推荐模型修正的情况，例如采用不同ML推荐模型来提供推荐图片后，透过ABTest机制来搜集每一个模型的使用者点击率评分，作为优化推建模型的参考依据。而且，他希望这样的推荐机制发展到极致，就可以让每一个服务，自动透过各自的推荐机制结合ABTest机制，自动优化每个服务各自所用的推建模型，这是他去年揭露的发展方向。而要实现这个目标，并川淳计划将ML1团队的机器学习丛集，改为K8s架构，来善用GPU资源的调度。虽然，今年6月的Data Lab说明会中，没有进一步揭露这样的推荐结合ABTest自动优化ML的设计，是否已经完成，但至少，Line已经先将机器学习丛集的环境，转换到主流的K8s架构了。

#vSphere #公开测试招募
VMware要找用户来抢先试用新功能，vSphere推出持续公测计划

VMware今年推出了史上最大改版的虚拟化平台vSphere 7.0，将K8s内建到自家核心虚拟化产品中，这个改变将原本封闭专属架构的vSphre，转而变成了采用开源技术的开放架构平台。因为K8s原本就有一套步调更快的产品改版和发布计划，每年发布4次新版本。VMware也开始调整自家产品的发布计划，第一个动作就是推出了持续公测计划（Continuous Beta），只要填妥申请表单，审查通过就能加入。这个计划将提供两种测试版本，由VMware环境提供的托管测试版，以及可以让测试用户下载安装的版本。VMware也会派出产品经理、技术支援工程师来了解Beta版的试用情况，并提供了一个内部讨论区让测试用户交流。测试用户也可以直接提出功能、配置或使用界面设计的建议。

＃超融合架构＃Azure Stack HCI
微软第二代超融合基础架构产品瞄准混合云管理，采核心数计价瞄准中小企业需求

微软在今年7月合作伙伴大会Inspire上，公布了第二代超融合基础架构解决方案AzureStack HCI（Hyperconverged Infrastructure），主打更强的混合云管理功能。微软于去年3月宣布Azure Stack HCI，是该公司第二个超融合架构方案（第一个是Azure Stack Hub）。Azure Stack HCI关键是Hyper-V及Windows Server 2019软件定义资料中心（SDDC）、储存空间直接存取等。新的Azure Stack HCI是一种Azure服务。它的底层不只是单纯的Windows Server，而是原生整合Azure混合云管理功能（包括备份、安全中心及Azure Monitor）。新版采每核心计价订阅，可用来建立小型环境，像是远端办公室或分公司，例如订阅8核心服务器或16以下的VM。

#基础架构管理 #K8s
Lyft释出自家基础架构管理流程工具，可用来管不同常用工具也能调度K8s

Lyft开源了自家内部使用的基础设施工具Clutch，可以提供一套工作流程的管理工具，可以让工程团队能够建置、执行和维护工作流程，包括特定的安全机制以及存取控制，另外，Clutch还提供了管理AWS、Envoy和Kubernetes等平台的功能。这套平台由两部分构成，后端是以Go开发，采可扩充设计，可进行一般身份验证，并且提供系统的可观察性以及日志纪录稽核功能。前端则用React，提供以工作流程来设计UI操作，让使用者不需要先具备丰富的JavaScript知识，能以更少的程式码创建新功能，且更易于维护。Lyft预计在2020年底前，内部7个工程团队都会采用Clutch来统一维运工作的管理。

#CICD #Puppet
老牌DevOps工具Puppet更新企业版功能，强化自动化范本共享机制

DevOps爱用的老牌自动化组态管理工具Puppet前几个版本加入了了计划（Plans）功能，可以使用程式逻辑，来调度不同的任务与工作流程，这个功能可让使用者以重复且可扩展的方式，跨基础设施执行多步骤变更，最近Puppet更新了Puppet Enterprise中，更强化了这个计划功能，甚至可以整合Puppet Forge中的共享内容，来进行复杂的调度任务和计划，甚至是部署应用程序。官方举例，当使用者要准备发布应用程序的基础设施，需要执行配置负载平衡器、使用VMware配置节点，还有设定Apache服务器等工作，使用者都能够直接参照模组来完成这些重复性工作。

#ECS #DevOps自动化
AWS容器服务ECS推出新款命令列工具Copilot，更容易建立CI/CD流程

AWS释出新的ECS命令列工具AWS Copilot，相较于2015年释出用于容器服务Amazon ECS的命令列工具，Copilot可以让使用者不用手动管理低阶的基础设施，就能在ECS上部署应用程序。AWS在去年底发布这个新的ECS命令列工具的消息，现在正式更名为Copilot。使用者只需要提供Dockerfile，再加上几个指令，Copilot就能够在AWS上创建和启动容器，自动以高可用性部署，并创建和配置负载平衡器，Copilot甚至可以创建CI/CD工作管线，在开发者将新的程式码提交推送到储存库的时候，自动重新部署应用程序新版本。Copilot还能跨地区和账号设定测试和生产环境，而用户也能透过命令列工具，监控系统并且进行除错。

#Rancher #SUSE ＃并购
SUSE终于揭露K8s布局并购成果，买下Rancher Labs强化大规模K8s部署能力

早在去年底，SUSE工程产品创新总裁Thomas Di Giacomo就预告将会透过并购来强化自家K8s产品的布局，在今年7月终于揭露了并购成果。SUSE买下了2014年成立成立的容器软件商Rancher Labs，其主要的产品为Rancher，可让使用者管理和大规模部署Kubernetes到资料中心、云端和边缘等各种基础设施上，Rancher目前拥有37,000个活跃用户，下载量超过1亿。另外，Rancher Labs还开发了为Kubernetes丛集设计的Linux发行版K3OS，以及边缘专用的Kubernetes轻量级版本K3s。Rancher Labs在并入SUSE之后，将继续维持开放的策略，同时支援多个Kubernetes发行版和操作系统版本。Rancher采用无关基础设施的架构，支援所有经过云端原生运算基金会（CNCF）认证的Kubernetes发行版，包括Google GKE、Amazon EKS和微软AKS等。Rancher Labs首席执行官梁胜表示，并购程序将在几年稍晚时结束，他也会进入SUSE领导合并的工程和创新部门。

#K8s #VMware
VMware将K8s输入控制器专案Contour捐给CNCF

CNCF云端原生运算基金会宣布接收来自VMware的开源Kubernetes输入（Ingress）控制器Contour，这个专案原本是一家新创Heptio所开发，Heptio后来被VMware并购，Contour也就进到了VMware旗下。Contour透过部署Envoy代理作为反向代理和负载平衡器，来控制流入Kubernetes的流量，Contour支援动态更新，并可透过限制命名空间支援多团队的Kubernetes丛集，能够方便地配置虚拟主机和TLS凭证，并提供进阶的负载平衡政策。Contour已经被多家企业使用，如Adobe就用来作为自家多租户Kubernetes平台Ethos的输入控制器。社群也已经制定了Contour明确的发展路线，计划支援Kubernetes Service API以及跨Kubernetes丛集路由服务，另外，Contour还会扩大支援Envoy，加入速率限制、身份验证以及存取日志服务等功能。

#网格服务 #微服务管理
网格管理平台Kuma工具推0.6新版，可支援超复杂异质架构的网络流量调度

知名的开源API管理工具商Kong最近翻新网格管理平台Kuma释出0.6，同时也将这个工具捐给CNCF基金会，成为社群自主发展的孵化专案之一。0.6版特色是支援混合通用模式，让Kuma能够支援异构环境的复杂应用程序，能跨包括虚拟机器、Kubernetes丛集和多个资料中心，控制网络流量。现在使用者不只可以分别为Kubernetes和虚拟机器工作负载创建不同的服务网格，还能将两者放到同一个网格中。Kuma 0.6具有自动服务连接功能，可跨企业环境与平台自动且抽象化服务网格连接，混合通用模式可在整个企业网络中，提供开箱即用的管理功能，而且新的Ingress资料平面模式，可自动地跨平台和丛集服务网格沟通。另外野心增加了DNS服务探索，更方便管理跨云架构中的大量微服务。

责任编辑／王宏仁

更多Container相关动态