AI趋势周报第170期：Naver发布GPT-3等级的超大韩文模型HyperCLOVA，懂语言还要懂图片和影片

重点新闻(0528～0603)

NLP     GPT-3     HyperCLOVA  

韩文版GPT-3！Naver发布韩文NLP模型HyperCLOVA，懂语言还要懂图片和影片

Line母公司Naver日前在线上发表超级AI平台HyperCLOVA，号称是GPT-3等级的韩文版自然语言预训练模型，可像人脑般理解语言。Naver指出，HyperCLOVA有2,040亿参数，比公认是NLP世界标准的GPT-3，还要多出1,750亿个参数。参数越多，就越能细致地辨识语言。

Naver表示，HyperCLOVA的训练策略很特别，因为HyperCLOVA用了大量资料来训练模型，“是GPT-3的6,500倍，”而且，这些训练资料97%是韩文语料。HyperCLOVA可用来开发语言理解相关服务，像是对话、翻译、句子生成、摘要和机器阅读等，Naver也补充，由于HyperCLOVA是超大型模型，因此少样本学习能力佳，只需要少量样本就能产出良好的结果，适合自动生成行销短句、课本单元的摘要生成、问答等应用场景。Naver更表示，未来还要让模型学会多模态任务，也就是不只要懂语言，还要能同时看懂图片和影片。

Naver会提供HyperCLOVA给想要开发AI服务的企业。从线上会议投影片可看出，Naver将HyperCLOVA应用场景划分为2种，包括用来产生内容、优化搜寻的HyperCLOVA Explorer，以及用于分析、评估和除错的HyperCLOVA Studio。（详全文）

  Nvidia     AI开发协作    Base Command  

瞄准大规模、多团队开发需求，Nvidia推出AI开发云平台要加速协作

Nvidia联手NetApp推出云端代管AI开发平台Base Command，瞄准大规模、多使用者和多团队的企业开发需求，在平台上整合了多种Nvidia AI开发工具，像是NGC目录中的AI分析软件、MLOps API和Jupyter Notebook等，也结合NetApp的资料管理功能，要加速AI专案从原型到量产的阶段。

进一步来说，Base Command提供单一入口，来管理AI开发的各种工作流程，并加速资源分享，比如用户可透过图形使用者界面、命令列API和整合式的监控仪表板与报告仪表板，来分享开发状况。用户也可透过平台上的AI工具，来安排工作负载、微调模型或更快得到洞察等。Google Cloud也将于今年在Marketplace中新增对Base Command的支援。

Base Command才按月订阅制，每月费用为9万美元起，首波试用区域仅限北美。（详全文）

 GPT-3     自然语言     Power Apps  

用自然语言写程式！微软把GPT-3嵌入Power Apps

微软日前在自家开发者大会Build上宣布，将可生成语言的大型自然语言预训练模型GPT-3，嵌入自家开发应用程序Power Apps中，可直接将自然语言转换为程式码或公式，加速应用程序的开发。这也是微软取得GPT-3独家授权后的第一个商用案例。

不过，Power Apps中，目前只有Power Fx这个功能整合GPT-3。Power Fx是一种从Excel公式衍生而来的低程式码语言，有了GPT-3加持，使用者不具备写程式经验，也能用自然语言轻松开发应用程序，比如，使用者可直接在Power Apps中输入：“告诉我美国客户中有多少人的订阅过期了”，这时，系统会在下方跳出相对应的公式，并附上说明，告诉使用者这个公式如何运作。之后，使用者再将公式套用到App上即可。

微软表示，企业员工也能用它来审查非营利机构的捐赠、管理疫情的出差事项，或减少维护风力涡轮机所需的加班时间。这项新功能，会在今年6月底前针对北美市场提供预览版，目前仅支援英文。（详全文）

  Databricks    AutoML       黑盒子  

打破黑盒子！Databricks新AutoML工具有Python笔记本

由Apache Spark技术团队所创立的资料科学公司Databricks，发布一款简化ML开发部署的工具AutoML，可自动化进行预处理、特征工程，以及模型训练与调整，用户能完全以使用者界面来选择资料集、配置训练，和部署模型。

但为何直到现在才推出AutoML工具？官方指出，现有许多AutoML工具都是黑盒子，用户无法切确知道模型训练的过程和方法，因此当需要特定修改，或受监管稽核时，就更难使用这些工具。Databricks打造的则是一款如“玻璃盒”的AutoML，每个经训练的模型，都提供Python笔记本，资料科学家可在这些笔记本中，添加或修正单元格，还能利用这些笔记本快速开发，不需要重新编写一些样板程式码。

此外，Databricks AutoML也提供资料分析功能，来提供资料集统计资讯，快速检查资料集是否适合训练。另外，也可与追踪指标和参数API—MLflow整合，用户可试验模型，并在Databricks模型注册表内注册和提供模型。（详全文）

  TPU     VM     模型训练  

Google发表新TPU加速器VM，训练模型效能更好且成本更低

Google发布最新Cloud TPU虚拟机器，用户可直接存取云端TPU运算资源，而且，开发者能直接在TPU上使用TensorFlow、PyTorch和JAX等框架进行模型开发和部署。

过去，用户只能远端存取Cloud TPU，而且要设置一个或多个虚拟机器，再用gRPC网络来与Cloud TPU主机通讯。但在新的Cloud TPU虚拟机器中，用户不必这么做，直接在每台TPU主机上配置自己的互动式开发环境即可。而且用户在单一TPU虚拟机器中，就能逐行编写ML模型并除错，也能用Cloud TPU Pod来扩展规模，与其他TPU高速互连。Google表示，由于资料不必再透过资料中心的传递，模型训练效率也因此更好。（详全文）

PyTorch    模型搬迁    脸书  

统统搬到PyTorch去！脸书揭露自家上千个模型搬迁策略

为服务数十亿用户，脸书AI模型每天要推论上兆次，这个不断增长工作负载量，促使脸书不停改善AI框架，也因此他们决定将所有AI系统搬迁到PyTorch上。

不过搬迁过程复杂，模型要历经离线、线上测试、训练、推理和发布以及多项测试，来确保旧框架Caffe2和PyTorch的效能，得花上好几周才能完成。于是，脸书开发一套内部工作流程和自定义工具，来帮助各团队决定搬迁的最佳方式，甚至可判断系统能否不搬迁直接更换。这个工具包括一套内部基准测试，也可比较原始模型和PyTorch模型的效能，解决个团队最在意的新旧模型效能问题。

经过一年搬迁，现在，PyTorch已是支援脸书所有AI负载的底层平台，工程师可在数分钟内，部署好新模型；模型的建立、编写、测试和除错也更容易进行。目前，脸书总共有4,000个模型使用PyTorch，而生产环境中则有1,700个PyTorch模型，更有超过93％的新模型（如辨识和分析脸书内容等任务的模型）都在PyTorch上执行。（详全文）

图片来源／Naver、Google、微软、Databricks、脸书

 AI趋势近期新闻 

1.Amazon Redshift机器学习功能正式推出

2. 特斯拉北美部分车款新车将弃雷达，改用纯电脑视觉、AI感测

3. 再见了Token！Google提出Byte等级的改良版Transformer架构

资料来源：iThome整理，2021年6月