AI趋势周报第139期：超越人类表现！Google Brain研发深度学习框架自动化工具

重点新闻(0731～0806)

TensorFlow     程式码     自动化  

超越人类表现！Google Brain设计出深度学习框架自动化工具

Google Brain日前一篇研究论文揭露自家打造的自动化工具TF-Coder，可自动处理深度学习框架中的张量操作，来符合函式库的复杂要求。Google Brain指出，深度学习框架虽然简化了AI模型的训练和迭代，却有着陡峭的学习曲线，因为在这些框架中撰写程式，比传统条件式和循环式的命令程式撰写还复杂。

因此，Google Brain设计了TF-Codedr来简化这个过程，采用由下而上的加权列举式搜寻方法，可对基于值的对等运算式（Expressions）和过滤（Filtering）来修剪，以符合框架的各种要求。Google Brain也用这套工具来测试，发现在70个搜寻任务中，TF-Coder可在5分钟内解决其中的63个，而且比TensorFlow专家寻找最佳解的时间还要短，达到超越人类的表现。（详全文）

  微软     生医    自然语言处理  

微软释出特定领域NLP预训练模型，号称比通用预训练模型要精准

微软发表一篇研究成果，指出以特定领域语料训练出的NLP预训练模型，比通用语料的预训练模型还要准确，微软也将自家打造的生医NLP预训练模型PubMedBERT和生医语言理解基准BLURB一并释出。

微软表示，该研究推翻了对NLP预训练的普遍认知。因为，要训练一个特定领域的NLP预训练模型，通常会以通用语料（如新闻、网页文字等）训练出的预训练模型为基础，如BERT等，再以一部分生医领域语料，来进行迁移学习。但微软想知道，在一开始就以特定领域语料来训练，结果是否会更好；于是，微软先以公开的生医NLP资料集来训练BLURB，可用来评估模型的生医语言理解和推理能力。

再来，微软以生医数据库PubMed的32亿个单字和1,400万个摘要，来训练一套模型PubMedBERT，并以BLURB来测试。结果发现，PubMedBERT几乎在所有的生医NLP任务中，胜过以通用NLP预训练模型训练的版本。（详全文）

  Google云端    武汉肺炎     预测模型  

Google用新方法打造武汉肺炎预测模型，开放各界下载

日前，Google云端与哈佛全球健康研究所共同开发、释出武汉肺炎公共预测（COVID-19 Public Forecasts）模型，可提供未来14天，美国州、郡范围内的医疗资源预测，比如ICU使用率、呼吸器可用状况、病例数、死亡数等指标。

这套模型由公开资料训练而成，像是约翰霍普金斯大学、笛卡尔实验室、美国人口普查局等处的资料。Google表示，团队特别设计一套新型时间序列机器学习架构，结合流行病学基础，可显示模型所学到的不同关系，让研究员了解模型计算原理，大众也能理解模型的预测原因。Google指出，使用者可从BigQuery中查询该模型，也能免费下载CSV档。（详全文）

  卡内基美隆大学   开源资料集       声音辨识 

CMU打造线上直播游戏，要收集各种声音来扩大智慧居家AI资料集

卡内基美隆大学（CMU）日前在直播平台Twitch上打造一款游戏Rolling Rhapsody，玩家在玩游戏的同时，可“捐出”家中各种声音，来增加CMU的开源声音资料集。

CMU指出，这款游戏的原理，是透过直播主（Streamer）控制一颗球，在设定的场景中移动，来收集散落在各地的宝藏。同时，玩家（Viewer）在游戏中，可透过手机App录一段音档，像是家中各种声音，再上传到游戏平台，作为捐献。上传后的音档，除了会用于游戏背景音乐、让玩家得到奖励，也会成为开源资料集的一部分。此外，团队也设计了一些功能，让玩家可编辑不小心录到的私人对话或声音，或是删除档案。团队表示，这个方法，可收集到比群众外包方式还多元的声音，有助于未来训练智慧居家AI。（详全文）

  模型透明度    Model Card     Google  

评估模型透明度更轻松！Google释出模型卡工具包Model Card

Google日前释出一套模型卡工具包Model Card Toolkit（MCT），可大幅简化机器学习模型透明度的评估，让社群成员能更轻松建立模型卡。模型卡是Google开发来观察模型透明度的工具，可提供模型来源、使用方法和道德规范相关评估资讯的结构性框架，还会提供模型使用限制建议。

但要建立这样的模型卡，十分耗时耗力，为解决问题，Google打造了MCT，以JSON架构为核心，定义了模型卡中的字段、提供ModelCard资料API，可用来表示JSON架构的实例，并视觉化成模型卡，用户最终可决定模型卡要显示的指标和图形。（详全文）

LinkedIn    资料处理     求职配对 

LinkedIn用AI提高职缺配对成功率

LinkedIn日前揭露用AI来配对求职者与招聘者的方法，透过合格申请（QA）模型，来学习招聘者与应征候选者的互动行为，推荐应征者适合的工作，同时也为招聘者依适合程度排名应征者。

QA模型目的，是要预测应征者申请某项工作后，得到回应的可能性。QA模型会预测招聘者积极采取行动的概率，像是查看应征者的个人资料、发送讯息、邀请面试等。为此，LinkedIn采资料串流处理工具Apache Samza和Apache Kafka，建立近即时的资料收集与训练工作流程，能异步训练和更新个人化模型元件，因应不断发生的新变化。后来，LinkedIn也部署新模型，招聘者与应征者的互动率也出现两位数成长，此外，Premium等级的使用者的点击率也有所提升。（详全文）

程式语言    Python     Java  

Python首次取代Java，拿下RedMonk程式语言排行第二

RedMonk发表2020年第3季的热门语言程式排名，比起去年同期，JavaScript仍稳占第一名宝座，但Python正式挤掉Java，成为第2名，Java退到了第3名。

RedMonk热门语言程式排名是综合GitHub以及Stack Overflow平台得到的排行结果，GitHub反应了程式码实际使用状况，而Stack Overflow则呈现程式语言被讨论的热度，因此RedMonk的程式语言排行，可看出未来的采用趋势。RedMonk指出，Python是一种黏着语言，成千上万的专案都靠Python黏合，而Python也在新兴技术找到立足之地，像是资料科学和AI应用，RedMonk认为，只要Python成为开发专案的热门选择，就会继续在语言排名中表现亮眼。（详全文）

TPU     MLPerf      模型训练 

30秒就完成6种模型训练！Google刷下MLPerf基准测试新纪录

Google近日突破机器学习基准测试新纪录，在MLPerf基准测试的6个模型中，拿下训练速度最快的佳绩，甚至在排名与推荐模型DLRM的训练上，速度达到之前最佳纪录的2.8倍。

Google这次所使用的超级电脑，规格是Cloud TPU v3 Pod的4倍，具4,096个TPU v3芯片，与搭载数百颗CPU的主机，最高可输出430 PFLOPs高峰效能。Google使用TensorFlow、JAX和Lingvo中的机器学习模型实作，从零开始训练Transformer、SSD、BERT和ResNet-50模型，训练时间皆在30秒内。（详全文）

图片来源／Google、卡内基美隆大学、微软、RedMonk、LinkedIn

 AI趋势近期新闻 

1. Juniper推出AI故障排除工具使企业网络营运更自动化

2. TensorFlow 2.3加入新API解决资料工作管线载入瓶颈

3. Lyft开源基础设施统一管理平台Clutch

资料来源：iThome整理，2020年8月