AI周报第125期：Google释出超强RL代理，1秒训练百万帧影像还省下80%训练成本

重点新闻(0320～0326)

Google     增强学习     大规模训练  

Google释出超强RL代理，1秒训练百万帧影像还能省下80%训练成本

Google日前开源一套增强学习（RL）代理SEED RL，不仅能将训练规模扩大到几千台机器、每秒达到百万帧影像，还能省下80%运算资源。Google解释，SEED RL以自家TensorFlow 2.0框架开发，透过集中式推论和快速通讯层，来有效利用运算资源。

相较于传统RL代理只能利用CPU来推论，SEED RL架构由数个Actor和一个Learner组成，Learner可在GPU或TPU上集中进行类神经网络推论，既可加速，也能确保模型参数和状态都在地端，免除资料转移的困扰。为了让SEED RL架构成功运作，团队也整合两套SOTA等级的算法V-trace和R2D2，来解决Actor和Learner不同步的问题，并将算法扩大规模来执行。

最后，团队利用热门的RL基准测试来验证SEED RL，结果显示大型模型能提高资料效率。团队已在GitHub上释出程式码，以及使用Google云端和GPU的范例。（详全文）

  健保署     广达    医疗大数据  

健保署联手广达，要打造独家AI平台来分析数十亿笔医疗大数据

健保署日前与广达电脑签署合作备忘录，要透过广达捐赠的AI医疗云运算整合平台系统，来客制化打造健保资料加值环境，加速AI健保大数据应用。自1995年健保开办以来，健保数据库每年累积了8.5亿笔就医结构化资料，健保署也在2年前加入国发会亚洲硅谷计划，建置健保署AI技术发展环境，目前也完成了16亿笔健保医疗影像去识别化作业，更在去年开放外界申请AI应用试办计划。

现在，健保署希望以健保大数据为基础，由广达提供客制化的AI智慧医疗云端运算整合平台，来推进AI健保研究。该平台整合了广达研究院的软件、高效能AI服务器，以及大数据储存硬件设备等，可让研究员透过简易的视觉化操作，来执行资料工程、分析和机器学习建模等工作，来开发健保大数据加值应用。（详全文）

  武汉肺炎    超级电脑    云端巨头  

美国动员云端巨头和产官学，以超强算力加速武汉肺炎解药研发

武汉肺炎（COVID-19）发展至今，全球各地深陷疫情泥淖，美国-日前号召科技巨头和学术机构，借助超强算力来找出解药。比如，美国能源局和IBM组成COVID-19高效能运算联盟，成员包括多个国家实验室、NASA、IBM、Google、AWS、麻省理工学院等，集结了16台超级电脑算力，共可提供330 petaflops、77.5万个CPU核心、3.4万个GPU，目前已模拟运算八千多种化合物，也从中找出77种可能治疗武汉肺炎的物质。

另一方面，AWS也推出诊断开发计划，挹注资金来协助研究机构理解武汉肺炎病毒、开发即时诊疗服务等。

  cGAN    模型压缩       影像生成  

cGAN可在边缘装置轻松执行！MIT发表新压缩架构最高可压缩33倍

MIT联手Adobe研究院和上海交大团队，一起开发一套压缩架构，可将条件式生成网络（cGAN）缩小5至33倍，让cGAN更容易在边缘装置执行。一般来说，比起传统生成对抗网络，条件式生成对抗网络（cGAN）不仅能产生栩栩如生的影像，也更可控。但它有个最大的缺点，也就是非常耗费运算资源，因此难以应用于手机、平板或VR头戴式装置等。

为解决这个问题，团队设计一套GAN Compression压缩架构，其中使用了神经架构搜索（NAS）方法，来自动寻找较不耗费运算资源、参数较少的高效能网络，然后再训练一个通用型网络，同时将模型训练和架构搜寻分离。后来，团队利用SOTA等级的cGAN，来测试自家架构，发现在不影响生成图片的精准度下，运算量最多可减少20倍以上（CycleGAN），模型大小可缩减5至33倍。（详全文）

  增强学习   DeepMind     Google  

凭想像力学习新行为！Google联手DeepMind释出增强学习代理Dreamer

Google和DeepMind团队开发一套增强学习代理Dreamer，可利用图片来建立一个世界模型，再利用这个模型来学习未来（Long-sighted）行为。Dreamer可透过这个方法来执行连续性任务，还能掌握Atari游戏的技巧，应付不同的空间感知、场景理解等任务。

进一步来说，Dreamer可预测模型状态的序列，透过三个过程学习长远的行为，首先是学习世界模型，再来是从世界模型的预测中，学习新行为；也就是说，代理可从中习得一个价值网络，来预测未来奖励，此外代理也会习得一个移动网络，来选择接下来的行动。最后，移动网络会与环境互动、执行学习到的行为，来收集新经验。（详全文）

PyTorch    Amazon Elastic Inference     运算资源  

跑ML模型更省GPU成本，Amazon Elastic Inference开始支援PyTorch

AWS日前宣布，用户可在自家的机器学习服务SageMaker或运算服务EC2中，透过Amazon Elastic Inference服务来进行PyTorch模型推论，省下GPU成本。PyTorch是热门的深度学习框架，但对于使用PyTorch类型的应用程序来说，光是推论就可耗费9成GPU资源。此外，选择恰当的实体（Instance）来推论，也是个挑战，因为深度学习模型需要不同量的GPU、CPU和内存。

瞄准资源分配的痛点，AWS推出Amazon Elastic Inference服务。当用户在SageMaker或EC2执行实体推论时，Elastic Inference可调配适当的GPU资源，而非使用完整单独的GPU来加速推论。（详全文）

Uber    程式码     自动清除  

清除过时程式码小帮手，Uber开源程式码自动清除工具Piranha

为了让工程师更专注于开发新功能，Uber打造一款工具Piranha，可自动清除过时的程式码。Uber指出，内部工程师习惯用特征旗帜（Feature flag）来自定义App的执行动作，可让团队了解不同区域的用户体验，方便推出新功能。

但新功能上线后，就不需要这些特征旗帜了。为降低工程师手动清除旗帜的困扰，Uber研发Piranha，可自动扫描来源程式码，目前也已删除2千多个过时的特征旗帜和程式码。Uber指出，只要用户的程式码库中，广泛使用特征旗帜，并以特定API控制旗帜行为，且以Java、Swift或Objective-C程式语言实作，就可使用Piranha。（详全文）

新光人寿     关联网络分析      业务员诈欺  

新光人寿押宝关联网络分析AI，快速揪出诈欺业务员和共犯

新光人寿数位服务发展部资深协理廖晨旭日前揭露自家业务员防诈欺作法，今年初正式启动AI关联网络分析（SNA）调查平台，透过警示风险评分，筛选出可疑的业务员。

为训练模型，双方首先梳理了新光人寿过去10年的资料，包括在职和已离职的业务员资料、客户资料、保单、电子邮件、电话等。在训练的同时，团队也订定了系统警示风险分数；另一方面，团队也透过随机森林、梯度提升等机器学习模型，来加强系统预测能力。之后，系统一旦侦测到可疑特征，就会根据风险分数高低，产生警示仪表板。仪表板中还包括了警示评分卡，详列可疑行为，并按照风险高低排序。目前，新光人寿已找出数十件个案，相关单位也正深入调查中。（详全文）

图片来源／Google、MIT、Uber、SAS

 AI趋势近期新闻 

1. MIT用少量真实资料开发自驾车模拟系统，以现实情境教自驾车系统开车

2. Uber发表强化算法POET，可提高AI代理解决环境问题的能力

3. 强化RL代理解读图片的能力！Google日本发表Neuroevolution

4. 桃园医院联手华硕，要用AIoT智慧手表来追踪疑似个案生理动态

资料来源：iThome整理，2020年3月