AI趋势周报第104期：更轻更小！华为发表TinyBERT准确度不输Google BERT

重点新闻(1004～1010)

 华为   TinyBERT      NLP  

更小更快！华为发表TinyBERT准确度不输Google BERT

华为日前发表自然语言处理（NLP）预训练模型TinyBERT，不仅比Google BERT模型小上7.5倍，推论速度更快上了9.4倍，对硬件资源有限的使用者来说是新选择。一般来说，预训练模型的准确度远高于从零开始、利用有限的资料集来训练的NLP模型，但是，正因为预训练模型采用巨量资料和参数训练而成，因此难以转移到硬件资源有限的装置上运行，就连Google去年发表、公认最优秀的BERT模型也是。

为了保持准确度并压缩BERT模型大小，华为开发了知识提炼（KD）和师生框架，也就是将从大型老师网络学习到的语言特征，转移到小型的学生网络，来模仿老师网络的行为。至于KD，虽然在许多领域已有研究，但鲜少用于NLP。华为研究员自创的KD有两个重要概念：Transformer提炼与两阶段学习框架，透过Transformer提炼，可有效从老师BERT模型中提炼出语言模式，而两阶段学习框架的特殊之处，则在于在大型文本语料库和下游微调过的TinyBERT之间，增加一个通用的TinyBERT，以便将知识转移到以任务为导向的下游TinyBERT中。（详全文）

DeepMind     GAN     TTS  

DeepMind用GAN-TTS来产生高逼真的语音

DeepMind日前发表一项研究成果，团队利用对抗生成网络（GAN）来进行文字转语音（TTS）任务，产生逼真度高的语音音档。文字转语音是一种将文字转换为类似人类语音的输出过程，最常见的生成网络就是WaveNet，但由于WaveNet一次只能靠一个音频样本来照顺序生成语音，不适用于平行运算，也因此，团队选择平行性高的GAN来提高TTS效率。

DeepMind的GAN-TTS模型由一个生成器和一系列鉴别器组成，生成器负责产生原始音档，鉴别器则负责分析这些音档。DeepMind指出，生成器的输入值为序列型人类语音音档和音高（Pitch）讯息，然后要学习利用语音音档的语言特征和音高讯息来产生原始音档，接着，DeepMind利用随机窗口鉴别器（RWD）来分析音档真实度，以及音档与目标语言的对应程度。为了评估模型效果，DeepMind使用平均意见评分（MOS），将GAN-TTS与先前的研究比较，结果显示，GAN-TTS可生成高保真语音，最佳模型的MOS得分为4.2，只比SOTA等级低0.2分。（详全文）

  TensorFlow 2.0     Keras    深度学习 

TensorFlow 2.0正式版释出，与Keras更紧密整合

开源深度学习函式库TensorFlow团队日前终于正式发表TensorFlow 2.0。这个版本强调易用性，加强与Python开源神经网络函式库Keras的整合，并且简化API，降低了功能重复（Duplication）。

在与Keras的整合部分，开发者可透过TensorFlow 2.0使用Keras的建模API，像是序列式（Sequential）、功能式（Functional）和子类别（Subclassing）等。而这些API可与Eager Execution功能一起使用，Eager Execution是TensorFlow的命令式程式开发环境，能立即执行程式码评估操作，让开发者快速对程式码除错并进行迭代。另外，Keras 模型建置API也可以结合tf.data，建置可延展的出入工作流程。（详全文）

  Google     量子运算    深度RL  

Google用深度强化学习加速量子运算

Google日前发表一项优化量子运算的方法，利用深度强化学习（Deep RL）来优化量子位元误差值的预测。Google指出，量子位元（qubit）是量子运算的基本单位，但量子位元有许多难以操控的特性，比如控制电子的缺陷会影响量子运算保真度，进而影响量子装置的应用。

为进一步控制量子位元，研究员首先要建立实体的量子控制过程模型，以便精准预测误差值。这很重要，因为在运算过程中丢失的量子讯息，不仅会造成错误，还会降低量子运算的表现。Google研究员因而开发了一套优化工具，来提高新量子控制成本函数。他们采用了信赖区间强化学习（也就是策略型深度强化学习方法），可在控制轨迹中使用非局域的特征，而非像是大海捞针般去尝试各种解法。Google表示，实验结果显示，深度强化学习方法在各项测试基准中表现良好，而且对样本噪声具有良好的韧性。（详全文）

 工业局   AI Hub    AI产业化 

工业局推AI Hub一站式服务，要当AI产业化推手

经济部工业局与资策会、北市电脑公会、中华民国资讯软件协会、台湾区电机电子工业同业公会联手，共同成立AI Hub，提供从需求评估、解决方案、应用实例到客制化随需服务一站式服务，以加速AI产业化、产业AI化发展。

AI Hub目前结合百位AI专家、百家企业实证和130个新创团队、16家公协会及法人，来提供企业AI需求评估、供需媒合、解决方案、应用实例，以打造AI的共享资源平台，缩短产业导入AI的过程。AI Hub现已整合68个解决方案，包含制程智慧化、装置智慧化、服务智慧化及软件智慧化四个领域，未来将朝100项解决方案发展。此外，AI Hub也设立了智慧化产品市集，集结50多项AI产品，另也设置算法平台专区，已有30多个算法上架。 （详全文）

瘫痪   布朗大学    英特尔  

瘫痪者有望靠AI技术重新站起来！布朗大学与英特尔合作要以AI接通中断的神经讯号

美国布朗大学研究团队联手英特尔、Micro-Leads Medical和罗德岛医院，展开智慧脊柱界面（Intelligent Spinal Interface）开发计划，要帮助脊髓损伤的患者，恢复肢体运动与膀胱控制的能力。智慧脊柱界面的构想，是要记录大脑往下传递到脊髓损伤部位的讯号，并利用智慧脊柱界面弥补脊柱损伤造成的神经回路空白，以驱动下方脊髓，同时从受伤脊髓下方来的讯号，也能够往上传递刺激或是驱动上方的部位。

这个专案的关键，就是要用AI来解读脊神经讯号。布朗大学认知科学研究团队将和英特尔AI团队合作，要找出数学上的抽象，并整合现代机器学习基础架构，理解脊髓的运作方式并设计模型，以开发出高效率且通用的系统。Micro-Leads Medical将提供高分辨率的脊髓刺激技术HD64，来增加治疗部位的范围和精确度。（详全文）

脸书   Hydra     程式开发  

脸书开源能简化复杂应用程序开发的框架Hydra

脸书开源了能简单配置复杂应用程序的开发框架Hydra，不只能减少开发者复制贴上样板程式码（Boilerplate Code），也能动态编写（Compose）配置，而且Hydra采用了可插拔架构，因此可以与原本组织的基础设施良好的整合。

Hydra是一个轻量级的框架，可透过编写和覆盖配置，来简化Python应用程序的开发。开发者不必重新撰写大量的样板程式码，像是定义命令列标签、操作配置档案以及配置日志等，就能轻易加入新功能，以符合新的使用案例和需求。Hydra让开发者可在本地或远端启动应用程序，并且使用同一个指令附加不同的参数，就能执行不同的工作，减少相关的脚本支援。Hydra提供了动态命令列页签完成功能，帮助开发者探索复杂配置选项，也减少输入错误。（详全文）

图片来源／Google、华为、布朗大学

 AI趋势近期新闻 

1. 自然语言处理函式库spaCy 2.2释出，加入资料增强系统、提升字词配对速度

2. 法国将成为欧洲第一个以人脸辨识来验证电子身份的国家

3. AWS机器学习服务Amazon SageMaker开放使用EC2最强GPU执行个体

资料来源：iThome整理，2019年10月