AI趋势周报第142期：推理能力新突破！OpenAI新作GPT-f能自动证明数学定理

重点新闻(0904～0910)

OpenAI     自动定理证明     GPT-f  

推理能力新突破！OpenAI新作GPT-f能自动证明数学定理

继释出具1,750亿个参数的超大预训练自然语言模型GPT-3后，OpenAI组织近日发表另一款基于Transformer架构的模型GPT-f，能以形式化语言Metamath来进行自动定理证明（ATP），成为AI模型在推理领域的另一里程碑。

OpenAI指出，类神经网络在电脑视觉、自然语言处理和机器人技术都有不错的进展，但在推理能力上，进展较少。为证明类神经网络的推理潜力，团队以Metamath来训练Transformer模型。Metamath既是一套用于定理证明的严谨形式化语言，也是一套计算机程序，专门用来储存、验证和研究数学证明。团队将Metamath作为GPT-f的正式环境，并采用类似GPT-2和GPT-3、只有解码器的Transformer架构，来产生带有不同预训练资料和大小的模型，其中最大的模型含36层隐藏层、7,740万个可训练的参数。

GPT-f由两部分组成，分别是自动证明器和证明助手。OpenAI利用线上证明助手，来帮助模型产生互动式的证明架构。他们在实验中发现，GPT-f比现有自动定理证明器还要优秀，可完成测试集中56.22％的证明，而现有的证明器MetaGen-IL只能完成21.16％。此外，GPT-f还发现了新的简短证明，而这些成果也收录于Metamath函式库中。（详全文）

  语音辨识     边缘装置     深度类神经网络  

边缘语音辨识新解法，滑铁卢大学开发轻量模型TinySpeech

虽然AI在自然语言处理已有长足进展，比如以BERT打造的语音辨识模型已达高阶表现，但这些模型在边缘装置（如手机），却少有大规模部署、应用。为找出新方法，滑铁卢大学和加拿大新创DarwinAI共同开发一套注意力集中器，具低耗能、高效率特性，可在装置端执行语音辨识，他们也展示了由集中器组成的低精确度深度类神经网络TinySpeech，可有限度辨识语音。

DarwinAI指出，团队研发的注意力集中器以自我注意力机制为主，而且不同于一般仰赖卷积模组的自我注意力机制，是独立的模组，能让深度学习模型专注于重要内容。后来，团队将这些集中器打造为TinySpeech，并以Google资料集来测试，发现比起现有高阶模型，其架构和运算复杂度都大幅降低，提高模型效率。（详全文）

  临床语音辨识   Nvidia       Bio-Megatron  

Nvidia用BERT打造临床病患语音辨识模型Bio-Megatron

Nvidia日前在医疗影像机器学习年会中，揭露一套拥有3.45亿个参数的医疗语音辨识模型Bio-Megatron，可听懂病患说出的临床单字，并对应到标准化的健康数据库中，能减少医师在疫情压力下的工作负担。

这个模型以BERT为基础，从美国开放式医学论文搜索引擎PubMed中，收集61亿个单字作为训练资料。预训练后，团队再以美国国卫院（NIH）建立的临床自然语言处理资料集，来进行微调，之后再合并到NIH的自动语音辨识模组中。经测试，模型进行1毫秒的分析，精确度可达92.05％。（详全文）

  深度学习优化     DeepSpeed    平行化处理  

微软深度学习优化函式库DeepSpeed再添4项新功能，支援3种平行化处理

微软近日为深度学习优化函式库DeepSpeed，加码释出4款新功能，包括3D平行化、ZeRo-Offload、稀疏注意力（SA）和1位元Adam优化器，要来缩短深度学习模型训练时间。DeepSpeed是微软今年二月开源释出的深度学习模型训练优化函式库，采用自家内存优化技术ZeRO，可加速训练时间；微软也用它来帮忙训练具170亿个参数的超大自然语言预训练模型T-NLG。

现在，微软为这套函式库新增4功能，其中，3D平行化可细分为三种平行方法：ZeRO资料平行、工作流程平行、张量切割模型平行，可针对不同需求来优化内存的调度。另一个功能是ZeRo-Offload，可优化GPU和CPU上的计算资源和内存资源，对缺乏GPU资源的开发者有所助益；此外还有新版SA内核技术，可解决开发者训练注意力型深度学习模型的局限。最后一个功能1位元Adam优化器，利用预处理来解决误差补偿压缩技术问题，像是无法用于非线性优化器如Adam的状况。（详全文）

  洪水预测     机器学习    物理模拟  

Google结合物理模拟与机器学习方法，改进洪水预测速度与准确度

Google发表最新洪水预测系统，警示范围可达250,000平方公里，是过去覆盖面积的20倍之多，受保护的人口达到2亿人。这些功能来自Google新淹没模型，团队这次与空中客车、Maxar等卫星影像供应商合作，取得更精确的高程图。有别于解决即时模拟水流的复杂运算，团队选择修正高程图型态，以简单的洪水填充方法，来物理模拟洪水行为。

为此，Google训练一套纯机器学习模型，不使用物理资讯估算河流深度，仅将河流特定点的水位作为输入，并输出河流所有位置的水位。后来，团队以启发式规则重新合成高程图，作为利用洪水填充算法模拟洪水行为的基础，再结合量测到的水位数值与卫星影像的洪水范围，来产生淹没图。团队指出，新模型能透过自动学习，修复可能发生的资料错误，准确性也提高3％，减少手工建模和校正的需求。（详全文）

立体视觉    透明物体    量测 

Google利用立体视觉快速量测透明物体的3D位置与形状

Google与史丹佛大学合作，开发出处理透明物体的全新电脑视觉系统KeyPose，可直接预测3D关键点来估测透明物体的深度，比过去的方法又快又准。与此同时，Google也释出了用来训练KeyPose模型的透明物体资料集，供研究社群使用。

为建立训练资料集，Google首先建立一个资料收集系统，利用机器手臂及其上的立体相机和Kinect Azure深度相机，来拍摄影片，之后再标记影像的3D关键点，并用这些资料来训练模型。完成后，团队也进行测试，发现新方法快又准，使用标准GPU计算马克杯深度时，只需5毫秒，且无论是透明瓶子还是马克杯，其平均绝对误差都在10 mm以下，瓶子的平均绝对误差甚至可达5.8 mm。（详全文）

Amazon    语音相容     多代理设计  

Amazon AI语音相容计划再添新成员，同时发布多代理设计指南

Amazon去年发起AI语音相容计划（Voice Interoperability Initiative），当时微软、Salesforce、百度等多家大厂皆参与，透过规范制定，来让装置支援多个语音服务。现在，这项计划的阵容越来越壮大，脸书、杜比、Garmin和小米等厂商纷纷加入，目前成员数已超过70名。另外，Amazon还收集计划成员的建议和最佳做法，发布了第1版多代理设计指南（Multi-Agent Design Guide）。

这个多代理设计指南，涵盖了3大领域，分别是用户选择与代理启用、多代理体验，还有隐私与安全。该指南建议在装置上注册多个代理、接受用户使用多个唤醒词；至于多代理体验，则是说明代理可用来增加用户参与的基本行为，使用户能够找到可用代理，并且顺利探索功能。（详全文）

 

 

突发事件     自然语言处理      错误讯息  

Google搜寻用AI快速侦测突发事件和错误讯息

Google日前分享自家24小时监控全世界新闻的情报台新进展。Google指出，经过几年改善，现已能自动辨识自然灾害等突发新闻。为确保获取最权威的消息，几年前，Google侦测事件的时间需要40分钟，现在新闻发布后数分钟，Google情报台就能即时掌握资讯。

另外，Google也使用了BERT语言理解模型，来改善新闻故事和事实查核的配对，找出事实与新闻主题的关联性，并在Google新闻的完整报导功能，凸显事实查核资料，告知使用者。不只如此，Google搜寻的自动完成系统也有所改善，Google设计一套自动化系统，一旦侦测到查询系统可能提供不可靠的结果，就会选择不显示预测结果。（详全文）

图片来源／OpenAI、Google、微软、Amazon

 AI趋势近期新闻 

1. 资策会研发AI假讯息快筛平台，多方面辅助事实查核

2. Line日本将推出Line Pay 3.0版新服务，要结合eKYC达成申请流程自动化

3. IBM提出对抗式攻击的新防御方法，找出AI误判干扰手法来训练侦测模组

4. 百度Apollo自驾计程车服务在北京上路

资料来源：iThome整理，2020年9月