循环Transformer 了解更多有关循环Transformer的内容

科技

EMNLP2018|为什么使用自注意力机制？

选自arXiv 作者：Gongbo Tang、Mathias Muller、Annette Rios、Rico Sennrich 机器之心编译参与：路近期，非循环架构（CNN、基于自注意力机制的 Transfor...

2018-09-19 科技我要分享

人工智能

微软文档意外证实GPT-6系列用循环架构

一份微软公开文档短暂披露GPT-6.1Sol采用两次推理循环、GPT-6Sol为三次，侧面证实TheInformation关于GPT-6系列使用循环Transformer架构的报道。该架构在同一组权重

2026-10-14 人工智能我要分享

科技

拆解XLNet模型设计回顾语言表征学习的思想演进

机器之心释出作者：追一科技 AI Lab 研究员 Tony在预训练语言模型 BERT 对自然语言处理的冲击还未平息时，CMU 和 Google 的研究员又放出了一个猛料：在 20 多项任务上全线碾压 BERT 的 XLNet。：由于在公众号中插入方式不方便，对…

2019-07-02 科技我要分享

资讯

把视觉 TransFormer 的优势融进卷积模型里，入选 ECCV 2022 的这篇论文火了

当下,计算机视觉领域最热议的方向,莫过于近两年越来越火的视觉Transformer(ViT)和传统的卷积神经网络(ConvNet),谁才能主宰计算机视觉的未来?风头正盛的ViT,是计算机视觉领域过去十

2022-08-03 资讯我要分享

科技

EMNLP2018|GoogleAI提出透明注意力机制实现更深层NMT模型

选自arXiv 作者：Ankur Bapna等机器之心编译参与：路、刘晓坤当前最优的 NMT 模型都遵循结合注意力的 seq2seq 模型的范式，但与用于文本和视觉任务的卷...

2018-09-25 科技我要分享

综合

AI趋势周报第159期：通用AI另一尝试！脸书用Transformer打造熟练7种任务的AI

脸书用Transformer架构，打造出熟练7种任务的AI模型，且都用同一套参数；如何让AI更懂一张图中的千言万语？Google AI大神Hinton：试试融合5种AI的GLOM；ML模型错在哪秀给你看！微软推出ML可视化错误分析工具包；HPE边缘运算系统首次进驻太空站；30张图片就能训练模型！AWS推出工业瑕疵检测服务。

2021-03-04 综合我要分享

资讯

谷歌让 NLP 模型也能 debug，只要给一张“草稿纸”就行

现在的大型语言模型，能力个个都挺强。但，它们的计算能力都不太行：比如GPT-3，没法做超过三位数的加法。再比如它们当中的大多数都可以写代码，但是理解代码却很费劲--稍微遇到点带循环的程序就"GG"。不

2022-05-08 资讯我要分享

科技

深度学习自然语言处理关键技术发展史

本篇介绍深度学习在自然语言处理(NLP)中的应用，从词向量开始，到最新最强大的BERT等预训练模型，梗概性的介绍了深度学习近20年在NLP中的一些重大的进展。作者 | 小Dream哥编辑 | 言有三在深度学习之前，用于解决NLP问题的机器学习方法一般都基于浅…

2019-07-06 科技我要分享

科技

技术综述深度学习在自然语言处理中的应用发展史

本篇介绍深度学习在自然语言处理(NLP)中的应用，从词向量开始，到最新最强大的BERT等预训练模型，梗概性的介绍了深度学习近20年在NLP中的一些重大的进展。作者 | 小Dream哥编辑 | 言有三在深度学习之前，用于解决NLP问题的机器学习方法一般都基于浅…

2019-08-12 科技我要分享

综合

四大模型革新NLP技术应用揭秘百度文心ERNIE最…

2019年以来，基于深度神经网络的预训练技术在技术创新和工业应用上不断取得突破，但传统预训练技术...

2021-05-25 综合我要分享

科技

专访|大规模集成Transformer模型阿里达摩院如何打造WMT2018机器翻译获胜系统

机器之心原创作者：思源在刚刚结束的 WMT2018 国际机器翻译大赛上，阿里巴巴达摩院机器智能实验室机器翻译团队打败多个国外巨头与研究机构，并在英文-中...

2018-06-08 科技我要分享

科技

专栏|基于IR-transformer、IRGAN模型解读搜狗语义匹配技术

机器之心专栏搜狗搜索 NLP 本文介绍了搜狗搜索的 IR-transformer 模型和 IRGAN 强化学习训练框架。摘要搜索引擎作为上网冲浪的直接入口，其检索...

2018-10-03 科技我要分享

资讯

ChatGPT 为啥这么强：万字长文详解 by WolframAlpha 之父

Wolfram语言之父StephenWolfram，又来给ChatGPT背书了。上个月，他还专门写过一篇文章，力荐自家的计算知识搜索引擎WolframAlpha，希望能跟ChatGPT来个完美结合。大

2023-02-24 资讯我要分享

科技

一行代码，炼丹 2 倍速！PyTorch 2.0 惊喜问世，LeCun 激情转发

现在，只需添加一行代码，PyTorch2.0就能让你在训练Transformer模型时，实现1.5倍-2倍的速度提升！12月2日，PyTorch2.0正式发布！这次的更新不仅将PyTorch的性能推到

2023-01-05 资讯我要分享

科技

又有中文NLP开源工具箱：主打工业应用支援6大任务

铜灵发自凹非寺量子位出品 | 公众号 QbitAI对于开发者来说，又有一个新的NLP工具箱可以使用了，代号PaddleNLP，目前已开源。在这个基于百度深度学习平台飞桨（PaddlePaddle）开发的工具箱里，装有大量工业级中文NLP开源工具与预训练模…

2019-10-22 科技我要分享

科技

AI趋势周报第97期：AI向下扎根！教育部推出中小学AI教材

配合108学年度新课纲，教育部释出适合中小学的AI教案《和AI做朋友吧》电子版，预计9月提供线上AI教师培育班，12月将举办教师工作坊。

2019-08-19 综合我要分享

资讯

机器之心的进化 / 理解 AI 驱动的软件 2.0 智能革命

就在过去几个月里，因为美联储的加息，科技公司的资本狂欢宣告结束，美国上市的SaaS公司股价基本都跌去了70%，裁员与紧缩是必要选项。但正当市场一片哀嚎的时候，Dall-E2发布了，紧接着就是一大批炫酷

2022-12-21 资讯我要分享

资讯

终于不瞎编了：AI 学会了“谷歌一下”，回答问题正确率达 90%

语言模型总是给出"驴唇不对马嘴"的答案，已经成为它最饱受诟病的问题之一。现在，DeepMind想到了一个解决办法--让模型像人类一样，学会"谷歌一下"，回答问题同时还能给出论据。这个模型名叫Gophe