函式分类大PK：Sigmoid和Softmax 分别怎么用？

全文共3019字，预计学习时长7分钟图源：unsplash.com/@harlsta设计模型执行分类任务（如对胸部X光检查到的疾病或手写数字进行分类）时，有时需要同时选择多个答案（如同时选择肺炎和脓肿），有时只能选择一个答案（如数字“8”）。本文将讨论如何应用…

2019-11-14 科技 我要分享

Sigmoid和Softmax 你真的知道怎么用函式分类？

全文共3019字，预计学习时长7分钟图源：unsplash.com/@harlsta设计模型执行分类任务（如对胸部X光检查到的疾病或手写数字进行分类）时，有时需要同时选择多个答案（如同时选择肺炎和脓肿），有时只能选择一个答案（如数字“8”）。本文将讨论如何应用…

2019-11-20 科技 我要分享

谷歌研究员：主流框架softmax都有两个bug

谷歌研究员JonBarron等人在arXiv发文指出，PyTorch、TensorFlow、JAX等主流框架的softmax与交叉熵实现存在两个数值bug：目标梯度在精度悬崖处归零、蒸馏中产生虚假梯度

2026-10-24 科技 我要分享

飞桨上线万能转换小工具 教你玩转TensorFlow、Caffe等模型迁移_astf

本文作者：飞桨开发者说成员Charlotte 百度推出飞桨（PaddlePaddle）后，不少开发者开始转向国内的深度学习框架。但是从程式码的转移谈何容易，之前的工作重写一遍不太现实，成千上万行程式码的手工转换等于是在做一次二次开发。 现在，有个好讯息：无…

2019-10-07 科技 我要分享

飞桨上线万能转换小工具，教你玩转TensorFlow…

百度推出飞桨(PaddlePaddle)后，不少开发者开始转向国内的深度学习框架。但是从代码的转移谈何容易...

2019-06-26 综合 我要分享

从字到词 大词典中文BERT模型的探索之旅

导语： BERT模型自诞生以来统治了各项NLP任务的榜单，谷歌也针对中文给出了基于字的模型。然而我们知道词是语言最重要的组成部分，因此，一个自然的想法就是做基于词的BERT模型。但是受限于视讯内存，谷歌原生的BERT模型可以使用的词典比较小，只能覆盖一小部分…

2019-11-13 科技 我要分享

启用函式小结

什么是启用函式如下图，在神经元中，输入的 inputs 通过加权，求和后，还被作用了一个函式，这个函式就是启用函式 Activation Function。为什么要用如果不用激励函式，每一层输出都是上层输入的线性函式，无论神经网络有多少层，输出都是输入的线性组…

2019-11-08 科技 我要分享

CVPR 2019 提前看：工业界与学术界的深度融合专题

机器之心原创作者：Yuanyuan Li编辑：Qing Lin2019 年对于人工智能领域的发展是关键的一年。一方面，许多趁著 AI 的风口展开的专案纷纷惨淡收场；另一方面，也有不少人工智能产品通过了市场的检验，并获得了宝贵的经验资料以进一步打磨产品。人工智能…

2019-12-12 科技 我要分享

深度|嵌入技术在Dota2人工智能战队OpenAIFive中的应用

选自COMPUTATIONAL NEUROSCIENCE 作者：Tambet Matiisen  机器之心编译 参与：Geek AI、张倩 本文重点讨论了 OpenAI 在处理大量不断变化的策略输入和...

2018-10-07 科技 我要分享

Meta 发布首个「非参数化」掩码语言模型 NPM ：吊打 500 倍参数量的 GPT-3

Meta发布首个非参数化掩码语言模型NPM：那年双手插兜，不知道什么叫做outofvocabulary虽然大型语言模型在NLP领域展现出的强大性能十分惊人，但其带来的负面代价也很严重，比如训练过于昂贵

2023-01-06 资讯 我要分享

理解神经网络的不同损失函式

针对不同的目标使用不同的损失函式。在本文中，我将通过一组示例向您介绍一些常用的损失函式。本文是使用Keras和Tensorflow框架的设计。损失函式：简介损失函式有助于优化神经网络的引数。我们的目标是通过优化神经网络的引数（权重）使其损失最小化。损失由损失函…

2019-11-02 科技 我要分享

吴恩达深度学习笔记(80)-卷积神经网络示例

构建全卷积神经网络的构造模组我们已经掌握得差不多了，下面来看个例子。假设，有一张大小为32×32×3的输入图片，这是一张RGB模式的图片，你想做手写体数字识别。32×32×3的RGB图片中含有某个数字，比如7，你想识别它是从0-9这10个数字中的哪一个，我们构…

2019-01-21 科技 我要分享

基于PaddlePaddle的词向量实战 | 深度学习基础…

词向量是自然语言处理中常见的一个操作，是搜索引擎、广告系统、推荐系统等互联网服务背后常见的基...

2019-04-19 综合 我要分享

三分钟看懂深度学习标签平滑（Label Smoothing）技巧

交叉熵（Cross-Entropy）损失函式是分类模型中的一种非常重要的目标函式。在二分类问题中，交叉熵损失函式的形式如下：−[ylogp+(1−y)log(1−p)]如果分类准确，交叉熵损失函式的结果是0（即上式中p和y一致的情况），否则交叉熵为无穷大。也就…

2019-10-02 科技 我要分享

惊为天人 NumPy手写全部主流机器学习模型 程式码超3万行

机器之心报道参与：思源、一鸣、张倩用 NumPy 手写所有主流 ML 模型，普林斯顿博士后 David Bourgin 最近开源了一个非常剽悍的专案。超过 3 万行程式码、30 多个模型，这也许能打造“最强”的机器学习基石？NumPy 作为 Python 生态…

2019-07-21 科技 我要分享

京东云与AI 10 篇论文被AAAI 2020 收录，京东…

美国时间2月7-12日，AAAI 2020大会在纽约正式拉开序幕，AAAI作为全球人工智能领域的顶级学术会议，...

2020-02-15 综合 我要分享

京东云与AI 10篇论文被AAAI 2020收录，京东科…

美国时间2月7-12日，AAAI 2020大会在纽约正式拉开序幕，AAAI作为全球人工智能领域的顶级学术会议，...

2020-02-15 综合 我要分享

何恺明团队新作ResNext：Instagram图片预训练 挑战ImageNet新精度_资料

【导读】近日，何恺明团队所在的Facebook AI推出ResNeXt-101模型，利用Instagram上的使用者标记图片作为预训练资料集，省去了人工标记资料的钜额成本，而且使用中只需微调，效能即超越了ImageNet任务的SOTA水平。 目前，几乎所有…

2019-10-11 科技 我要分享

Keras官方出调参工具了 然而Francois说先别急着用

近日，Keras 官方释出了一个调参工具 Keras Tuner，提供一种 Keras 内的简单便捷调参方式，以及视觉化和分析服务。然而目前释出的版本还不成熟，Keras 作者 François Chollet 表示：大家先别用，API 还不稳定。Keras …

2019-12-23 科技 我要分享

教程|TensorEditor：一个小白都能快速玩转的神经网络搭建工具

机器之心整理 参与：思源 近日，机器之心发现一个非常有意思的工具，可以用可视化的方式轻松添加卷积层、全连接层和池化层等层级，然后生成可执行的 Tensor...

2018-06-03 科技 我要分享