Facebook 释出 PyTorch Hub：一行程式码实现经典模型呼叫最新消息

作者 | Team PyTorch

译者 | Monanfei

责编 | 夕颜

出品 | AI科技大本营（ID: rgznai100）

6月11日，Facebook PyTorch 团队推出了全新 API PyTorch Hub，提供模型的基本构建模组，用于提高机器学习研究的模型复现性。PyTorch Hub 包含一个经过预训练的模型库，内建对Colab的支援，而且能够与Papers With Code 整合。另外重要的一点是，它的整个工作流程大大简化。

简化到什么程度呢？Facebook 首席 AI 科学家Yann LeCun 兼图灵奖图灵奖得主Yann LeCun发表 Twitter强烈推荐，使用PyTorch Hub，无论是ResNet、BERT、GPT、VGG、PGAN 还是 MobileNet 等经典模型，只需输入一行程式码，就能实现一键呼叫。

Twitter 一发，立刻引来众多网友评论点赞，并有网友表示希望看到PyTorch Hub 与TensorFlow Hub的区别。

这个模型聚合中心到底如何呢？我们来一探究竟。

模型复现是许多领域的基本要求，尤其是在与机器学习相关的邻域中。然而，许多机器学习相关的出版物，要么不可复现，要么难以复现。随着出版物数量的不断增长（包括在 arXiv 上发表的成数万篇论文，以及会议提交的大量论文），模型复现比以往任何时候都更加重要。虽然这些出版物大多数都包含程式码和训练好的模型，但如果使用者想复现这些模型，还需要做大量的额外的工作。

今天，我们很荣幸地宣布推出 PyTorch Hub，它是一个非常简单的API，并且具有极其简单的工作流程。它提供模型的基本构建模组，用于提高机器学习研究的模型复现性。PyTorch Hub 包含一个经过预训练的模型库，专门用于促进研究的可重复性和快速开展新的研究。PyTorch Hub 内建了对 Colab的支援，并且能够与 Papers With Code 整合。目前 PyTorch Hub 已包含一系列广泛的模型，包括分类器和分割器、生成器、变换器等。

【开发者】释出模型

通过新增简单 hubconf.py 档案，开发者能够将预训练的模型（模型定义和预训练的权重）释出到 GitHub 仓库中。该档案提供了所支援模型的列举，以及执行这些模型的依赖环境列表。相关的例子可以参见 torchvision、 huggingface-bert 和 gan-model-zoo 仓库。

让我们看看最简单的例子：torchvision’s hubconf.py:

1# Optional list of dependencies required by the package

2dependencies = [\'torch\']

4from torchvision.models.alexnet import alexnet

5from torchvision.models.densenet import densenet121, densenet169, densenet201, densenet161

6from torchvision.models.inception import inception_v3

7from torchvision.models.resnet import resnet18, resnet34, resnet50, resnet101, resnet152,\\

8resnext50_32x4d, resnext101_32x8d

9from torchvision.models.squeezenet import squeezenet1_0, squeezenet1_1

10from torchvision.models.vgg import vgg11, vgg13, vgg16, vgg19, vgg11_bn, vgg13_bn, vgg16_bn, vgg19_bn

11from torchvision.models.segmentation import fcn_resnet101, deeplabv3_resnet101

12from torchvision.models.googlenet import googlenet

13from torchvision.models.shufflenetv2 import shufflenet_v2_x0_5, shufflenet_v2_x1_0

14from torchvision.models.mobilenet import mobilenet_v2

在 torchvision 中，各模型具有如下性质：

每个模型档案都能作为函式呼叫，或者独立执行；

除了 PyTorch 之外（在 hubconf.py 中编码为 dependencies[\'torch\']），它们不需要任何其他包的支援；

不需要单独的接入点，因为模型在建立时可以无缝地接入。

PyTorch Hub 将包的依赖性降到了最小，当使用者载入模型并立即进行实验时，该特效能够提高使用者体验。

接下来我们看一个较为复杂的例子：HuggingFace’s BERT 模型，下面是该模型的 hubconf.py：

1dependencies = [\'torch\', \'tqdm\', \'boto3\', \'requests\', \'regex\']

3from hubconfs.bert_hubconf import (

4 bertTokenizer,

5 bertModel,

6 bertForNextSentencePrediction,

7 bertForPreTraining,

8 bertForMaskedLM,

9 bertForSequenceClassification,

10 bertForMultipleChoice,

11 bertForQuestionAnswering,

12 bertForTokenClassification

13)

每个模型都需要建立一个接入点，一下程式码用于指定 bertForMaskedLM 模型的接入点，并返回预训练的模型权重。

1def bertForMaskedLM(*args, **kwargs):

2 """

3 BertForMaskedLM includes the BertModel Transformer followed by the

4 pre-trained masked language modeling head.

5 Example:

6 ...

7 """

8 model = BertForMaskedLM.from_pretrained(*args, **kwargs)

9 return model

这些接入点可以作为复杂模型的包装器，它们能够提供干净且一致的帮助文件字串，支援使用者选择是否下载预训练权重（例如 pretrained=True），并且具有其它的特定功能，例如视觉化。

建立好 hubconf.py 后，可以根据此模板传送 github 推送请求。PyTorch Hub 的目标是为研究复现提供高质量、易于重复、高效的模型。因此，我们可能会与开发者合作完善推送请求，并在某些情况下拒绝释出一些低质量的模型。一旦我们接受了开发者的推送请求，开发者的模型将很快出现在 Pytorch 中心网页上，从而供所有的使用者浏览。

【使用者】工作流程

作为使用者，PyTorch Hub 提供非常简单的工作流程，使用者只需要按照以下三个步骤执行即可：（1）探索有价值的模型；（2）载入模型；（3）了解任何给定模型的可用方法。接下来，让我们分别看看每个步骤。

探索可用的接入点

使用者可以使用 torch.hub.list 列出仓库中所有可用的接入点。

1>>> torch.hub.list(\'pytorch/vision\')

2>>>

3[\'alexnet\',

4\'deeplabv3_resnet101\',

5\'densenet121\',

6...

7\'vgg16\',

8\'vgg16_bn\',