Keras Pytorch大比拼

对于许多数据科学家、工程师和开发人员来说,TensorFlow是他们深度学习框架的第一选择。TensorFlow 1.0于2017年2月发布,至少可以说,它不是非常用户友好。

在过去几年中,两个主要的深度学习库已经获得了巨大的普及,主要是因为它们比TensorFlow更容易使用:Keras和Pytorch。

译者注:TensorFlow 2.0已经将keras作为主要API,在TensorFlow 1.0中,也可以非常容易的引入Keras API。

本文将列出Keras与Pytorch的4个不同方面,以及为什么您会选择其中一个而不是另一个库。

Keras

Keras本身并不是一个框架,实际上它是一个位于其他Deep Learning框架之上的高级API。目前它支持TensorFlow、Theano和CNTK。

Keras的独到之处在于其易用性。它是迄今为止最容易上手和运行的框架。在Keras中,定义神经网络是直观的,而使用functional API允许开发人员将层定义为函数。

Pytorch

Pytorch是由Facebook的AI研究小组开发的深度学习框架(类似于TensorFlow)。像Keras一样,它也抽象了深度网络编程中大部分容易引起混淆的细节部分。

就高级和低级编码风格而言,Pytorch位于Keras和TensorFlow之间。它比Keras有更多的灵活性和控制力,但与此同时您不必做让人疯狂的声明性编程。

深度学习开发者整天都在争论应该使用哪个框架。一般来说,这取决于个人喜好。但是在做选择时您应该了解Keras和Pytorch的不同特点。

(1) 定义模型的类和函数对比

为了定义深度学习模型,Keras提供了Functional API。使用Functional API,神经网络被定义为一组序列函数,依次应用这些函数。例如,层1的输出是层2的输入:

img_input = layers.Input(shape=input_shape)
x = layers.Conv2D(64, (3, 3), activation='relu')(img_input)
x = layers.Conv2D(64, (3, 3), activation='relu')(x)
x = layers.MaxPooling2D((2, 2), strides=(2, 2))(x)

在Pytorch中,您需要将网络设置为一个类,该类扩展了Torch库中的torch.nn.Module。与Keras类似,Pytorch提供了层作为构建块,但由于它们位于Python类中,因此它们要在类的 __init__() 方法中引用,并由类的 forward() 方法执行。

class Net(nn.Module):
    def __init__(self):
        super(Net, self).__init__()
        self.conv1 = nn.Conv2d(3, 64, 3)
        self.conv2 = nn.Conv2d(64, 64, 3)
        self.pool = nn.MaxPool2d(2, 2)
    def forward(self, x):
        x = F.relu(self.conv1(x))
        x = self.pool(F.relu(self.conv2(x)))
        return x
model = Net()

因为Pytorch允许您使用所有Python的类特性而不是简单的函数调用,所以定义网络可以更清晰、更优雅。这真的没什么不好的,除非您真的觉得尽可能快地编写网络代码是最重要的,这样Keras会更容易使用。

(2) 张量和计算图与标准数组的对比

Keras API隐藏了许多容易引起混乱的编程细节,定义网络层非常直观,默认设置通常足以让您入门。

只有当您实现一个相当尖端或”特别结构”的模型时,您才真正需要使用低级别的TensorFlow细节API。

棘手的是,当您真正深入到更低级别的TensorFlow代码时,您将获得随之而来的所有具有挑战性的部分!您需要确保所有矩阵乘法都排列正确。哦,甚至不要考虑尝试打印出图层的一个输出,因为这样只会在终端上打印出一个漂亮的Tensor定义。

Pytorch在这些方面倾向于更加宽容。您需要知道每个层的输入和输出大小,但这是一个可以很快掌握的简单方面之一。您不必处理和构建一个您无法在调试中看到的抽象计算图。

译者注:这里实际上是吐槽TensorFlow的张量图并非即时计算,现在TensorFlow引入了eager模式,不再存在此问题。

Pytorch的另一个好处是您可以在Torch 张量和Numpy阵列之间来回切换。如果您需要实现自定义的东西,那么在TF张量和Numpy阵列之间来回转换可能会很麻烦,需要开发人员对TensorFlow会话有充分的了解。

Pytorch互操作实际上要简单得多。您只需要知道两个操作:一个将Torch Tensor(一个Variable对象)切换到Numpy,另一个切换到相反的方向。

当然,如果您不需要实现任何花哨的东西,那么Keras会做得很好,因为您不会遇到任何TensorFlow障碍。但如果您需要这样做,那么Pytorch可能会更顺畅。

(3) 训练模型

在Keras训练模型非常容易!只是一个简单的.fit(),即可启动!

history = model.fit_generator(
    generator=train_generator,
    epochs=10,
    validation_data=validation_generator)

在Pytorch中,训练模型包括几个步骤:

  1. 在每批次训练开始时初始化梯度
  2. 执行正向传递;
  3. 进行反向传递
  4. 计算损失并更新权重
for epoch in range(2):  # loop over the dataset multiple times
    running_loss = 0.0
    for i, data in enumerate(trainloader, 0):
        # Get the inputs; data is a list of [inputs, labels]
        inputs, labels = data
        # (1) Initialise gradients
        optimizer.zero_grad()
        # (2) Forward pass
        outputs = net(inputs)
        loss = criterion(outputs, labels)
        # (3) Backward
        loss.backward()
        # (4) Compute the loss and update the weights
        optimizer.step()

仅仅为了进行训练,需要这么多的步骤!

这种方式,您可以掌握每一步过程。但与此同时,由于这些模型训练步骤在训练不同模型时基本保持不变,因此非常不必要。

(4) 控制 CPU 和 GPU 模式

如果安装了tensorflow-gpu,则默认情况下在Keras中会启用并使用GPU。如果您希望将某些操作移动到CPU,则可以通过一行代码做到。

with tf.device('/cpu:0'):
    y = apply_non_max_suppression(x)

对于Pytorch,您必须为每个torch张量和numpy变量明确启用GPU。如果您在CPU和GPU之间来回切换以进行不同的操作,这会使代码变得混乱,并且可能容易出错。

例如,要将我们以前的模型转移到GPU上运行,我们必须执行以下操作:

# Get the GPU device
device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")
# Transfer the network to GPU
net.to(device)
# Transfer the inputs and labels to GPU
inputs, labels = data[0].to(device), data[1].to(device)

这里,Keras凭借其简洁和优雅的默认设置赢得了胜利。

选择框架的建议

我通常给出的建议是从Keras开始。

Keras绝对是最容易使用、理解并快速上手的框架。您不必担心GPU设置,摆弄抽象代码,或者做任何复杂的事情。您甚至可以进行自定义图层和损失函数的操作,而无需触及任何一行TensorFlow代码。

如果您确实开始深入了解深层网络中更细粒度的方面,或者正在实现非标准的东西,那么Pytorch就是您的首选库。对Keras来说,这将是一项额外的工作,但不是那么多,以至于它会减慢您的速度。您仍然可以快速实施、训练和测试您的网络,还可以轻松调试!

发布了2628 篇原创文章 · 获赞 753 · 访问量 269万+

猜你喜欢

转载自blog.csdn.net/kwame211/article/details/103885574