Tensorflow2.0学习笔记------构建高级模型

上文说到使用堆叠模型构建一个简单的网络,但是tf.keras.Sequential 模型是层的简单堆叠,有很多模型中间有各种各样的连接方式。这就需要使用 Keras 函数式 API ,可以构建复杂的模型拓扑,例如:同一个层被多次调用、残差连接等,同时还可以使模型子类化,构建更加复杂的模型。

一. 函数式API

使用函数式API的模型,层实例可调用并返回张量,训练方式和 Sequential 模型一样。

Step1:使用函数式API搭建四层网络

input = tf.keras.Input(shape=(100, ))
hidden1 = layers.Dense(64, activation='relu')(input)
hidden2 = layers.Dense(64, activation='relu')(hidden1)
hidden3 = layers.Dense(64, activation='relu')(hidden2)
pred = layers.Dense(10, activation='softmax')(hidden3)
model = tf.keras.Model(inputs=input, outputs=pred)  #定义好输入输出

Step2:设置训练流程

model.compile(optimizer=tf.keras.optimizers.Adam(0.001),
             loss=tf.keras.losses.categorical_crossentropy,
             metrics=['accuracy'])

Step3:制作数据集


train_x = np.random.random((1000, 100))
train_y = np.random.random((1000, 10))
 
val_x = np.random.random((200, 100))
val_y = np.random.random((200, 10))

Step4:训练

model.fit(train_x, train_y, epochs=10, batch_size=100,
          validation_data=(val_x, val_y))

二. 模型子类化

可以通过tf.keras.Model对模型子类化,在init方法中创建需要用的层实例,然后在call方法中定义前向传播。

Step1:模型设置

class MyModel(tf.keras.Model):
    def __init__(self, num_classes=10):
        super(MyModel, self).__init__(name='my_model')
        self.num_classes = num_classes
        self.layer1 = layers.Dense(32, activation='relu')
        self.layer2 = layers.Dense(num_classes, activation='softmax')

    def call(self, inputs):
        h1 = self.layer1(inputs)
        out = self.layer2(h1)
        return out

model = MyModel(num_classes=10)

Step2:设置训练流程(同上)

Step3:制作数据集(同上)

扫描二维码关注公众号,回复: 10878499 查看本文章

Step4:训练(同上)

三.  自定义层

通过对 tf.keras.layers.Layer 进行子类化并实现以下方法来创建自定义层:

build:创建层的权重。使用 add_weight 方法添加权重。

call:定义前向传播。

compute_output_shape:指定在给定输入形状的情况下如何计算层的输出形状。 或者,可以通过实现 get_config 方法和from_config 类方法序列化层。

class MyLayer(layers.Layer):
    def __init__(self, output_dim, **kwargs):
        self.output_dim = output_dim
        super(MyLayer, self).__init__(**kwargs)

    def build(self, input_shape):
        shape = tf.TensorShape((input_shape[1], self.output_dim))
        self.kernel = self.add_weight(name='kernel1', shape=shape,
                                   initializer='uniform', trainable=True)
        super(MyLayer, self).build(input_shape)

    def call(self, inputs):
        return tf.matmul(inputs, self.kernel)

    def compute_output_shape(self, input_shape):
        shape = tf.TensorShape(input_shape).as_list()
        shape[-1] = self.output_dim
        return tf.TensorShape(shape)

    def get_config(self):
        base_config = super(MyLayer, self).get_config()
        base_config['output_dim'] = self.output_dim
        return base_config

    @classmethod
    def from_config(cls, config):
        return cls(**config)

model = tf.keras.Sequential(
[
    MyLayer(10),
    layers.Activation('softmax')
])

Step2:设置训练流程(同上)

Step3:制作数据集(同上)

Step4:训练(同上)

四. 回调(保存训练信息)

Step1:训练之前添加callback设置

callbacks = [
    tf.keras.callbacks.EarlyStopping(patience=2, monitor='val_loss'),
    tf.keras.callbacks.TensorBoard(log_dir='./logs')
]

Step2:训练

model.fit(train_x, train_y, batch_size=16, epochs=5,
         callbacks=callbacks, validation_data=(val_x, val_y))

 

发布了80 篇原创文章 · 获赞 184 · 访问量 3万+

猜你喜欢

转载自blog.csdn.net/hesongzefairy/article/details/105426077