tf.layers.dense()函数解析

今天在看一个博客——使用tf.nn.batch_normalization函数实现Batch Normalization操作碰到tf.layers.dense()，特此记录。

tf.layers.dense(
    inputs,
    units,
    activation=None,
    use_bias=True,
    kernel_initializer=None,
    bias_initializer=tf.zeros_initializer(),
    kernel_regularizer=None,
    bias_regularizer=None,
    activity_regularizer=None,
    kernel_constraint=None,
    bias_constraint=None,
    trainable=True,
    name=None,
    reuse=None
)

参数：

inputs: 输入该网络层的数据。
units: 该层的神经单元结点数。
activation：激活功能（可调用），默认设置为“None”，不使用激活函数。
use_bias：Boolean，表示该层是否使用偏置项，使用bias为True（默认使用），不用bias改成False即可。
kernel_initializer：权重矩阵的初始化函数；如果为None（默认），则使用tf.get_variable使用的默认初始化程序初始化权重。
bias_initializer：偏置的初始化函数，默认初始化为0。
kernel_regularizer：权重矩阵的正则化函数。可选
bias_regularizer：偏置的正则化函数。可选
activity_regularizer：输出的正则化函数。
kernel_constraint：由Optimizer更新后应用于内核的可选投影函数（例如，用于实现层权重的范数约束或值约束）。该函数必须将未投影的变量作为输入，并且必须返回投影变量（必须具有相同的形状）。在进行异步分布式训练时，使用约束是不安全的。
bias_constraint：由Optimizer更新后应用于偏置的可选投影函数。
trainable：Boolean，如果为True，还将变量添加到图集合GraphKeys.TRAINABLE_VARIABLES中（请参阅参考资料tf.Variable）。
name：String，图层的名称；具有相同名称的图层将共享权重，但为了避免错误，在这种情况下，我们需要reuse=True。
reuse：Boolean，是否以同一名称重用前一层的权重。

返回值：

一个Tensor，shape与input相同（不含最后一位），最后一位是unit参数（tf.layers.dense的第二个位置参数）的值。

例子：

import tensorflow as tf

# [5,1]的矩阵，5组数据，每组数据为1个。
# tf.layers.dense会根据这个shape，自动调整输入层单元数。
input = tf.ones([5, 1])  
output = tf.layers.dense(input, 10)
print(output.get_shape())

input = tf.ones([3, 2])
output = tf.layers.dense(input, 10)
print(output.get_shape())

input = tf.ones([1, 7, 20])
output = tf.layers.dense(input, 10)
print(output.get_shape())

input = tf.ones([1, 7, 11, 20])
output = tf.layers.dense(input, 10)
print(output.get_shape())

> (5, 10)
> (3, 10)
> (1, 7, 10)
> (1, 7, 11, 10)

tf.layers.dense()函数解析

例子：

猜你喜欢