TensorFlow基本概念与常见函数

1、基本概念

TensorFlow 中的 Tensor 表示张量，是多维数组、多维列表，用阶表示张量的维数。

• 0 阶张量叫做标量，表示的是一个单独的数，如 123；

• 1 阶张量叫作向量， 表示的是一个一维数组如[1,2,3]；

• 2 阶张量叫作矩阵，表示的是一个二维数组， 它可以有 i 行 j 列个元素，每个元素用它的行号和列号共同索引到，如在 [[1,2,3],[4,5,6],[7,8,9]]中，2 的索引即为第 0 行第 1 列。

张量的阶数与方括号的数 量相同，0 个方括号即为 0 阶张量，1 个方括号即为 1 阶张量。故张量可以表示 7 0 阶到 n 阶的数组。

2、数据类型

  TensorFlow 中数据类型包括

• 32 位整型(tf.int32)

• 32 位浮点(tf.float32)

• 64 位 浮点(tf.float64)

• 布尔型(tf.bool)

• 字符串型(tf.string)

3、如何创建一个Tensor?

  创建张量有若干种不同的方法：

3.1 tf.constant()

  利用 tf.constant(张量内容，dtype=数据类型(可选))

  第一个参数表示张量内容， 第二个参数表示张量的数据类型。

import tensorflow as tf

a = tf.constant([1, 5], dtype=tf.int64)
print("a:", a)
print("a.dtype:", a.dtype)
print("a.shape:", a.shape)

# 本机默认 tf.int32  可去掉dtype试一下 查看默认值

即会输出张量内容、形状与数据类型，shape 中数字为 2，表示一维张量里有 2 个元素。

3.2 tf. convert_to_tensor()

  很多时候数据是由 numpy 格式给出的，此时可以通过如下函数将 numpy 格式 化为Tensor 格式：tf. convert_to_tensor(数据名，dtype=数据类型(可选))。

import tensorflow as tf
import numpy as np

a = np.arange(0, 5)
b = tf.convert_to_tensor(a, dtype=tf.int64)
print("a:", a)
print("b:", b)

可见，将 numpy 格式的 a 转换成了 Tensor 格式的 b

3.3 可采用不同函数创建不同值的张量

• tf. zeros(维度)创建全为 0 的张量，

• tf.ones(维度)创建全为 1 的张量，

• tf. fill(维度，指定值)创建全为指定值的张量。

   其中维度参数部分，如一维则直接写个数，二维用[行，列]表示，多维用[n,m,j…] 表示。

import tensorflow as tf

a = tf.zeros([2, 3])
b = tf.ones(4)
c = tf.fill([2, 2], 9)
print("a:", a)
print("b:", b)
print("c:", c)

  可见，tf.zeros([2,3])创建了一个二维张量，第一个维度有两个元素，第二个维度 有三个元素，元素的内容全是 0；

   tf.ones(4)创建了一个一维张量，里边有 4 个元 素，内容全是 1；

  tf.fill([2,2],9)创建了一个两行两列的二维张量，第一个维度有 两个元素，第二个维度也有两个元素，内容都是 9。

3.4 可采用不同函数创建符合不同分布的张量。

• 用 tf. random.normal (维度， mean=均值，stddev=标准差)生成正态分布的随机数，默认均值为 0，标准差为 1；

• 用 tf. random.truncated_normal (维度，mean=均值，stddev=标准差)生成截断式正 态分布的随机数，能使生成的这些随机数更集中一些，如果随机生成数据的取值 在 (µ - 2σ，u + 2σ ) 之外则重新进行生成，保证了生成值在均值附近；

• 利用 tf. random. uniform(维度，minval=最小值，maxval=最大值)，生成指定维度的均匀 分布随机数，用 minval 给定随机数的最小值，用 maxval 给定随机数的最大值， 最小、最大值是前闭后开区间。

标准差的计算公式为：
$$\sigma =\sqrt{\frac{{\sum }_{i=1}^n(x_i-\overline{x}{)}^2}{n}}$$

import tensorflow as tf
# 2行2列的张量，里面的元素符合以0.5为均值，1为标准差的随机数
d = tf.random.normal([2, 2], mean=0.5, stddev=1)
print("d:", d)
e = tf.random.truncated_normal([2, 2], mean=0.5, stddev=1)
print("e:", e)

import tensorflow as tf

f = tf.random.uniform([2, 2], minval=0, maxval=1)
print("f:", f)

4、常用函数

4.1 tf.cast()和tf.reduce_min()

• 利用 tf.cast (张量名，dtype=数据类型)强制将 Tensor 转换为该数据类型；

• 利用tf.reduce_min (张量名)计算张量维度上元素的最小值；利用tf.reduce_max (张量名)计算张量维度上元素的最大值。

import tensorflow as tf

x1 = tf.constant([1., 2., 3.], dtype=tf.float64)
print("x1:", x1)
x2 = tf.cast(x1, tf.int32)
print("x2", x2)
print("minimum of x2：", tf.reduce_min(x2))
print("maxmum of x2:", tf.reduce_max(x2))

4.2 tf.reduce_mean()和tf.reduce_sum()

  可用 tf.reduce_mean (张量名，axis=操作轴)计算张量沿着指定维度的平均 值；

  可用 tf.reduce_sum (张量名，axis=操作轴)计算张量沿着指定维度的和，如不指定 axis，则表示对所有元素进行操作。

  维度定义：

  由上图可知对于一个二维张量，如果 axis=0 表示纵向操作(沿经度方向) ，axis=1 表示横向操作(沿纬度方向)。

import tensorflow as tf

x = tf.constant([[1, 2, 3], [2, 2, 3]])
print("x:", x)
print("mean of x:", tf.reduce_mean(x))  # 求x中所有数的均值
print("sum of x:", tf.reduce_sum(x, axis=1))  # 求每一行的和

4.3 tf.Variable()

   tf.Variable(initial_value,trainable,validate_shape,name)函数可以将 变量标记为“可训练”的，被它标记了的变量，会在反向传播中记录自己的梯度信息。

   其中 initial_value 默认为 None，可以搭配 tensorflow 随机生成函数来初始 化参数； trainable 默认为 True，表示可以后期被算法优化的，如果不想该变量被 优化，即改为 False；

  validate_shape 默认为 True，形状不接受更改，如果需要更 改validate_shape=False； name 默认为 None，给变量确定名称。

w = tf.Variable(tf.random.normal([2, 2], mean=0, stddev=1))

表示首先随机 生成正态分布随机数，再给生成的随机数标记为可训练，这样在反向传播中就可以通过梯度下降更新参数 w了。

4.4 利用 TensorFlow 中函数对张量进行四则运算

• tf.add (张量 1,张量 2)实现两个张量的对应元素相加；

• tf.subtract (张量 1,张量 2)实现两个张量的 对应元素相减；

• tf.multiply (张量 1,张量 2)实现两个张量的对应元素相乘；

• tf.divide (张量 1,张量 2)实现两个张量的对应元素相除。

注：只有维度相同 的张量才可以做四则运算

import tensorflow as tf

a = tf.ones([1, 3])
b = tf.fill([1, 3], 3.)
print("a:", a)
print("b:", b)
print("a+b:", tf.add(a, b))
print("a-b:", tf.subtract(a, b))
print("a*b:", tf.multiply(a, b))
print("b/a:", tf.divide(b, a))

4.5 利用 TensorFlow 中函数对张量进行幂次运算

• tf.square (张量名)计 算某个张量的平方；

• tf.pow (张量名，n 次方数)计算某个张量的 n 次方；利 用 tf.sqrt (张量名)计算某个张量的开方。

import tensorflow as tf

a = tf.fill([1, 2], 3.)
print("a:", a)
print("a的平方:", tf.pow(a, 3))
print("a的平方:", tf.square(a))
print("a的开方:", tf.sqrt(a))

4.6 tf.matmul(矩阵 1，矩阵 2)实现两个矩阵的相乘

import tensorflow as tf

a = tf.ones([3, 2])
b = tf.fill([2, 3], 3.)
print("a:", a)
print("b:", b)
print("a*b:", tf.matmul(a, b))

  输出结果：tf.Tensor([[6. 6. 6.] [6. 6. 6.] [6. 6. 6.]], shape=(3, 3), dtype=float32)，即 a 为一个 3 行 2 列的全 1 矩阵，b 为 2 行 3 列的全 3 矩阵，二者进行矩阵相乘。

4.7 tf.data.Dataset.from_tensor_slices((输入特征, 标签))

  可利用 tf.data.Dataset.from_tensor_slices((输入特征, 标签))切分传入张量的第一维度，生成输入特征/标签对，构建数据集，此函数对 Tensor 格式与 Numpy 格式均适用，其切分的是第一维度，表征数据集中数据的数量，之后切分 batch 等操作都以第一维为基础。

import tensorflow as tf

features = tf.constant([12, 23, 10, 17])
labels = tf.constant([0, 1, 1, 0])
# 切分传入张量的第一维度，生成输入特征/标签对，构建数据集
dataset = tf.data.Dataset.from_tensor_slices((features, labels))
for element in dataset:
    print(element)

  即将输入特征 12 和标签 0 对应，产生配对；将输入特征 23 和标签 1 对应，产生 配对…

4.8 tf.GradientTape( )函数搭配 with 结构计算损失函数在某一张量处的梯度

import tensorflow as tf

with tf.GradientTape() as tape:
    x = tf.Variable(tf.constant(3.0))
    y = tf.pow(x, 2)
grad = tape.gradient(y, x)
print(grad)

  输出结果：tf.Tensor(6.0, shape=(), dtype=float32) 在上例中，损失函数为 $w^2$ ，w当前取值为 3，故计算方式为 $\frac{\partial w^2}{\partial w}=2w=2\times 0.3=0.6$

4.9 enumerate(列表名)函数枚举出每一个元素

  可利用 enumerate(列表名)函数枚举出每一个元素，并在元素前配上对应 的索引号，常在 for 循环中使用。

seq = ['one', 'two', 'three']
for i, element in enumerate(seq):
    print(i, element)

4.10 tf.one_hot()独热编码

  tf.one_hot(待转换数据，depth=几分类)函数实现用独热码表示标签

  标记类别为为 1 和 0，其中 1 表示是，0 表示非。如在鸢尾花分类任务中，如果标签是 1，表示分类结果是1杂色鸢尾，其用把它用独热码表示就是 0,1,0，这样可以表示出每个分类的概率：也就是百分之 0 的可能是 0 狗尾草鸢尾，百分百的可能是 1 杂色鸢尾，百分之 0 的可能是弗吉尼亚鸢尾。

import tensorflow as tf

classes = 3
labels = tf.constant([1, 0, 2])  # 输入的元素值最小为0，最大为2
# tf.one_hot (待转换数据, depth=几分类)
output = tf.one_hot(labels, depth=classes)
print("result of labels1:", output)
print("\n")

4.11 tf.nn.softmax( )

  tf.nn.softmax( )函数使前向传播的输出值符合概率分布，进而与独 热码形式的标签作比较，其计算公式为 $\frac{e^{y_i}}{{\sum }_{j=0}^n{e}^{y_i}}$，其中 $y_i$是前向传播的输出。

  在前一部分，我们得到了前向传播的输出值，分别为 1.01、2.01、-0.66，通过上述 计算公式，可计算对应的概率值：

  上式中，0.256 表示为 0 类鸢尾的概率是 25.6%，0.695 表示为 1 类鸢尾的概率是 69.5%，0.048 表示为 2 类鸢尾的概率是 4.8%。

import tensorflow as tf

y = tf.constant([1.01, 2.01, -0.66])
y_pro = tf.nn.softmax(y)

print("After softmax, y_pro is:", y_pro)  # y_pro 符合概率分布
print("The sum of y_pro:", tf.reduce_sum(y_pro))  # 通过softmax后，所有概率加起来和为1

4.12 assign_sub() 对参数实现自更新

  assign_sub 对参数实现自更新。使用此函数前需利用 tf.Variable 定义变量 w为可训练(可自更新)

import tensorflow as tf

x = tf.Variable(4)
x.assign_sub(1)     # x-=1即x=x-1
print("x:", x)  # 4-1=3

  <tf.Variable ‘Variable:0’ shape=() dtype=int32, numpy=3>即实现了参数 x自减 1。注：直接调用 tf.assign_sub 会报错，要用 x.assign_sub。

4.13 tf.argmax (张量名,axis=操作轴)

tf.argmax (张量名,axis=操作轴)返回张量沿指定维度最大值的索引。

import numpy as np
import tensorflow as tf

test = np.array([[1, 2, 3], [2, 3, 4], [5, 4, 3], [8, 7, 2]])
print("test:\n", test)
print("每一列的最大值的索引：", tf.argmax(test, axis=0))  # 返回每一列最大值的索引
print("每一行的最大值的索引", tf.argmax(test, axis=1))  # 返回每一行最大值的索引