reduce_sum应该理解为压缩求和、抹去求和,用于降维
- 什么是sum
- 什么是reduce
- 什么是维度(indices, 现在均改为了axis和numpy等包一致)
1. 什么是维度?什么是轴(axis)?如何索引轴(axis)?
这是一个很大的问题,到底什么是维度呢?维基百科说:
维度,又称维数,是数学中独立参数的数目。在物理学和哲学的领域内,指独立的时空坐标的数目。
0维是一点,没有长度。1维是线,只有长度。2维是一个平面,是由长度和宽度(或曲线)形成面积。3维是2维加上高度形成“体积面”。虽然在一般人中习惯了整数维,但在分形中维度不一定是整数,可能会是一个非整的有理数或者无理数。
妈呀,好复杂,我只是想写个tensorflow代码呀。
那么,编程时,你就可以简单的认为:
维度是用来索引一个多维数组中某个具体数所需要最少的坐标数量。
把这句话多读几遍,我想你肯定会有所顿悟。这里之所以说第一个1维的例子时0维,是因为,一个数字根本不需要索引,因为就只有一个呀。所有不同维度的形式如下:
0维,又称0维张量,数字,标量:1
1维,又称1维张量,数组,vector:[1, 2, 3]
2维,又称2维张量,矩阵,二维数组:[[1,2], [3,4]]
3维,又称3维张量,立方(cube),三维数组:[ [[1,2], [3,4]], [[5,6], [7,8]] ]
n维:你应该get到点了吧~
再多的维只不过是是把上一个维度当作自己的元素
1维的元素是标量,2维的元素是数组,3维的元素是矩阵。
从0维到3维,边看边念咒语“维度是用来索引一个多维数组中某个具体数所需要最少的坐标。”
在纸上写写看,想要精确定位一个数字,需要几个数字呢?比如上面例子中的3维数组,我们想要3这个数字,至少要3个数字定位,它的坐标是(0为索引起点):[0, 1, 0]
好了,现在就能说了,什么是轴(axis),如何索引axis(代码中常用的变量名,后文就用axis代表轴)。
什么是axis,编程时,你就可以简单的认为:
axis是多维数组每个维度的坐标。
同样,把这句话多读几遍,我想你一定有体悟。
还拿3维来说,数字3的坐标是[0, 1, 0],那么第一个数字0的axis是0,第二个数字1的axis是1,第三个数字0的axis是2。
让我们再看看我们是如何得到3这个数字的:
- 找到3所在的2维矩阵在这个3维立方的索引:0
- 找到3所在的1维数组在这个2维矩阵的索引:1
- 找到3这个数这个1维数组的索引:0
也就是说,对于[ [[1,2], [3,4]], [[5,6], [7,8]] ]这个3维情况,[[1,2],[3,4]], [[5,6], [7,8]]这两个矩阵(还记得吗,高维的元素低一个维度,因此三维立方的元素是二维矩阵)的axis是0,[1,2],[3,4],[5,6],[7,8]这4个数组(二维矩阵的元素是一维数组)的axis是1,而1,2,3,4,5,6,7,8这8个数的axis是2。
越往里axis就越大,依次加1。
那么,对于3维的情况,令a = [ [[1,2], [3,4]], [[5,6], [7,8]] ],tf.reduce_sum(a, axis=1)应该输出[[ 4, 6], [12, 14]],这就是处在axis=1的4个数组相加的结果,并reduce掉了一个维度。
这里需要注意的是,axis可以为负数,此时表示倒数第axis个维度,这和Python中列表切片的用法类似。
2. 什么是reduce
对一个n维的情况进行reduce,就是将执行操作的这个维度压缩。还是上面tf.reduce_sum(a, axis=1)的例子,输出[[ 4, 6], [12, 14]]是二维,显然是被压缩了,压缩的哪个维度呢?就是被操作的维度,第2个维度,也就是axis=1(0开始索引)。tf.reduce_sum(a, axis=1)具体执行步骤如下:
- 找到a中axis=1的元素,也就是[1,2],[3,4],[5,6],[7,8]这4个数组(两两一组,因为前两个和后两个的地位相同)
- 在axis=1的维度进行相加也就是[1,2]+[3,4]=[4,6],[5,6]+[7,8]=[12, 14]
- 压缩这一维度,也就是说“掉一层方括号”,得出[[ 4, 6], [12, 14]]
3. 什么是keepdims
keepdims也就是保持维度,直观来看就是“不掉一层方括号”,不掉哪层方括号呢?就是本来应该被压缩的那一层(详细解释见评论)。tf.reduce_sum(a, axis=1, keepdims=True)得出[[[ 4, 6]], [[12, 14]]],可以看到还是3维。这种尤其适合reduce完了要和别的同维元素相加的情况。
下面举个多维tensor例子简单说明。下面是个2*3*4的tensor。
[[[ 1 2 3 4]
[ 5 6 7 8]
[ 9 10 11 12]]
[[13 14 15 16]
[17 18 19 20]
[21 22 23 24]]]
如果计算tf.reduce_sum(tensor, axis=0),axis=0说明是按第一个维度进行求和,也就是说把
[[ 1 2 3 4]
[ 5 6 7 8]
[ 9 10 11 12]
和
[[13 14 15 16]
[17 18 19 20]
[21 22 23 24]]相加,所以第一个维度(也就是2)抹去,求和结束得到的tensor_ans是3*4(之前tensor是2*3*4)。显然tensor_ans的元素分别是1+13;2+14;3+15……;12+24。即:
[[1+13 2+14 3+15 4+16]
[5+17 6+18 7+19 8+20]
[9+21 10+22 11+23 12+24]]。
依次类推,如果axis=1,那么求和结果shape是2*4,即:
[[ 1 + 5 + 9 2 + 6+10 3 + 7+11 4 + 8+12]
[13+17+21 14+18+22 15+19+23 16+20+24]]
如果axis=2,那么求和结果shape是2*3,即:
[[1+2+3+4 5+6+7+8 9+10+11+12]
[13+14+15+16 17+18+19+20 21+22+23+24]]