一、创建 Tensor
1.1 torch.empty(5, 3)
创建一个大小为 5*3 未初始化的 Tensor：
x = torch.empty(5,3)
输出为：
tensor([[8.4490e-39, 9.6429e-39, 9.2755e-39],
[1.0286e-38, 9.0919e-39, 8.9082e-39],
[9.2755e-39, 8.4490e-39, 9.2755e-39],
[9.6429e-39, 9.6429e-39, 9.3674e-39],
[1.0469e-38, 1.0102e-38, 9.2755e-39]])
1.2 torch.rand(5, 3)
创建一个大小为 5*3 随机初始化的 Tensor：
x = torch.rand(5, 3)
输出为：
tensor([[0.9481, 0.9788, 0.6261],
[0.3213, 0.4617, 0.4188],
[0.1769, 0.4106, 0.5583],
[0.5643, 0.5224, 0.8899],
[0.4977, 0.0276, 0.7517]])
1.3 torch.zeros(5, 3)
创建一个大小为 5x3 且指定数据类型为 long 型值全 0 的 Tensor：
x = torch.zeros(5, 3, dtype=torch.long)
输出为：
tensor([[0, 0, 0],
[0, 0, 0],
[0, 0, 0],
[0, 0, 0],
[0, 0, 0]])
1.4 torch.tensor([5.5, 3])
根据数据直接创建 Tensor：
x = torch.tensor([5.5, 3])
输出为：
tensor([5.5000, 3.0000])
1.5 new_ones
根据现有 Tensor 创建。
x = x.new_ones(5, 3, dtype=torch.float64)
# 返回的tensor默认具有相同的torch.dtype和torch.device
# 得到的x为：
tensor([[1., 1., 1.],
[1., 1., 1.],
[1., 1., 1.],
[1., 1., 1.],
[1., 1., 1.]], dtype=torch.float64)
x = torch.randn_like(x, dtype=torch.float)
# 指定新的数据类型
# 得到的x为：
tensor([[ 0.6035, 0.8110, -0.0451],
[ 0.8797, 1.0482, -0.0445],
[-0.7229, 2.8663, -0.5655],
[ 0.1604, -0.0254, 1.0739],
[ 2.2628, -0.9175, -0.2251]])
1.6 shape/size()
获取 Tensor 的形状：
print(x.size())
print(x.shape)
# 输出都为：
torch.Size([5, 3]) # 返回的torch.Size是一个tuple, 支持所有tuple的操作。
1.7 其余创建 Tensor 操作
| 函数 | 功能 |
|---|---|
| Tensor(*sizes) | 基础构造函数 |
| tensor(data,) | 类似np.array的构造函数 |
| ones(*sizes) | 全1Tensor |
| zeros(*sizes) | 全0Tensor |
| full(*sizes,data) | 值全为data，大小为sizes |
| ones_like(tensor) | 值全为1，大小和指定的tensor相同 |
| eye(*sizes) | 对角线为1，其他为0 |
| arange(s,e,step) | 从s到e，步长为step |
| linspace(s,e,steps) | 从s到e，均匀切分成steps份 |
| rand/randn(*sizes) | 均匀/标准分布 |
| normal(mean,std)/uniform(from,to) | 正态分布/均匀分布 |
| randperm(m) | 随机排列 |
这些创建方法都可以在创建的时候指定数据类型dtype和存放设备device（CPU/GPU）。
device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")
x = torch.tensor([1,1,1],dtype=torch.float64, device =device)
二、算术操作
两个 Tensor 进行加减乘除算术操作时会自动进行Broadcasting。
2.1 torch.add(x, y)
加法运算。
还可以指定输出：
result = torch.empty(5, 3)
torch.add(x, y, out=result)
2.2 torch.sub(x, y)
减法运算。
2.3 torch.mul(x, y)
对应元素相乘。
2.4 torch.div(x, y)
除法运算。
2.5 torch.mm()、torch.matmul()、@
矩阵相乘。
import torch
a = torch.ones(2, 1)
b = torch.ones(1, 2)
print(torch.mm(a, b).shape)
print(torch.matmul(a, b).shape)
print((a @ b).shape)
# 输出：
torch.Size([2, 2])
torch.Size([2, 2])
torch.Size([2, 2])
注意：对于高维的Tensor（dim>2），定义其矩阵乘法仅在最后的两个维度上，要求前面的维度必须保持一致，就像矩阵的索引一样并且运算操作语法只有torch.matmul()。（前面的"矩阵索引维度"如果符合Broadcasting机制，也会自动做广播，然后相乘）
c = torch.rand(4, 3, 28, 64)
d = torch.rand(4, 3, 64, 32)
print(torch.matmul(c, d).shape)
# 输出：
torch.Size([4, 3, 28, 32])
c = torch.rand(4, 3, 28, 64)
d = torch.rand(4, 1, 64, 32)
print(torch.matmul(c, d).shape) # 自动广播
# 输出：
torch.Size([4, 3, 28, 32])
2.6 .pow(2)
幂运算。
a = torch.full([2, 2], 3, dtype=torch.long)
b = a.pow(2) # 也可以a**2
print(b)
tensor([[9., 9.],
[9., 9.]])
2.7 .sqrt()
开方运算。
c = b.sqrt() # 也可以a**(0.5)
tensor([[3., 3.],
[3., 3.]])
d = b.rsqrt() # 平方根的倒数
tensor([[0.3333, 0.3333],
[0.3333, 0.3333]])
2.8 torch.exp()、torch.log()
指数和对数运算。
import torch
a = torch.exp(torch.ones(2, 2)) # 得到2*2的全是e的Tensor
print(a)
print(torch.log(a)) # 取自然对数
tensor([[2.7183, 2.7183],
[2.7183, 2.7183]])
tensor([[1., 1.],
[1., 1.]])
注意 log 是以自然对数为底数的，以2为底的用log2，以10为底的用 log10。
2.9 其他运算
| 函数 | 功能 |
|---|---|
| .floor() | 取下 |
| .ceil() | 取上 |
| .trunc() | 取整数 |
| .frac() | 取小数 |
| .round() | 四舍五入 |
| .max() | 最大值 |
| .min() | 最小值 |
| .abs() | 绝对值 |
| .median() | 平均值 |
| .clamp(10) | 裁剪运算，小于10的都变成10 |
| .clamp(3, 10) | 裁剪运算，小于3的变成3，大于10的变成10 |
三、索引
可以使用类似NumPy的索引操作来对Tensor进行索引，需要注意的是：索引出来的结果与原数据共享内存，也即修改一个，另一个会跟着修改。
y = x[0, :]
y += 1
print(y)
print(x[0, :]) # 源tensor也被改了
输出为：
tensor([1.6035, 1.8110, 0.9549])
tensor([1.6035, 1.8110, 0.9549])
一些索引高级函数：
| 函数 | 功能 |
|---|---|
| index_select(input, dim, index) | 在指定维度dim上选取，比如选取某些行、某些列 |
| masked_select(input, mask) | 例子如上，a[a>0]，使用ByteTensor进行选取 |
| nonzero(input) | 非0元素的下标 |
| gather(input, dim, index) | 根据index，在dim维度上选取数据，输出的size与index一样 |
四、改变形状
4.1 view()
用 view() 函数来改变 Tensor 的形状。
y = x.view(15)
z = x.view(-1, 5) # -1所指的维度可以根据其他维度的值推出来
print(x.size(), y.size(), z.size())
# 输出
torch.Size([5, 3]) torch.Size([15]) torch.Size([3, 5])
注意：view()返回的新Tensor与源Tensor虽然可能有不同的size，但是是共享data的，也即更改其中的一个，另外一个也会跟着改变。（view仅仅是改变了对这个张量的观察角度，内部数据并未改变。）
4.2 clone()、reshape()
如果想返回一个真正新的副本（即不共享data内存）：
Pytorch还提供了一个reshape()可以改变形状，但是此函数并不能保证返回的是其拷贝，所以不推荐使用。推荐先用clone创造一个副本然后再使用view。
x_cp = x.clone().view(15)
使用clone还有一个好处是会被记录在计算图中，即梯度回传到副本时也会传到源Tensor。
4.3 item()
将一个标量 Tensor 转换成一个 Python number。
x = torch.randn(1)
print(x)
print(x.item())
tensor([2.3466])
2.3466382026672363
五、线性代数
PyTorch还支持一些线性函数，具体用法参考官方文档。如下表所示：
| 函数 | 功能 |
|---|---|
| trace | 对角线元素之和(矩阵的迹) |
| diag | 对角线元素 |
| triu/tril | 矩阵的上三角/下三角，可指定偏移量 |
| mm/bmm | 矩阵乘法，batch的矩阵乘法 |
| addmm/addbmm/addmv/addr/baddbmm… | 矩阵运算 |
| t | 转置 |
| dot/cross | 内积/外积 |
| inverse | 求逆矩阵 |
| svd | 奇异值分解 |
六、广播机制
当对两个形状不同的Tensor按元素运算时，可能会触发广播（broadcasting）机制：先适当复制元素使这两个Tensor形状相同后再按元素运算。
七、Tensor和Numpy转换
用numpy()和from_numpy()可以将Tensor和NumPy中的数组相互转换。但是需要注意的一点是： 这两个函数所产生的的Tensor和NumPy中的数组共享相同的内存（所以他们之间的转换很快），改变其中一个时另一个也会改变。
7.1 Tensor转Numpy
a = torch.ones(5)
b = a.numpy()
7.2 Numpy转Tensor
import numpy as np
a = np.ones(5)
b = torch.from_numpy(a)
此外上面提到还有一个常用的方法就是直接用torch.tensor()将NumPy数组转换成Tensor，需要注意的是该方法总是会进行数据拷贝，返回的Tensor和原来的数据不再共享内存。
八、在GPU上操作
用方法to()可以将Tensor在CPU和GPU（需要硬件支持）之间相互移动。
# 以下代码只有在PyTorch GPU版本上才会执行
if torch.cuda.is_available():
device = torch.device("cuda") # GPU
y = torch.ones_like(x, device=device) # 直接创建一个在GPU上的Tensor
x = x.to(device) # 等价于 .to("cuda")
z = x + y
print(z)
print(z.to("cpu", torch.double)) # to()还可以同时更改数据类型
device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")
x = torch.tensor([1,1,1,1],dtype=torch.float64, device =device)