简介
因为自己电脑的gpu不足，想要使用学校的gpu。学校的基本配置如下
系统是centos7.3.里面有8个V100
因为没有root权限，所以只能在文件夹下安装自己的所有东西，刚开始想要安装anaconda，然后在安装其他的cuda，cudnn，pytorch-gpu，然而在测试程序中无法使用GPU加速，很难受，然后放弃使用anaconda，反而可以了。
服务器的简单链接
因为自己的电脑的系统是ubuntu16.04，所以也比较方便，如果是win下的话，可以使用xshell，xftp。
链接的话使用ssh，我的是
ssh [email protected]
想要传输文件的话，可以打开文件后，左侧有一个Connect to Sever，如图
sftp://[email protected]/home/zhangyuting314这样子就可以简单的使用了。
安装python2.7
如果你想要安装的是python3的话，估计没有必要安装pip了，好像是自带的。
1.下载python2.7
wget https://www.python.org/ftp/python/2.7.5/Python-2.7.5.tgz2.解压，然后到Python的文件路径下
tar -xzf Python-2.7.5.tgz
cd Python-2.7.53.进行编译，--prefix这个路径需要修改一下，其实就是编译的路径了
./configure --prefix=/home/zhangyuting314/python24.安装
make -j
make install5.配置环境，将PATH修改成自己的
vim ~/.bashrc
export PATH=/home/zhangyuting314/python2/bin:$PATH
source ~/.bashrc6.测试
键入python，就可以看到自己安装的版本了
安装pip
下载pip-9.0.1，最后我会升级到19.01
wget https://pypi.python.org/packages/11/b6/abcb525026a4be042b486df43905d6893fb04f05aac21c32c638e939e447/pip-9.0.1.tar.gz#md5=35f01da33009719497f01a4ba69d63c9解压以及安装
tar -zxvf pip-9.0.1.tar.gz
cd pip-9.0.1
python setup.py install最后的一部出现了
ImportError: No module named setuptools然后那就先安装setuptools
wget --no-check-certificate https://pypi.python.org/packages/source/s/setuptools/setuptools-12.0.3.tar.gz
tar xvf setuptools-12.0.3.tar.gz
cd setuptools-12.0.3
python setup.py install安装完之后，在回头安装pip
cd ~
cd pip-9.0.1
python setup.py install现在基本上安装完成了，查看pip的版本
pip -V然后在升级一下
pip install --upgrade pip安装cuda9.0
下载完成以后，传输到服务器中，
对.run添加权限，安装。
chmod +x cuda_9.0.176_384.81_linux.run
./cuda_9.0.176_384.81_linux.run照如下步骤进行安装
Do you accept the previously read EULA?
accept/decline/quit:accept
Install NVIDIA Accelerated Graphics Driver for Linux-x86_64 387.26?
(y)es/(n)o/(q)uit: n
Install the CUDA 9.0 Toolkit?
(y)es/(n)o/(q)uit: y
Enter Toolkit Location
[ default is /usr/local/cuda-9.0 ]:
直接按enter
Do you want to install a symbolic link at /usr/local/cuda?
(y)es/(n)o/(q)uit: y
Install the CUDA 9.0 Samples?
(y)es/(n)o/(q)uit: y接下来添加环境，里面不需要修改了，注意里面是大写的HOME，不是home
vim ~/.bashrc
export PATH=$HOME/cuda9.0/bin:$PATH
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$HOME/cuda9.0/lib64/
然后激活环境
source ~/.bashrc看是否安装好，键入。
nvcc -V安装cudnn7.4
这个cudnn必须和cuda适配哦
注册下载完成以后，传输到服务器中
然后解压，解压之后的文件是cuda文件
tar -xzvf cudnn-9.0-linux-x64-v7.4.1.5.tgz复制
cp cuda/include/cudnn.h ~/cuda9.0/include/
cp cuda/lib64/libcudnn* ~/cuda9.0/lib64
chmod a+r ~/cuda9.0/include/cudnn.h ~/cuda9.0/lib64/libcudnn*这样子就安装好了cudnn了
安装pytorch-gpu
找到pytorch的官网，里面右需要的命令取安装pytorch，如图
pip install torch torchvision这里给一个测试程序吧
# coding=utf-8
import torch
import torch.nn as nn
from torch.autograd import Variable
import torch.utils.data as Data
import torchvision
import time
# import matplotlib.pyplot as plt
torch.manual_seed(1)
EPOCH = 1
BATCH_SIZE = 50
LR = 0.001
DOWNLOAD_MNIST = False
if_use_gpu = 1
# 获取训练集dataset
training_data = torchvision.datasets.MNIST(
root='./MNIST_data/', # dataset存储路径
train=True, # True表示是train训练集，False表示test测试集
transform=torchvision.transforms.ToTensor(), # 将原数据规范化到（0,1）区间
download=DOWNLOAD_MNIST,
)
# 打印MNIST数据集的训练集及测试集的尺寸
print(training_data.train_data.size())
print(training_data.train_labels.size())
# torch.Size([60000, 28, 28])
# torch.Size([60000])
# plt.imshow(training_data.train_data[0].numpy(), cmap='gray')
# plt.title('%i' % training_data.train_labels[0])
# plt.show()
# 通过torchvision.datasets获取的dataset格式可直接可置于DataLoader
train_loader = Data.DataLoader(dataset=training_data, batch_size=BATCH_SIZE,
shuffle=True)
# 获取测试集dataset
test_data = torchvision.datasets.MNIST(
root='./MNIST_data/', # dataset存储路径
train=False, # True表示是train训练集，False表示test测试集
transform=torchvision.transforms.ToTensor(), # 将原数据规范化到（0,1）区间
download=DOWNLOAD_MNIST,
)
# 取前全部10000个测试集样本
test_x = Variable(torch.unsqueeze(test_data.test_data, dim=1).float(), requires_grad=False)
# test_x = test_x.cuda()
## (~, 28, 28) to (~, 1, 28, 28), in range(0,1)
test_y = test_data.test_labels
# test_y = test_y.cuda()
class CNN(nn.Module):
def __init__(self):
super(CNN, self).__init__()
self.conv1 = nn.Sequential( # (1,28,28)
nn.Conv2d(in_channels=1, out_channels=16, kernel_size=5,
stride=1, padding=2), # (16,28,28)
# 想要con2d卷积出来的图片尺寸没有变化, padding=(kernel_size-1)/2
nn.ReLU(),
nn.MaxPool2d(kernel_size=2) # (16,14,14)
)
self.conv2 = nn.Sequential( # (16,14,14)
nn.Conv2d(16, 32, 5, 1, 2), # (32,14,14)
nn.ReLU(),
nn.MaxPool2d(2) # (32,7,7)
)
self.out = nn.Linear(32 * 7 * 7, 10)
def forward(self, x):
x = self.conv1(x)
x = self.conv2(x)
x = x.view(x.size(0), -1) # 将（batch，32,7,7）展平为（batch，32*7*7）
output = self.out(x)
return output
cnn = CNN()
if if_use_gpu:
cnn = cnn.cuda()
optimizer = torch.optim.Adam(cnn.parameters(), lr=LR)
loss_function = nn.CrossEntropyLoss()
for epoch in range(EPOCH):
start = time.time()
for step, (x, y) in enumerate(train_loader):
b_x = Variable(x, requires_grad=False)
b_y = Variable(y, requires_grad=False)
if if_use_gpu:
b_x = b_x.cuda()
b_y = b_y.cuda()
output = cnn(b_x)
loss = loss_function(output, b_y)
optimizer.zero_grad()
loss.backward()
optimizer.step()
if step % 100 == 0:
print('Epoch:', epoch, '|Step:', step,
'|train loss:%.4f' % loss.item())
duration = time.time() - start
print('Training duation: %.4f' % duration)
cnn = cnn.cpu()
test_output = cnn(test_x)
pred_y = torch.max(test_output, 1)[1].data.squeeze()
accuracy = sum(pred_y == test_y) / test_y.size(0)
print('Test Acc: %.4f' % accuracy)参考博客
https://blog.csdn.net/weixin_40085833/article/details/84325114
