aws+Anaconda+ tensorflow + keras +opencv搭建深度学习网络环境(上--硬件篇)

最近在做udacity的毕业项目,环境搭建废了不少功夫,为了方便以后再次搭建,就有了这篇环境搭建文章,也希望能给更多的朋友带来一点点帮助。
我们将基于aws搭建深度学习主机,然后再这台租来的主机上搭所需软件环境。
硬件篇
为啥要用aws:一来方便,在任何可以上网的地方利用任何一台PC上登录aws,租一台主机,就可以在上面搭建训练我们的深度学习网络;二来,好吧我承认是我穷--!在aws上租一台服务器主机相对1080ti来说更便宜些。好了,我们开始吧。
啥?你还没有aws账号?注册一个吧,前提条件,一张信用卡。不知道如何注册的小白,可以 参考这篇文章进行aws注册。

一、登录
好的,我们已经有aws账号了,下面我们打开aws中国,选择 我的账户-->AWS管理控制台

接下来,输入我们注册的账号密码

登录成功后,右上角可以选择所在区域,据说据说东京和美国东部比较快,我这里选择美国东部。老用户会显示最近访问的服务,这里我们选择EC2

二、提高权限
创建实例之前我们需要先提高我们的权限,免费用的实例是跑不了深度学习的(如果你能忍受一个模型跑上几天的话,完全可以在自己的笔记本上跑),默认情况下我们没有权限创建p2.xlarge or p3.2xlarge 实例(计算速度越快,所需费用越高),需要填写表单提高权限

注意,region地区、实例类型以及这个类型实例个数的选择,

运用描述可以填写“train neural networks"之类的话,选择web。点击submit,然后大概15分钟左右我们就获得权限啦。
收到邮件后我们可以开始创建实例了。

三、创建实例
点击启动实例


1.AMI选择(我这里选择base版本纯净版,避免不必要的冲突。)


2、选择实例类型,这里选择p2.xlarge

3.配置实例详细信息。
这里我们选择竞价实例,以低价提供配置一样的实例,p2.xlarge每小时0.9美元,而竞价一般在每小时0.2-0.4美元之间;它与普通实例区别是不能停止(暂停实例),也因此每次启动需要重新构建所需环境。 竞价实例详情见aws官网
最高竞价最好比当前价格中最高价高一点,以免创建失败

4.添加存储 ,默认即可,直接点下一步
5 添加标签 ,默认即可,直接点下一步
6.配置安全组
第一次选择新创建,以后可以选择已有安全组。注意,应添加8888端口(jupyter notebook监听端口)

7.审核
确认无误后(啥?收费的?嗯嗯,你没看错,世界上没有免费的午餐,用人家的服务器,当然要出佣金啦。确认我们所选没有错就好了。),点击启动。
这里会提示秘钥对,同样第一次我们需要创建一个新的秘钥对。点击下载秘钥对(命名.pem格式,随后我们将利用此pem文件生成ppk文件,利用Putty链接我们创建的实例。),然后点击请求竞价实例。

出现下图的activate说明我们创建成功了


这里需要我们复制下,实例的公有DNS(Ipv4)(*********.amazonaws.com),利用putty链接实例、上传文件、浏览器链接jupyter notebook进程时会用到

四、利用putty链接aws实例(需要最新版putty)
1.打开putty key generator, Type of key to generate 下,选择 RSA。点击load,选择我们刚刚下载的pem文件,点击打开。

2.点击Save private key,文件名需要设置成和pem文件同名。点击保存,即可生成我们需要的ppk文件。

3.打开putty,选择session,确认端口号为22,host name填写 [email protected]
这里ubuntu是用户名,@后边跟的是实例的公有DNS(Ipv4)

然后,点击ssh-->auth,选择我们刚刚生成的ppk文件,然后点击open。

好了,可以访问我们的服务器了。

具体详情,可参阅aws官方提供的 “使用 PuTTY 从 Windows 连接到 Linux 实例”
ok,到这里我们的“硬件”已经准备好了。


最后!需要注意的地方,如果不想收到天价账单的话,我们不再使用实例的时候,一定要关闭实例,并且关闭spot请求(取消竞价请求),确保spot请求为cancelled状态,实例处于terminated状态。



如果有小伙伴也想在udacity上学习课程,可以输入优惠码:48FF665E 减免300元学费红包。也可以在这里领取优惠码并选择你感兴趣的课程: 优达学城 (Udacity)

猜你喜欢

转载自blog.csdn.net/tustzhoujian/article/details/80880357
今日推荐