如何用云服务器跑GitHub深度学习项目(保姆级手把手教程) ...

打印 上一主题 下一主题

主题 833|帖子 833|积分 2499

一、预备环节

1.pycharm专业版

构建与远程服务器的连接功能,必须利用pycharm专业版,平常版没有此功能

如图,可在“资助”--“关于”中查看版本情况
如为门生或老师,可直接申请免费授权(支持官方正版)门生和教师授权申请方式 – 允许和购买常见题目解答 (jetbrains.com)
2.Github项目

这里我选择了一个较为经典的深度学习项目:https://github.com/junyanz/pytorch-CycleGAN-and-pix2pix

“Code”-“Download ZIP”,将开源代码下载至电脑
再将整个文件夹拖到pycharm中打开:

此期间码已停当,接着举行下一步云服务器的配置
3.云服务器

以主流的AutoDL为例

进入官网,“算力市场”,可根据自己需求选择租赁的服务器。
选择镜像时,选择Pytorch,版本无特别要求。Python版本3.8就富足了。

如图,已经租赁好的服务器在“容器实例”中可举行管理
二、Pycharm与服务器创建连接

1.ssh


“菜单栏”-“工具”-“摆设”-“配置”

点击加号,新建摆设,选择SFTP

定名无要求,这里任意定名为“ssh” 

点右边的三个点

新建SSH配置,主机、端口号和密码在官网上可以查看

复制登录指令。(主机就是@后面的那一堆字母,端口号即为前面的p后面的数字,如-p16387,端口号就是16387)

输入后点“测试连接”,连接成功,此时pycharm就与服务器创建ssh连接了
接着设置映射,将当地项目映射到服务器正确路径

代码可设置自动上传,也可手动上传(由于博主已经在云服务器更新代码了,所以手动上传那里是灰色的,如果有代码或文件夹变动,手动上传的地方就是可操作的)如下图

同步项目之后,就可以远程查看服务器中的项目文件了。
“工具”-“摆设”-“浏览远程主机”,在编辑器右侧就会表现远程主机的文件夹。

还记得刚才设置的映射吗?根据映射路径找到当地项目文件映射到远程主机中的位置,打开,如果和当地的文件一样,说明文件已经成功同步啦!

2.表明器

如下图,进入表明器设置,添加ssh表明器,可利用现有的,也可新建。

创建成功后,在终端中创建ssh会话,选择刚刚创建的表明器

可以看到,成功进入远程终端,其实这里与在官网jupyter终端到达的结果是一样的,不过官网jupyter终端有时会出现卡顿现象,而且pycharm的界面比较悦目(这也是它的优势之一)
三、服务器环境摆设

在本示例GitHub项目的readme中可知,对于conda用户,利用红框圈出来的那个指令创建环境。

先用cd+项目在云服务器中的路径,切换至项目路径下,再创建环境。
  1. cd 项目路径(在右侧的remote文件目录中可直接复制)
复制代码
  1. conda env create -f environment.yml
复制代码

从右侧的远程主机的文件夹中可复制项目的绝对路径。

创建环境必要一些时间,不过服务器相比当地的速率还是快了不少。(此处省略30mins)
创建成功之后,可用下面的指令查看目前存在的环境:
  1. conda info --envs
复制代码
 可以看到,除了原本的base环境,多了一个pytorch-CycleGAN-and-pix2pix环境,此时环境就创建成功了。
四、练习与可视化

1.下载数据集

再回到readme文件中,举行数据集的预备。只必要复制粘贴这段指令就行了,当然也可以手动下载。

如下图,输入指令后就开始下载了(博主此时图书馆的网速很慢......此处省略2h)

2.visdom可视化(与云服务器连接)

下载成功后,再举行visdom可视化的操作。
但如果我们直接利用readme中的指令运行,并用浏览器打开网址,发现并不能成功跳转。这是因为我们在当地浏览器打开时默认当地端口,我们必要把当地的端口地点映射至服务器端口。
  1. ssh -L 18097:127.0.0.1:8097 云服务器的地址
  2. (云服务器地址格式为:root@regio******cloud.com -p 16***)
复制代码
接着激活环境(新版本的已经不消在activate前面加conda了),activate后面跟的是刚才我们创建的环境名称
  1. activate pytorch-CycleGAN-and-pix2pix
复制代码
接着开启visdom插件服务
  1. python -m visdom.server
复制代码
此时,如果看到终端跳出了:It‘s Alive 那么就成功了 
但此时直接点击链接仍无法跳转,是因为我们刚才映射的是18097,在8097前面加一个1就可以了。

3.开始练习(大功告成)

接着回到readme文件,按照指令,复制到终端,运行,即可开始练习,默认轮次200轮

可在visdom上直观查看实时的模型练习丧失函数曲线




免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。
回复

使用道具 举报

0 个回复

正序浏览

快速回复

您需要登录后才可以回帖 登录 or 立即注册

本版积分规则

涛声依旧在

金牌会员
这个人很懒什么都没写!

标签云

快速回复 返回顶部 返回列表