租服务器训练深度学习模型

海哥  金牌会员 | 2024-7-19 14:23:45 | 显示全部楼层 | 阅读模式
打印 上一主题 下一主题

主题 535|帖子 535|积分 1605

一、选择租哪个

保举用AutoDL(便宜、功能强大、gug少、有时时客服办理题目)
AutoDL算力云 | 弹性、好用、省钱。租GPU就上AutoDL
二、注册、登录

学生可以认证,享受会员价
服务器须要登录后先充值,先充个10元,接下来试试看。每次都是开机利用完关机后扣费,可以选择按量,超级划算,按小时扣费。
三、利用

1、相识学习检察资料

(租之前具体可以先看看资助文档,上面好具体,各种文章视频解说)

 2、开始租服务器

建议多租几块,只要不开机,就不会负担费用。只租一块的话,可能出现空闲GPU不敷的情况。租好之后,默认开机状态,建议关机或无卡模式开机! 
注意选择的两个指标:费用和剩余可租的卡数。可以到最下面选择总结一点的,一般前面和背面的选择的人可能多。至于我说的什么意思,大家租两次用用就知道什么意思了。



3、创建镜像环境

       也就是创建一个你要用的模型的虚拟环境,选择根本环境就行吗,内里临应的框架名称,框架版本,python版本。须要的都有,这里说明一下python3.8(ubuntu18.04),ubuntu18.04就是一个Linux系统的虚拟机,服务器不是windows系统,所以运行代码终端下令是在linux系统终端,有点代码有些不一样,不外资料很多,可以查到,不须要担心。
        租用服务器很方便的一个就是他conda已经有了,而且不须要下载软件了,只须要根据选择就可以配置好所谓的之前的虚拟环境,也不须要纠结一个服务器上想安装多个环境,没有须要,直接多租几个服务器,每个选择不同的自己须要的根本镜像环境不就好了。到时间不须要直接点击释放实例,就没有了,也不须要担心安装有稳固,环境版本不兼容等题目,及其方便,爽歪歪!!!

点击立刻创建,就创建好了,默认是GPU有卡模式开机的,马上点击关机,关机后开无卡模式开机,先熟悉一下,0.1/小时,租好后关机看GPU充足的就是你可以马上利用。 


4、网络模型的安装

一、上传代码项目

开机后点击JupyertLab就可以进入


建议可以把自己须要的模型,包,库,项目等放到tmp数据盘。
这里就可以把自己电脑上弄好的项目代码数据集等压缩,然后自己拖拽到JupyertLab左边的目录区,等待上传(只能上传压缩文件,文件夹直接不可以);

上传竣事,在终端下令输入下令,减压成文件夹就可以了。注意先cd文件路径,这里是减压到当前文件夹了。
   如zip文件,输入:
  unzip 文件名.zip
  

 

代码自己项目减压完成后,安装包库,这里用yolov8举行实例分割,所以上面是下载好的ultralytics包和自己创建好的数据集。具体yolov8实例分割各种步骤参考博文
YOLOV8实例分割(环境配置+搭建模型+数据集制作+训练+推测全套)_yolo实例分割_彩色面团儿的博客-CSDN博客
二、安装对应的包

1、创建环境:
   conda activate
  

   conda init
  2、关闭终端,重新打开,进入(base)环境,到自己项目路径里。

3、直接pip 包就可以了。
   pip install -r requirements.txt
  安装yolov8,它这里其实叫ultralytics
   pip install ultralytics
  如果上传的文件啥的都放在miniconda3的文件夹下,就不须要创建环境了,即不须要
conda activate 和 conda init,直接pip包就行。
三、训练模型

那须要训练的时间,我这里是实用,所以epochs=10.且图像数量较少,大家训练的时间就须要把服务器关机重新开机了。就是不能在无卡模式下训练了吧。须要用到gpu了。
   yolo task=segment mode=train model=mydata/yolov8s-seg.yaml data=mydata/coco128-seg.yaml epochs=10 batch=4 save=true workers=1 pretrained=true
  
 

 到此大功告成,训练的pt模型已经保存。


5、实验终端下令路径跳转

这里注意补充一下在下令里,注意路径:
   可以如许用:
  cd 路径
  注意跳转路径,安装包,运行代码等,路径得对喽。
一、路径补充
相对路径是相对于当前文件所在目录的路径,而绝对路径则是从根目录开始的完备路径。
例如,我们的项目文件夹路径为/Users/username/Documents/myproject,而我们须要读取该文件夹下的test.txt文件,那么利用相对路径就可以直接写成"test.txt",而利用绝对路径则须要写成"/Users/username/Documents/myproject/test.txt"。
二、表现相对路径的符号
在Python中,表现相对路径的符号有两种:点(.)和双点(..)。
1. 点(.)表现当前目录,例如"./test.txt"表现当前目录下的test.txt文件。
2. 双点(..)表现上级目录,例如"../test.txt"表现上级目录中的test.txt文件。
三、相对路径的利用场景
在Python中,相对路径的利用场景很多,比如:
1. 项目中须要读取或写入某个文件,此时利用相对路径可以使代码更加灵活,可以在不同的呆板或环境中运行。
2. 在开发过程中,须要导入其他模块,此时利用相对路径可以使代码更加清晰简洁。
3. 在利用第三方库时,须要指定一些配置文件或资源文件的路径,此时利用相对路径可以使代码更加易于移植和维护。
四、相对路径的一些注意事项
在利用相对路径时,须要注意以下几点:
1. 相对路径是相对于当前文件所在目录的路径,而不是当前执行脚本的目录。如果须要利用当前执行脚本的目录作为相对路径的出发点,可以利用os.path.dirname(__file__)获取当前文件所在目录。
2. 相对路径中不要利用绝对路径的情势,例如"../Users/username/Documents/myproject/test.txt"是错误的。
3. 相对路径中的斜杠(/)在不同操纵系统中有不同的表现方式。在Windows系统中,利用反斜杠(\)表现路径分隔符,而在Linux和Mac系统中利用斜杠(/)表现路径分隔符。为了保证代码的可移植性,建议利用os.path.join()方法来拼接路径。
四、完成后一定记得手动点关机关机关机

重要是事情说三遍,毕竟跑的都是钱啊!!!你自己的笔记本关机没用啊,远程服务器照旧开着的
五、总结

1、租服务器
2、关机开启无卡模式开机
3、进入jupyter
4、压缩本地项目代码为zip文件,拖拽本地项目代码数据到autodl-tmp目录下,上传完成后减压
   unzip 文件名.zip
  5、配置环境
   conda activate
  路径前面出现base
   conda init
  关闭终端重启
6、cd指令进入文件夹目录,安装程序所依靠的包
   pip install -r requirements.txt
     pip install ultralytics
  7、完成,关机,正常有卡模式开机
8、到文件夹目录开始训练
   yolo task=segment mode=train model=mydata/yolov8s-seg.yaml data=mydata/coco128-seg.yaml epochs=10 batch=4 save=true workers=1 pretrained=true
  9、下载训练好的文件
只能直接在jupyter中右击下载文件,不能直接下载文件夹,官方也给出了很多下载文件夹方法,我觉得很复杂,直接把文件夹压缩了不就能下载了吗?
# 压缩。如果没有zip下令,安装下令:
apt-get update && apt-get install -y zip zip -r <自定义压缩包名称>.zip <待压缩目录的路径>
# 解压。如果没有zip下令,安装下令:
apt-get update && apt-get install -y unzip unzip <待解压压缩包名称>.zip -d <解压到哪个路径>
   zip -r train4.zip root/miniconda3/ultralytics/runs/segment/train4 

免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。
回复

使用道具 举报

0 个回复

正序浏览

快速回复

您需要登录后才可以回帖 登录 or 立即注册

本版积分规则

海哥

金牌会员
这个人很懒什么都没写!

标签云

快速回复 返回顶部 返回列表