海哥 发表于 2024-7-19 14:23:45

租服务器训练深度学习模型

一、选择租哪个

保举用AutoDL(便宜、功能强大、gug少、有时时客服办理题目)
AutoDL算力云 | 弹性、好用、省钱。租GPU就上AutoDL
二、注册、登录

学生可以认证,享受会员价
服务器须要登录后先充值,先充个10元,接下来试试看。每次都是开机利用完关机后扣费,可以选择按量,超级划算,按小时扣费。
三、利用

1、相识学习检察资料

(租之前具体可以先看看资助文档,上面好具体,各种文章视频解说)
https://img-blog.csdnimg.cn/43ffe97377f7477a94ad586183586e34.png
 2、开始租服务器

建议多租几块,只要不开机,就不会负担费用。只租一块的话,可能出现空闲GPU不敷的情况。租好之后,默认开机状态,建议关机或无卡模式开机! 
注意选择的两个指标:费用和剩余可租的卡数。可以到最下面选择总结一点的,一般前面和背面的选择的人可能多。至于我说的什么意思,大家租两次用用就知道什么意思了。
https://img-blog.csdnimg.cn/26db3b1092224a139ceea8964c35dd08.png
https://img-blog.csdnimg.cn/671698cd02d14a54a7e8c3a8df831fef.png
https://img-blog.csdnimg.cn/8c16fbf093d24f3b8aeb22099227c69d.png
3、创建镜像环境

       也就是创建一个你要用的模型的虚拟环境,选择根本环境就行吗,内里临应的框架名称,框架版本,python版本。须要的都有,这里说明一下python3.8(ubuntu18.04),ubuntu18.04就是一个Linux系统的虚拟机,服务器不是windows系统,所以运行代码终端下令是在linux系统终端,有点代码有些不一样,不外资料很多,可以查到,不须要担心。
        租用服务器很方便的一个就是他conda已经有了,而且不须要下载软件了,只须要根据选择就可以配置好所谓的之前的虚拟环境,也不须要纠结一个服务器上想安装多个环境,没有须要,直接多租几个服务器,每个选择不同的自己须要的根本镜像环境不就好了。到时间不须要直接点击释放实例,就没有了,也不须要担心安装有稳固,环境版本不兼容等题目,及其方便,爽歪歪!!!
https://img-blog.csdnimg.cn/81a10bd8ef2f4ac69ca63e3a5861deab.pnghttps://img-blog.csdnimg.cn/b11ec9239cd9401fb6ff09e59c6b2956.png
点击立刻创建,就创建好了,默认是GPU有卡模式开机的,马上点击关机,关机后开无卡模式开机,先熟悉一下,0.1/小时,租好后关机看GPU充足的就是你可以马上利用。 
https://img-blog.csdnimg.cn/71deb3ca12ad43c4846d7cd12eee95e2.png
https://img-blog.csdnimg.cn/6b0deeb4b92a47f88bb6784d5975c74a.png
4、网络模型的安装

一、上传代码项目

开机后点击JupyertLab就可以进入
https://img-blog.csdnimg.cn/2f054490188b4ae39568378b8d51b900.png

建议可以把自己须要的模型,包,库,项目等放到tmp数据盘。
这里就可以把自己电脑上弄好的项目代码数据集等压缩,然后自己拖拽到JupyertLab左边的目录区,等待上传(只能上传压缩文件,文件夹直接不可以);
https://img-blog.csdnimg.cn/4aa045ef41bd4232bb968fc0a7ec722d.png
上传竣事,在终端下令输入下令,减压成文件夹就可以了。注意先cd文件路径,这里是减压到当前文件夹了。
   如zip文件,输入:
unzip 文件名.zip
https://img-blog.csdnimg.cn/6b55408c4ddd488ea4b85fc9fe42c45e.png
https://img-blog.csdnimg.cn/3377450b51eb4ac4b913e18c650cc03b.png https://img-blog.csdnimg.cn/b1776d0d735a40c796987d1c3cddabdd.png
代码自己项目减压完成后,安装包库,这里用yolov8举行实例分割,所以上面是下载好的ultralytics包和自己创建好的数据集。具体yolov8实例分割各种步骤参考博文
YOLOV8实例分割(环境配置+搭建模型+数据集制作+训练+推测全套)_yolo实例分割_彩色面团儿的博客-CSDN博客
二、安装对应的包

1、创建环境:
   conda activate
https://img-blog.csdnimg.cn/9b90957eaa0a456cace7699696cab92c.png
   conda init
2、关闭终端,重新打开,进入(base)环境,到自己项目路径里。
https://img-blog.csdnimg.cn/ba9ef1bcff2b46049f22b518cc1a372b.png
3、直接pip 包就可以了。
   pip install -r requirements.txt
安装yolov8,它这里其实叫ultralytics
   pip install ultralytics
如果上传的文件啥的都放在miniconda3的文件夹下,就不须要创建环境了,即不须要
conda activate 和 conda init,直接pip包就行。
三、训练模型

那须要训练的时间,我这里是实用,所以epochs=10.且图像数量较少,大家训练的时间就须要把服务器关机重新开机了。就是不能在无卡模式下训练了吧。须要用到gpu了。
   yolo task=segment mode=train model=mydata/yolov8s-seg.yaml data=mydata/coco128-seg.yaml epochs=10 batch=4 save=true workers=1 pretrained=true
https://img-blog.csdnimg.cn/0b19ec81cb704235a8fbaff49bac84e5.png https://img-blog.csdnimg.cn/eecfd8863cae4cbc9e84b310dc8284c6.png
 到此大功告成,训练的pt模型已经保存。
https://img-blog.csdnimg.cn/fccd49c885ad4040af7154408fdbf32f.pnghttps://img-blog.csdnimg.cn/a4fd7bada8f54be2a4b0f263baeadd03.png

5、实验终端下令路径跳转

这里注意补充一下在下令里,注意路径:
   可以如许用:
cd 路径
注意跳转路径,安装包,运行代码等,路径得对喽。
一、路径补充
相对路径是相对于当前文件所在目录的路径,而绝对路径则是从根目录开始的完备路径。
例如,我们的项目文件夹路径为/Users/username/Documents/myproject,而我们须要读取该文件夹下的test.txt文件,那么利用相对路径就可以直接写成"test.txt",而利用绝对路径则须要写成"/Users/username/Documents/myproject/test.txt"。
二、表现相对路径的符号
在Python中,表现相对路径的符号有两种:点(.)和双点(..)。
1. 点(.)表现当前目录,例如"./test.txt"表现当前目录下的test.txt文件。
2. 双点(..)表现上级目录,例如"../test.txt"表现上级目录中的test.txt文件。
三、相对路径的利用场景
在Python中,相对路径的利用场景很多,比如:
1. 项目中须要读取或写入某个文件,此时利用相对路径可以使代码更加灵活,可以在不同的呆板或环境中运行。
2. 在开发过程中,须要导入其他模块,此时利用相对路径可以使代码更加清晰简洁。
3. 在利用第三方库时,须要指定一些配置文件或资源文件的路径,此时利用相对路径可以使代码更加易于移植和维护。
四、相对路径的一些注意事项
在利用相对路径时,须要注意以下几点:
1. 相对路径是相对于当前文件所在目录的路径,而不是当前执行脚本的目录。如果须要利用当前执行脚本的目录作为相对路径的出发点,可以利用os.path.dirname(__file__)获取当前文件所在目录。
2. 相对路径中不要利用绝对路径的情势,例如"../Users/username/Documents/myproject/test.txt"是错误的。
3. 相对路径中的斜杠(/)在不同操纵系统中有不同的表现方式。在Windows系统中,利用反斜杠(\)表现路径分隔符,而在Linux和Mac系统中利用斜杠(/)表现路径分隔符。为了保证代码的可移植性,建议利用os.path.join()方法来拼接路径。
四、完成后一定记得手动点关机关机关机

重要是事情说三遍,毕竟跑的都是钱啊!!!你自己的笔记本关机没用啊,远程服务器照旧开着的
五、总结

1、租服务器
2、关机开启无卡模式开机
3、进入jupyter
4、压缩本地项目代码为zip文件,拖拽本地项目代码数据到autodl-tmp目录下,上传完成后减压
   unzip 文件名.zip
5、配置环境
   conda activate
路径前面出现base
   conda init
关闭终端重启
6、cd指令进入文件夹目录,安装程序所依靠的包
   pip install -r requirements.txt
     pip install ultralytics
7、完成,关机,正常有卡模式开机
8、到文件夹目录开始训练
   yolo task=segment mode=train model=mydata/yolov8s-seg.yaml data=mydata/coco128-seg.yaml epochs=10 batch=4 save=true workers=1 pretrained=true
9、下载训练好的文件
只能直接在jupyter中右击下载文件,不能直接下载文件夹,官方也给出了很多下载文件夹方法,我觉得很复杂,直接把文件夹压缩了不就能下载了吗?
# 压缩。如果没有zip下令,安装下令:
apt-get update && apt-get install -y zip zip -r <自定义压缩包名称>.zip <待压缩目录的路径>
# 解压。如果没有zip下令,安装下令:
apt-get update && apt-get install -y unzip unzip <待解压压缩包名称>.zip -d <解压到哪个路径>
   zip -r train4.zip root/miniconda3/ultralytics/runs/segment/train4 

免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。
页: [1]
查看完整版本: 租服务器训练深度学习模型