怎样让自己的模型在服务器上跑起来?

打印 上一主题 下一主题

主题 970|帖子 970|积分 2910

1 相关软件

比较经典的软件是Xshell和Xftp,一个用来控制终端的,一个用来传文件的。我是被人安利了一个软件MobaXterm,这一个软件可以实现上面两个软件的操作。
2 连接

因为我是实验室的服务器,以是就不给出自己买服务器申请账号等步骤了。
![在这里插入图片形貌](https://img-
blog.csdnimg.cn/ce88618ac16b4c5f901e317a5b7ce5d2.png?x-oss-
process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5b6h55So5Y6o5biI,size_20,color_FFFFFF,t_70,g_se,x_16)
点ok进入后会让你输入密码,输入密码的时间不会显示密码,也不会显示*,光标不会动,输完了按回车就行。
3 配情况

3.1 安装anaconda

参考这篇文章:怎样在Linux服务器上安装Anaconda(超详细)
3.2 用conda指令配情况

这些就和Windows的Anaconda Prompt操作一样了,大概步骤就是:
  1. conda create -n 环境名字 python=版本
  2. conda activate 环境名字
  3. conda install / pip install ...
  4. // 补充:查看现有环境
  5. conda info --envs
复制代码
4 运行项目

运行项目前先通过nvidia-smi(方框内就是使用程度)或top命令(按q退出)看一下服务器另有没有地方给你用。两种指令的显示结果如下:
![在这里插入图片形貌](https://img-
blog.csdnimg.cn/7553092a1ee14518a53d2ffabefe8939.png?x-oss-
process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5b6h55So5Y6o5biI,size_20,color_FFFFFF,t_70,g_se,x_16)
![在这里插入图片形貌](https://img-
blog.csdnimg.cn/5eeb20134f7846f882df18cade4c3438.png?x-oss-
process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5b6h55So5Y6o5biI,size_20,color_FFFFFF,t_70,g_se,x_16)
一样平常从Github上下载的项目就挺完整的,把那个文件夹拖到你的MobaXterm里,切换到你配好的情况:
  1. conda activate 环境名字
  2. (环境名字):cd 文件夹路径
复制代码
在该情况下,运行这条指令:
  1. (环境名字):nohup bash 脚本名.sh > 日志名.txt 2>&1 &
复制代码
这个指令挺古怪的,核心就是bash 文件名.sh > 日记名.txt,其他的照抄。这条指令的作用就是把程序挂服务器上,你电脑睡不睡眠都不会影响它练习了。
在这行指令竣事后会弹出一个历程号,如果你想竣事这个历程,直接用kill即可
  1. kill + 进程号
复制代码
这里讲一下“脚本文件”和“日记”的作用:
4.1 文件

也就是你的跑模型的代码,比如:python train.py。但是有些指令许多参数,比如:
  1. python translate.py \
  2.                 --src data/src-test-tokenized.txt \
  3.                 --tgt data/tgt-test-tokenized.txt \
  4.                 --knl data/knl-test-tokenized.txt \
  5.                 --model models/base_model_step_20000.pt \
  6.                 --output pred.txt \
  7.                 -replace_unk \
  8.                 -report_bleu \
  9.                 -dynamic_dict \
  10.                 -gpu 1 \
  11.                 -batch_size 32
复制代码
你在命令行复制粘贴看着不美观,并且换行也无法处理。这时间就把这个复制下来存到你的sh文件(也叫脚本)中,通过bash 脚本名.sh运行这条指令。
4.2 日记

为了记录练习过程,可以通过> 日记名.txt将其练习过程存储到日记中,比如:

如许你就可以在练习过程中实时查看日记了。用MobaXterm可以直接双击打开,用别的似乎是用cat log.txt查看。
4.3 加餐

关于别的关键字的含义,请参考:Linux nohup、&、
2>&1是什么?
今天只要你给我的文章点赞,我私藏的大模型学习资料一样免费共享给你们,来看看有哪些东西。

怎样学习大模型 AI ?

由于新岗位的生产服从,要优于被代替岗位的生产服从,以是实际上整个社会的生产服从是提拔的。
但是详细到个人,只能说是:
“开始把握AI的人,将会比较晚把握AI的人有竞争上风”。
我意识到有许多履历和知识值得分享给大家,也可以通过我们的能力和履历解答大家在人工智能学习中的许多狐疑,以是在工作繁忙的情况下照旧坚持各种整理和分享。但苦于知识传播途径有限,许多互联网行业朋侪无法得到精确的资料得到学习提拔,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
这份完整版的大模型 AI 学习资料已经上传CSDN,朋侪们如果必要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

一、全套AGI大模型学习门路

AI大模型期间的学习之旅:从底子到前沿,把握人工智能的核心技能!

二、640套AI大模型报告合集

这套包罗640份报告的合集,涵盖了AI大模型的理论研究、技能实现、行业应用等多个方面。无论您是科研人员、工程师,照旧对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。

三、AI大模型经典PDF籍

随着人工智能技能的飞速发展,AI大模型已经成为了当今科技领域的一大热点。这些大型预练习模型,如GPT-3、BERT、XLNet等,以其强大的语言理解和天生能力,正在改变我们对人工智能的熟悉。 那以下这些PDF籍就黑白常不错的学习资源。

四、AI大模型商业化落地方案


作为普通人,入局大模型期间必要连续学习和实践,不停进步自己的技能和认知水平,同时也必要有责任感和伦理意识,为人工智能的健康发展贡献力量。

第一阶段(10天):初阶应用

该阶段让大家对大模型 AI有一个最前沿的熟悉,对大模型 AI 的理解凌驾 95% 的人,可以在相关讨论时发表高级、不跟风、又接地气的看法,别人只会和 AI 聊天,而你能调教 AI,并能用代码将大模型和业务衔接。


  • 大模型 AI 能干什么?
  • 大模型是怎样得到「智能」的?
  • 用好 AI 的核心心法
  • 大模型应用业务架构
  • 大模型应用技能架构
  • 代码示例:向 GPT-3.5 灌入新知识
  • 提示工程的意义和核心思想
  • Prompt 典范构成
  • 指令调优方法论
  • 思维链和思维树
  • Prompt 攻击和防范

第二阶段(30天):高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习,学会构造私有知识库,扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。把握功能最强的大模型开发框架,抓住最新的技能进展,得当 Python 和 JavaScript 程序员。


  • 为什么要做 RAG
  • 搭建一个简单的 ChatPDF
  • 检索的底子概念
  • 什么是向量表示(Embeddings)
  • 向量数据库与向量检索
  • 基于向量检索的 RAG
  • 搭建 RAG 系统的扩展知识
  • 混合检索与 RAG-Fusion 简介
  • 向量模型本地部署

第三阶段(30天):模型练习

恭喜你,如果学到这里,你基本可以找到一份大模型 AI相关的工作,自己也能练习 GPT 了!通过微调,练习自己的垂直大模型,能独立练习开源多模态大模型,把握更多技能方案。
到此为止,大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗?


  • 为什么要做 RAG
  • 什么是模型
  • 什么是模型练习
  • 求解器 & 丧失函数简介
  • 小实验2:手写一个简单的神经网络并练习它
  • 什么是练习/预练习/微调/轻量化微调
  • Transformer结构简介
  • 轻量化微调
  • 实验数据集的构建

第四阶段(20天):商业闭环

对环球大模型从性能、吞吐量、成本等方面有一定的认知,可以在云端和本地等多种情况下部署大模型,找到得当自己的项目/创业方向,做一名被 AI 武装的产品司理。


  • 硬件选型
  • 带你了解环球大模型
  • 使用国产大模型服务
  • 搭建 OpenAI 署理
  • 热身:基于阿里云 PAI 部署 Stable Diffusion
  • 在本地计算机运行大模型
  • 大模型的私有化部署
  • 基于 vLLM 部署大模型
  • 案例:怎样优雅地在阿里云私有部署开源大模型
  • 部署一套开源 LLM 项目
  • 内容安全
  • 互联网信息服务算法备案

学习是一个过程,只要学习就会有挑战。天道酬勤,你越积极,就会成为越优秀的自己。
如果你能在15天内完成全部的使命,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名大模型 AI 的精确特征了。
这份完整版的大模型 AI 学习资料已经上传CSDN,朋侪们如果必要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】



免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

x
回复

使用道具 举报

0 个回复

倒序浏览

快速回复

您需要登录后才可以回帖 登录 or 立即注册

本版积分规则

天津储鑫盛钢材现货供应商

金牌会员
这个人很懒什么都没写!
快速回复 返回顶部 返回列表