公网算力服务器（AutoDL）部署服务并映射端口干系记录 ...

背景信息先容
        项目中需要使用一些AI能力，诸如当下比力盛行的大语言模子、自回归TTS模子、OCR模子等服务，在本地服务器（4090*2）的环境下通过conda进行隔离后成功调用后，需要提供公网环境的调用能力。但是受限于企业或个人的体量和能力不同，目前负担不了阿里云等主流云服务器的算力环境（重要就是贵...）于是找到了平民玩家聚集地AutoDL，于是开始4090单卡包月开启！
    
------------背景先容完毕，接下来上菜！------------
1.设置信息：
GPU：RTX 4090(24GB) * 1
CPU：16 vCPU Intel(R) Xeon(R) Gold 6430
内存：120GB
硬盘：系统盘:30 GB
数据盘：免费:50GB   付费:50GB
计费方式：包年包月
**（这里不得不吐槽一句！你这系统盘就给30G！稍不留意第一次装就给conda装系统盘里了直接爆表！）**
2.镜像：
        目前试过社区里的各个镜像都不太顺心，然后开的是个基本的ubuntu环境，然后自己一个一个装各种服务。
3.服务名称：

• 千问2.5-7B
  
• GPT-SoVits
  
• Paddle-OCR
  
• Vllm推理模子框架
  
• FunASR服务
  

4.服务部署步骤（内容太多有空了更新）
5.端口开辟
        上述3操纵中的各种服务启动后均在127.0.0.1服务创建了对应的端口号，我们通过SSH命令，使用外部公网服务器（这里是腾讯云服务器）打开CMD窗口后，实行对应端口号的命令，然后输入autoDL服务器的暗码，校验通过后CMD窗口内不会出现任何提示消息即表现映射成功。
如：ssh -CNg -L 8003:0.0.0.0:8003 root@connect.bjb1.seetacloud.com -p 34827
上述命令表明我在本地的环境下监听了8003的端口，并且指定0.0.0.0如许外部服务可以通过域名或IP调通服务。

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。