IT评测·应用市场-qidao123.com

标题: 在服务器上用Docker搭建本身的大模型运行环境 [打印本页]
作者: 王海鱼    时间: 2024-11-1 06:33
标题: 在服务器上用Docker搭建本身的大模型运行环境
1.新建启动容器

  1. sudo docker run -it --shm-size=10g --gpus=all -v /usr/bin/docker/study_demo -p 40010:22 -p 40011:40011 -p 40012:40012 -p 40013:40013 --name study_sl nvidia/cuda:11.8.0-devel-ubuntu22.04
  2. (--shm-size=10g ——> 共享内存设置成10G)
复制代码

2.更新包及安装常用软件

  1. apt update
  2. apt install vim openssh-server net-tools curl openssl git
复制代码
3.修改root密码和语言

3.1修改密码

  1. passwd
复制代码
3.2修改语言支持

  1. cd
  2. vim .bashrc
  3. export LANG=C.UTF-8
  4. export LC_ALL=C.UTF-8
  5. source ./bashrc
复制代码
4.修改ssh配置

  1. vim /etc/ssh/sshd_config
  2. 修改#PermitRootLogin prohibit-password 为 PermitRootLogin yes
复制代码
5.退出容器并重启容器和SSHD

  1. exit
  2. sudo docker exec -d study_ljl /etc/init.d/ssh start -D
复制代码
6.用XShell或FinalShell工具登录docker环境中

  1. ip:docker容器端口 + 自己设置的密码
复制代码
7.安装miniconda

  1. wget https://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda/Miniconda3-py312_24.4.0-0-Linux-x86_64.sh
  2. sh Miniconda3-py312_24.4.0-0-Linux-x86_64.sh
  3. source ~/.bashrc
复制代码
8.创建3.10假造环境

  1. conda create --name your_env_name python=3.10
  2. conda activate your_env_name
复制代码
9.更新默认镜像源

  1. python -m pip install --upgrade pip
  2. # 清华源——pip配置
  3. pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
  4. # 清华源——conda通道配置
  5. conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
  6. conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
  7. conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/
  8. conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/msys2/
  9. # 阿里源——pip配置
  10. pip config set global.index-url https://mirrors.aliyun.com/pypi/simple/
  11. # 阿里源——conda通道配置
  12. conda config --add channels https://mirrors.aliyun.com/anaconda/
  13. conda config --add channels https://mirrors.aliyun.com/anaconda/cloud/conda-forge/
  14. conda config --add channels https://mirrors.aliyun.com/anaconda/cloud/msys2/
复制代码
10.安装pytorch

  1. pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
复制代码
11.安装transformers和配置国内镜像

  1. # 安装transformer库
  2. pip install transformers
  3. # 安装gradio库
  4. pip install gradio
复制代码

12.安装VSCODE和配置插件

  1. VScode官网链接：https://code.visualstudio.com/
  2. 插件（根据情况而定）：jupyter、jupyter keymap、python、Remote-SSH、Chinese(Simplified)
复制代码
附录

  1. 1、筛选命令，如llama2为模型服务名
  2. docker container ps -a|grep llama2
  4. 2、一些常用的docker命令
  5. # 查看正在运行的docker
  6. docker ps (-a:全部docker包括运行的与不运行的)
  7. # 启动docker
  8. docker start study_demo
  9. # 进入运行的docker容器
  10. docker exec -it study_demo /bin/bash
  11. # 后台运行 ——> 运行之后可以进行工具直接连接到本容器
  12. docker exec -d study_demo /etc/init.d/ssh start
复制代码
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。



欢迎光临 IT评测·应用市场-qidao123.com (https://dis.qidao123.com/) Powered by Discuz! X3.4