在服务器上用Docker搭建本身的大模型运行环境

1.新建启动容器

1. sudo docker run -it --shm-size=10g --gpus=all -v /usr/bin/docker/study_demo -p 40010:22 -p 40011:40011 -p 40012:40012 -p 40013:40013 --name study_sl nvidia/cuda:11.8.0-devel-ubuntu22.04
2. (--shm-size=10g ——> 共享内存设置成10G)

复制代码

2.更新包及安装常用软件

1. apt update
2. apt install vim openssh-server net-tools curl openssl git

复制代码

3.修改root密码和语言

3.1修改密码

1. passwd

复制代码

3.2修改语言支持

1. cd
2. vim .bashrc
3. export LANG=C.UTF-8
4. export LC_ALL=C.UTF-8
5. source ./bashrc

复制代码

4.修改ssh配置

1. vim /etc/ssh/sshd_config
2. 修改#PermitRootLogin prohibit-password 为 PermitRootLogin yes

复制代码

5.退出容器并重启容器和SSHD

1. exit
2. sudo docker exec -d study_ljl /etc/init.d/ssh start -D

复制代码

6.用XShell或FinalShell工具登录docker环境中

1. ip:docker容器端口 + 自己设置的密码

复制代码

7.安装miniconda

1. wget https://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda/Miniconda3-py312_24.4.0-0-Linux-x86_64.sh
2. sh Miniconda3-py312_24.4.0-0-Linux-x86_64.sh
3. source ~/.bashrc

复制代码

8.创建3.10假造环境

1. conda create --name your_env_name python=3.10
2. conda activate your_env_name

复制代码

9.更新默认镜像源

1. python -m pip install --upgrade pip
2. # 清华源——pip配置
3. pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
4. # 清华源——conda通道配置
5. conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
6. conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
7. conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/
8. conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/msys2/
9. # 阿里源——pip配置
10. pip config set global.index-url https://mirrors.aliyun.com/pypi/simple/
11. # 阿里源——conda通道配置
12. conda config --add channels https://mirrors.aliyun.com/anaconda/
13. conda config --add channels https://mirrors.aliyun.com/anaconda/cloud/conda-forge/
14. conda config --add channels https://mirrors.aliyun.com/anaconda/cloud/msys2/

复制代码

10.安装pytorch

1. pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

复制代码

11.安装transformers和配置国内镜像

1. # 安装transformer库
2. pip install transformers
3. # 安装gradio库
4. pip install gradio

复制代码

12.安装VSCODE和配置插件

1. VScode官网链接：https://code.visualstudio.com/
2. 插件（根据情况而定）：jupyter、jupyter keymap、python、Remote-SSH、Chinese(Simplified)

复制代码

附录

1. 1、筛选命令，如llama2为模型服务名
2. docker container ps -a|grep llama2
4. 2、一些常用的docker命令
5. # 查看正在运行的docker
6. docker ps (-a:全部docker包括运行的与不运行的)
7. # 启动docker
8. docker start study_demo
9. # 进入运行的docker容器
10. docker exec -it study_demo /bin/bash
11. # 后台运行 ——> 运行之后可以进行工具直接连接到本容器
12. docker exec -d study_demo /etc/init.d/ssh start

复制代码

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。