ubuntu 22.04服务器版本cuda、Anaconda、pytorch情况设置以及安装llama_fac ...

全新服务器安装cuda、Anaconda以及设置llama_factory设置大模型

对于全新仅安装了nvidia驱动的服务器，版本为ubuntu 22.04, 且无图形化界面，详细设置流程如下。
1 硬件网络连接

起首遇到的问题是服务器连接上网线，但依旧不能访问网络，用ip addr查看发现4个端口的均为state down ，如下图，说明没有启用

作者硬件连接的网口名称为ens5f1，实行 sudo ip link set ens5f1 up即可启动
2 安装cuda

(1) 下载安装包

实行nvidia-smi查看cuda最高可安装版本为12.5

进入官网直接下载，为包管我们所需安装大多数软件的适配性，我们选择cuda 11.8安装，官网界面点进去选择：

按照自己系统的要求选择linux、x86_64、Ubuntu、22.04，以及安装范例选择runfile（local），便捷快速，即依次输入下方url

1. wget https://developer.download.nvidia.com/compute/cuda/11.8.0/local_installers/cuda_11.8.0_520.61.05_linux.run

复制代码

1. sudo sh cuda_11.8.0_520.61.05_linux.run

复制代码

在第2步安装程序中，出现该界面为同意条款，输入accept即可

对于详细安装内容，安装包内自带显卡驱动driver，但我们之前已经安装过了(nvidia-smi成功运行说明驱动成功安装)，这里就不再重复安装，CUDA demo suite 和CUDA documentation 为示例和帮助文档文件，根据需要自行选择，作者选择不安装，注意通过空格举行取消选择，选择Install，然后就是漫长的等待

出现以下界面说明安装完成

（2）设置情况变量（含vim 操作）

根据提示，还需要设置情况变量，打开终端，实行以下下令打开bashrc文件。该文件保存相干情况变量的设置，由于服务器没有图形化界面，以是使用vim举行编辑，~表示用户目录（即/home/xxx/）

1. sudo vim ~/.bashrc

复制代码

如有图形化界面，也可以用以下下令打开，在记事本中编辑，或者在文件系统页面，勾选可见隐藏文件，然后双击即可，但可能由于权限问题为只读，以是还是保举使用终端下令打开举行编辑

1. sudo gedit ~/.bashrc

复制代码

vim编辑操作如下：
按下键盘i进入插入模式，在文档最后参加以下内容，注意路径和版本号是否和安装的一致

1. export PATH=/usr/local/cuda-11.8/bin${PATH:+:${PATH}}
2. export LD_LIBRARY_PATH=/usr/local/cuda-11.8/lib64\${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}

复制代码

按Esc退出插入模式，然后输入:wq再回车即可保存并退出
再输入source ~/.bashrc重载入，输入nvcc -V查看出现以下界面即为安装成功

3 安装Anaconda

(1) 下载安装包

由于国内网络情况，官网下载速率较慢，我们可以进入清华大学开源软件界面下载,根据系统和版本选择，我们选择了较新的Anaconda3-5.0.0

但由于服务器没有图形化界面，也可以使用下令行安装

1. wget --user-agent="Mozilla" https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/Anaconda3-5.0.0-Linux-x86_64.sh

复制代码

若不加--user-agent="Mozilla" 则会报错，如下图，这是由于服务器正在检查引用者，一些 HTTP 请求也会得到错误相应，它们会拒绝不以 Mozilla 开头或不包含 Wget 的用户代理

下载完成后运行sh Anaconda3-5.0.0-Linux-x86_64.sh按照提示即可
中心报错缺少bunzip2包，如下图，运行sudo apt install -y bzip2安装后重新运行即可

最后提示是否参加情况变量，输入yes，但此时终端只能source activate，并不能用conda activate

(2) 设置情况变量

为了能用conda xxx等下令激活情况，需要sudo vim ~/.bashrc
打开设置文件，并参加以下内容，注意更改Anaconda的安装位置，作者是在/home/xxx/anaconda3目录下

1. # >>> conda initialize >>>
2. # !! Contents within this block are managed by 'conda init' !!
3. __conda_setup="$('/home/xxx/anaconda3/bin/conda' 'shell.bash' 'hook' 2> /dev/null)"
4. if [ $? -eq 0 ]; then
5.     eval "$__conda_setup"
6. else
7.     if [ -f "/home/xxx/anaconda3/etc/profile.d/conda.sh" ]; then
8.         . "/home/xxx/anaconda3/etc/profile.d/conda.sh"
9.     else
10.         export PATH="/home/xxx/anaconda3/bin:$PATH"
11.     fi
12. fi
13. unset __conda_setup
14. # <<< conda initialize <<<

复制代码

到此Anaconda已经安装完成
(3) 更换软件源

但由于国内网络缘故原由无法直接访问anaconda官网，需要举行换源，依次在下令行中输入：

1. conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/msys2/
2. conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/
3. conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
4. conda config --set show_channel_urls yes

复制代码

注意，若输入sudo vim ~/.condarc进入Anaconda的设置文件,输入以下内容

1. channels:
2. - defaults
3. show_channel_urls: true
5. default_channels:
6. - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
7. - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free
8. - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r
9. - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/pro
10. - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/msys2
11. - https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/bioconda
12. custom_channels:
13.   conda-forge: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
14.   pytorch: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud

复制代码

再conda clean -i清除缓存
举行换源，则有概率出现CondaError:Conda HTTP ErrOr:HTTP 404 NOT FOUND for url https://mirrors.tuna.tsinghu.cn/anaconda/pkgs/main/linux-64/libgcc mutex-0.1-main.tar.bz2>Elapsed: 00:00.482740的报错，找不到对应下载。如下图，以是大家还是下令行吧，作者在这里卡了很久都找不到缘故原由

(4)更换默认情况和缓存路径

通过conda info查看各项设置

这里的default env情况路径和package cache路径都需要修改，否则会占用其他地方的内容导致爆满，输入sudo vim ~/.condarc进入Anaconda的设置文件,增加以下内容，位置自界说即可

1. envs_dirs:
2.   - /home/xxx/anaconda3/envs
3. pkgs_dirs:
4.   - /home/xxx/anaconda3/pkgs

复制代码

4 安装pytorch 2.4.0

直接官网下载，选择wheel方式，注意需要根据不同的cuda版本选择，作者为11.8

即为：

1. pip install torch==2.4.0 torchvision==0.19.0 torchaudio==2.4.0 --index-url https://download.pytorch.org/whl/cu118

复制代码

5 安装llama_factory

进入官网查看llamafactory保举设置，作者选择的各项版本为python 3.10, torch 2.4.0, cuda 11.8

下载源码git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git
进入文件夹cd LLaMA-Factory
安装依靠pip install -r requirements.txt和pip install -e ".[torch,metrics]"
报错could not create egg-info，如下图，这是由于setuptools 版本过高或过低，查询后作者的为65.0.0，举行了升等级和给文件夹权限两个操作，详细哪个是有效作者也不太清楚

但最终实行这2条下令后安装成功
pip install --upgrade setuptools
sudo chmod -R 777 LLaMA-Factory/
实行以下下令测试llama_factory:

1. llamafactory-cli webui

复制代码

提示如下

需打开源码，进入LLaMA-Factory/src/llamafactory/webui/interface.py文件内，将run_web_ui()函数内gradio_share = os.environ.get("GRADIO_SHARE", "0").lower() in ["true", "1"]修改为gradio_share = True，如下图

再次报错提示缺少frpc_linux_amd64_v0.2文件，按照提示下载并重命名、赋予实行权限，放入指定位置即可
https://cdn-media.huggingface.co/frpc-gradio-0.2/frpc_linux_amd64
再次运行，即可通过链接进入llama_factory的UI界面

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。