在移动硬盘上搭建Ubuntu24.04深度学习环境(Anaconda + CUDA + Pytorch) ...

打印 上一主题 下一主题

主题 536|帖子 536|积分 1608


媒介

最近打算在Linux上举行深度学习,但手头没有现成的Linux环境,同时盼望在个人的台式电脑和无独显的笔记本上都能利用,必要新安装的系统具有一定的便捷性,恰好手头有闲置的移动硬盘,故实行并实现了在移动硬盘上搭建深度学习环境,在此记录下Ubuntu24.04系统从镜像烧录到Pytorch-gpu安装的全过程
预备工作:

  • 8GB以上U盘*1(用于烧录系统镜像)
  • 大容量移动硬盘*1(也可利用速率较快的固态U盘,本文以容量1T的移动硬盘为例,存取速率1000M/s)

一、Ubuntu安装

(1)安装U盘制作

本文利用的Ubuntu 24.04 LTS amd64下载链接:Ubuntu 24.04 LTS amd64
也可以在官网下载其他版本的系统镜像:Download Ubuntu Desktop

插入U盘,这里利用rufus举行安装U盘的制作,选项设置如下(留意:U盘必要被格式化)

确认无误后点击“开始”,即可完成安装U盘的制作
(2)固态硬盘格式化

   这里利用DiskGenius举行硬盘操纵,其他软件或Windows系统自带的“磁盘管理”也可以
  选择“删除全部门区”

操纵结果如下所示:

(3)正式安装Ubuntu

插入制作好的安装U盘并重新启动,进入Ubuntu安装界面,必要留意的点有以下:

  • 欢迎界面 > 选择语言“中文(简体)”

  • 安装类型 > 选择手动分区

  • 具体空间分配可以参考:

注:


  • sda1,即efi的挂载点是选择了”用于安装的引导程序“后主动天生的,分完空间后我多留了一些空间,以便后续格式化为NTFS格式,继续当成平常移动硬盘用
以上操纵完成后,再次重启电脑,选择新安装的系统盘引导启动,进入安装完成的Ubuntu系统
二、Ubuntu更换下载源

安装gedit编辑工具:sudo apt-get install gedit
由于是新系统,所以起首要设置root账户:sudo passwd root
   进入root账户的指令:su root
  利用gedit文本编辑器打开sources文件:sudo gedit /etc/apt/sources.list.d/ubuntu.sources
将内容替换为:
  1. Types: deb deb-src
  2. URIs: https://mirrors.aliyun.com/ubuntu/
  3. Suites: noble noble-updates noble-backports noble-security noble-proposed
  4. Components: main restricted universe multiverse
  5. Signed-By: /usr/share/keyrings/ubuntu-archive-keyring.gpg
  6. Types: deb deb-src
  7. URIs: https://mirrors.tuna.tsinghua.edu.cn/ubuntu/
  8. Suites: noble noble-updates noble-backports noble-security noble-proposed
  9. Components: main restricted universe multiverse
  10. Signed-By: /usr/share/keyrings/ubuntu-archive-keyring.gpg
  11. Types: deb deb-src
  12. URIs: http://mirrors.163.com/ubuntu/
  13. Suites: noble noble-updates noble-backports noble-security noble-proposed
  14. Components: main restricted universe multiverse
  15. Signed-By: /usr/share/keyrings/ubuntu-archive-keyring.gpg
  16. Types: deb deb-src
  17. URIs: https://mirrors.ustc.edu.cn/ubuntu/
  18. Suites: noble noble-updates noble-backports noble-security noble-proposed
  19. Components: main restricted universe multiverse
  20. Signed-By: /usr/share/keyrings/ubuntu-archive-keyring.gpg
  21. Types: deb
  22. URIs: http://cn.archive.ubuntu.com/ubuntu/
  23. Suites: noble noble-updates noble-backports
  24. Components: main restricted universe multiverse
  25. Signed-By: /usr/share/keyrings/ubuntu-archive-keyring.gpg
  26. Types: deb
  27. URIs: http://security.ubuntu.com/ubuntu/
  28. Suites: noble-security
  29. Components: main restricted universe multiverse
  30. Signed-By: /usr/share/keyrings/ubuntu-archive-keyring.gpg
复制代码
更新下载源:sudo apt-get update
三. Anaconda安装+换源

(1) Anconda安装

起首在镜像站下载Anaconda:清华大学开源软件镜像站
我下载的版本是:Anaconda3-2024.02-1-Linux-x86_64.sh,可以直接点这个链接下载:Anaconda3-2024.02-1-Linux-x86_64.sh
进入安装包地点目录,利用bash指令安装:bash Anaconda3-2024.02-1-Linux-x86_64.sh
enter > yes > enter > yes 完成安装,若想验证是否安装乐成,可重启终端输入:conda info
(2)换源

由于我们还没利用过conda config指令,所以先实行一下以天生.condarc文件:conda config
打开文件:sudo gedit ~/.condarc
替换为以下内容并保存:
  1. channels:
  2.   - defaults
  3. show_channel_urls: true
  4. default_channels:
  5.   - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
  6.   - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r
  7.   - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/msys2
  8. custom_channels:
  9.   conda-forge: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  10.   msys2: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  11.   bioconda: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  12.   menpo: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  13.   pytorch: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  14.   pytorch-lts: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  15.   simpleitk: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
复制代码
验证是否更改乐成:conda config --show-sources

出现以上结果即为安装乐成
四、显卡驱动安装

(1)安装预备

在官网下载安装程序:官方驱动 | NVIDIA
我的设备是4060Ti,下载的驱动是:NVIDIA-Linux-x86_64-550.78.run
由于系统安装时语言选择了中文,一样平常默认下载到“下载”文件夹,这里先把文件移动到/home目录下,避免中文路径产生问题

安装所需依赖:
sudo apt-get update
sudo apt-get install g++ gcc make
安装NVIDIA驱动要禁用系统自带显卡驱动nouveau,起首打开文件:sudo gedit /etc/modprobe.d/blacklist.conf
在末端添加并保存:
  1. blacklist nouveau
  2. options nouveau modeset=0
复制代码
改完要更新系统镜像文件,在终端中输入:sudo update-initramfs -u
完成后重启Ubuntu,开机后在终端中输入:lsmod | grep nouveau
假如没有输出就阐明禁用了nouveau
(2)正式安装

接下来要进入tty正式安装显卡驱动,用其他设备继续阅读以下内容,固然Ctrl+Alt+F2可以切回图形桌面(不可的话试试Ctrl+Alt+F1到F6),但是剪贴板用不了
进入tty3,组合键:Ctrl+Alt+F3
禁用X-window:sudo service gdm3 stop
进入驱动安装程序的存放目录(pwd可查看当前路径,ls列出目录下文件)
给安装文件权限:sudo chmod 777 NVIDIA-Linux-x86_64-525.53.run
安装显卡驱动:sudo ./NVIDIA-Linux-x86_64-525.53.run –no-opengl-files -no-x-check
出现这个选择 “Yes”:Would you like to run the nvidia-xconfig utility to automatically update your X configuration file so that the NVIDIA X driver dill be used dhen you restart X? Any pre-existing X configuration file will be backed up.
安装完毕后启动X-window:sudo service gdm3 start
回到图形桌面,按组合键:Ctrl+Alt+F2
验证安装是否乐成,在终端输入:nvidia-smi

出现以上结果即为安装乐成
五、CUDA + cuDNN 安装和设置

(1)CUDA安装

理论上,可以直接从官网下载并安装Ubuntu24.04对应的cuda版本,但停止发稿时官网相应版本的CUDA还没放出,故下文采用先前版本安装,相比直接安装对应版本多一个安装libtinfo5的步骤
官网下载:CUDA Toolkit Archive | NVIDIA Developer
若直接安装了适配24.04的版本,安装完成后跳至设置部门,否则继续本节操纵:
下载libtinfo5:wget http://archive.ubuntu.com/ubuntu/pool/universe/n/ncurses/libtinfo5_6.4-2_amd64.deb
防止权限不足,先辈到root账户提高权限:su root
安装libtinfo5:dpkg -i libtinfo5_6.4-2_amd64.deb
下面正式开始安装cuda11.8,这里选择用run文件安装,依次实行以下下令:
wget https://developer.download.nvidia.com/compute/cuda/11.8.0/local_installers/cuda_11.8.0_520.61.05_linux.run
sudo sh cuda_11.8.0_520.61.05_linux.run
安装过程中留意取消勾选Driver选项,以避免重复安装显卡驱动导致安装失败,取消勾选后的界面如下图所示:

   假如下错了,可以用官方给的指令删除cuda:
   sudo apt-get --purge remove "*cublas*" "*cufft*" "*curand*" "*cusolver*" "*cusparse*" "*npp*" "*nvjpeg*" "cuda*" "nsight*"
  再进入 /usr/local,删除剩余的cuda文件(xx改为你的版本号):sudo rm -rf cuda-xx.x
  (2)CUDA设置

打开环境变量设置文件:gedit ~/.bashrc
添加以下内容:
  1. export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/cuda/lib64
  2. export PATH=$PATH:/usr/local/cuda/bin
  3. export CUDA_HOME=$CUDA_HOME:/usr/local/cuda
复制代码
激活环境变量:source ~/.bashrc
检查是否完成安装:nvcc -V

出现以上结果即为安装乐成
   cuda也可以通过anaconda或直接安装多个版本,在.bashrc的设置可以参考:http://t.csdnimg.cn/fQXX8
  假如想为不同conda虚拟环境安装不同的cuda版本,以11.8版本为例,进入环境后实行以下下令也可快速完成安装:
  conda install cudatoolkit==11.8 -c nvidia
  conda install -c "nvidia/label/cuda-11.8.0" cuda-nvcc
  (3)安装cuDNN

前往官网下载与cuda对应版本的cuDNN,我装的是cuda11.8,所以选择的版本是:cudnn-linux-x86_64-8.9.7.29_cuda11-archive.tar.xz
下载地址:cudnn-archive

下载完成后,进入下载目录,举行以下操纵:(xxx.tar.xz改为你的包名):
提取cuDNN文件:tar -xf xxx.tar.xz
依次实行以下指令,将提取后的文件复制到cuda目录下,cuda版本不一样的留意修改路径:
sudo cp xxx/include/* /usr/local/cuda-11.8/include
sudo cp xxx/lib/libcudnn* /usr/local/cuda-11.8/lib64
提升权限:
sudo chmod 777 /usr/local/cuda-11.8/include/cudnn.h
sudo chmod 777 /usr/local/cuda-11.8/lib64/libcudnn*
测试:cat /usr/local/cuda-11.8/include/cudnn_version.h | grep CUDNN_MAJOR -A 2

出现以上结果即为安装乐成
六.、Pytorch安装

推荐先用anaconda创建并进入一个虚拟环境,再安装Pytorch:
pip install torch==2.1.1 torchvision==0.16.1 torchaudio==2.1.1 --index-url https://download.pytorch.org/whl/cu118
检查安装:
先辈入python,在终端输入:python
  1. import torch
  2. print(torch.cuda.is_available())
  3. print(torch.__version__)
复制代码
其他:


  • pycharm下载:Download PyCharm: The Python IDE for data science and web development by JetBrains
  • pip换源:pip config set global.index-url https://mirrors.aliyun.com/pypi/simple
参考:


  • Ubuntu 24.04 设置镜像源-CSDN博客
  • pip切换下载源(多种国内源)_pip国内换源-CSDN博客
  • ubuntu安装及深度学习框架(CUDA、cuDNN、Anaconda、pytorch、pycharm)
  • Ubuntu20.04安装到U盘里(以及ros环境的搭建)_ubuntu20.04 安装到u盘-CSDN博客
  • ubuntu完全卸载CUDA_卸载cuda linux-CSDN博客
  • 【超具体】【ubunbu 22.04】 手把手教你安装nvidia驱动,有手就行,隔壁家的老太太都能安装
  • Ubuntu 24.04 Preview 版安装 libtinfo5

免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

x
回复

使用道具 举报

0 个回复

倒序浏览

快速回复

您需要登录后才可以回帖 登录 or 立即注册

本版积分规则

罪恶克星

金牌会员
这个人很懒什么都没写!

标签云

快速回复 返回顶部 返回列表