Ubuntu搭建Pytorch情况(Anaconda、Cuda、cuDNN、Pytorch、Python、Pycharm
一、设置镜像源,安装必要情况1.检察Ubuntu版本号:cat /etc/issue,后续根据版本号添加对应的镜像源
2.备份镜像源:sudo cp /etc/apt/sources.list /etc/apt/sources.list.bak
3.在阿里云镜像源官网中找到并复制与版本号对应的阿里镜像源:
https://img-blog.csdnimg.cn/982180874c934a2ca73e79792da89a01.png
大概在清华镜像源官网中找到并复制与版本号对应的清华镜像源:
https://img-blog.csdnimg.cn/0df06317ba6c4836ada3f0f2fea4d21a.png
4.编辑软件源设置文件:sudo vi /etc/apt/sources.list,将文件中内容更换为阿里镜像源或清华镜像源
5.革新软件源:sudo apt-get update
6.安装用于编译和构建软件的工具库:sudo apt-get install build-essential
二、Anaconda的下载、安装、卸载及情况设置
1.下载Anaconda
进入Anaconda官网,下载linux版的anaconda(.sh结尾的文件)
https://img-blog.csdnimg.cn/9653791587e4446ebd0cdd42e7adad36.png
https://img-blog.csdnimg.cn/42778354ae28496fad908977395ad021.png
2.安装Anaconda
1.将文件拷贝到Ubuntu中,在相应位置输入命令sh 文件名.sh进行安装(推荐在root用户下安装)
https://img-blog.csdnimg.cn/c1852d33a20f42599badfc3f073967d9.png
2.一直按ENTER键,直到出现让选择yes和no的页面,键盘输入yes
https://img-blog.csdnimg.cn/98ace6f49f444e639df4cec634cdde63.png
3.选择安装位置,输入想要安装的位置(注意:这里安装anaconda时最好安装在普通用户可以访问的目次下,例如/usr/local、/opt、/home,否则普通用户可能无法正常使用)
https://img-blog.csdnimg.cn/c578e798bf1d421897152dd7349740ac.png
假如只需要在root账户下使用anaconda,直接按ENTER键选择默认位置就行。我这里安装到了默认路径/root/anaconda3下
https://img-blog.csdnimg.cn/10a06a3e7ca94099a2af51b5d8feadfe.png
4.初始化conda情况:键盘输入yes会自动设置情况;键盘输入no,后续要自定义设置情况。
https://img-blog.csdnimg.cn/b1c13f3433754a8594a05d2057ac10da.png
3.Anaconda的情况设置
1.找到Anaconda的安装位置,默认安装会有提示,一样平常都是home/用户名/anaconda3,我本次安装到了/root/anaconda3下
https://img-blog.csdnimg.cn/f64d8f2e43e0467982519dca1bcb05ee.png
2.输入vi ~/.bashrc编辑情况变量,添加以下内容:
export PATH="/自己对应的路径名/anaconda3/bin:$PATH"
这里写自己对应的路径名,我的是export PATH=“/root/anaconda3/bin:$PATH”
https://img-blog.csdnimg.cn/02aba9ded7da4b6eb0af7cfd77097c3a.png
3.激活修改的内容:source ~/.bashrc
4.测试是否设置乐成:输入conda,若没有显示not fond 则表示 anaconda安装设置乐成
https://img-blog.csdnimg.cn/1e42b13fca8a4b0186cdb912a1cad6ad.png
4.赋予普通用户/超等用户使用Anaconda的权限
无论是在root用户照旧普通用户下进行安装的,安装anaconda时最好安装在普通用户可以访问的目次下,例如/usr/local、/opt、/home,否则普通用户是无法使用anaconda的。
(1)在root用户下安装的anaconda,想要赋予普通用户使用anaconda的权限
比如安装位置为/opt/anaconda3,直接在普通用户下执行:/opt/anaconda3/bin/conda init bash,然后执行conda env list测试
https://img-blog.csdnimg.cn/7df00e6c322a4a8ba37654ab361077b5.png
(2)在普通用户下安装的anaconda,想要赋予超等用户(root)使用anaconda的权限
比如安装位置为/home/xxx/anaconda3,直接在root用户下运行:/home/xxx/anaconda3/bin/conda init bash,然后执行conda env list测试
https://img-blog.csdnimg.cn/0ade2d191f69443eaa37b926bb663020.png
5.卸载Anaconda
假如安装anaconda时不鉴戒安装到了在普通用户访问不到的目次下,例如/root、/home/root,可以卸载anaconda重新进行安装。
(1)删除安装目次:rm -rf /root/anaconda3
(2)编辑情况变量文件vi ~/.bashrc,解释或删除anaconda3的路径
(3)使修改后的情况变量立刻见效:source ~/.bashrc
三、显卡驱动、Cuda、cuDNN的安装(GPU版选装)
主机有显卡的可以安装Cuda用GPU加速模型练习
1.安装显卡硬件对应的驱动
可以参考Ubuntu物理机显卡驱动安装的几种方式安装显卡驱动
输入nvidia-smi,检察自己所需要的cuda版本号,我的是12.1
https://img-blog.csdnimg.cn/614d42c9e4014081be2a22a8fbfadec7.png
2.下载对应显卡驱动版本的cuda
打开nvidia官网,点击对应版本链接进入下载界面(我的是12.1,选择12.1的任一版本都可以)
https://img-blog.csdnimg.cn/a469170c5df5499d9eaf9ed980b015da.png
https://img-blog.csdnimg.cn/a724b0aafb0145959decd55d94e95a73.png
将上面天生的命令拷贝下来,先执行第一行命令下载cuda:
wget https://developer.download.nvidia.com/compute/cuda/12.1.0/local_installers/cuda_12.1.0_530.30.02_linux.run
3.cuda的安装
下载完成后执行chmod 777 【下载的sh文件】赋予执行权限,然后执行第二行命令安装cuda:
sudo sh cuda_12.1.0_530.30.02_linux.run
(1)遇到如下界面,选择continue继续
https://img-blog.csdnimg.cn/05fde129252f4531984b2ac5a909980b.png
(2)遇到如下界面,输入accept
https://img-blog.csdnimg.cn/8fc49266013d400b804db8fe82dc14fb.png
(3)遇到如下界面,按Enter键取消勾选驱动(显卡驱动已经安装过了),点击install安装其他组件
https://img-blog.csdnimg.cn/36e69a375f664b5db5f636dbb0e90fc9.png
安装完成后显示如下路径
https://img-blog.csdnimg.cn/791f712fe72a4d59bad3a1035cc8d147.png
同时体系会在安装目次下自动天生一个/cuda的链接指向/cuda-版本号
https://img-blog.csdnimg.cn/bddace712608435f828ba59441782b5b.png
4.cuda的情况变量设置
4.1 输入sudo vi ~/.bashrc命令修改情况变量
根据自己anaconda3的路径名,在文件末端加入以下四行:
export PATH="/anaconda3的路径名/anaconda3/bin:$PATH"
export LD_LIBRARY_PATH=/usr/local/cuda/lib64:/usr/local/cuda/extras/CPUTI/lib64
export CUDA_HOME=/usr/local/cuda/bin
export PATH=$PATH:$LD_LIBRARY_PATH:$CUDA_HOME
https://img-blog.csdnimg.cn/1c8ff65448094de782e32fe7e6d9126f.png
4.2 输入source ~/.bashrc命令激活刚刚修改的内容
4.3 依次输入以下命令,测试cuda是否安装乐成
nvcc -V
cd /usr/local/cuda/extras/demo_suite/
./bandwidthTest
https://img-blog.csdnimg.cn/2d7c7cb09636495589fa114e79fdcebb.png
出现Result = PASS即为乐成
5.cuda的卸载
5.1 进入到cuda的安装目次,找到有关unintall的文件,执行卸载命令:sudo /usr/local/cuda-12.1/bin/cuda-uninstaller
https://img-blog.csdnimg.cn/35af22daf8f7415f8eed7f06ef2044a2.png
5.2 勾选要卸载的cuda版本所有组件
https://img-blog.csdnimg.cn/adab06b8e2fb422ead54f461c3417e28.png
5.3 卸载乐成后,删除干系文件
https://img-blog.csdnimg.cn/e836c2b97e8d423c9251142b75978f5e.png
5.4 删除干系情况变量
输入sudo vi ~/.bashrc将最下面和cuda有关的删除,执行source ~/.bashrc重新激活情况变量设置即可
6.以tar方式下载、安装、卸载cudnn
(1)下载对应cuda版本的cuDNN
打开nvidia官网,点击对应版本链接进入下载界面(我的cuda版本是12.1,选择12.x的任一版本的cuDNN都可以,推荐使用tar包的方式),下载需要注册登陆英伟达账户(自行百度)
https://img-blog.csdnimg.cn/687daa93ed094d02abc65b052deee4e8.png
(2)将下载好的文件拷贝到Ubuntu体系中,并执行以下解压缩命令:
unxz cudnn-linux-x86_64-8.9.0.131_cuda12-archive.tar.xz
tar -vxf cudnn-linux-x86_64-8.9.0.131_cuda12-archive.tar
https://img-blog.csdnimg.cn/70f98ae64aaf4c428985b92936a7eeb8.png
(3)cuDNN的安装
进入解压后的目次中,打开终端,输入下述命令:
sudo cp include/cudnn*.h /usr/local/cuda/include/
sudo cp lib/libcudnn* /usr/local/cuda/lib64
sudo chmod a+r /usr/local/cuda/include/cudnn*.h /usr/local/cuda/lib64/libcudnn*
(4)执行完毕后,输入以下命令验证cuDNN是否安装乐成:
cat /usr/local/cuda/include/cudnn_version.h | grep CUDNN_MAJOR -A 2
https://img-blog.csdnimg.cn/5a3c774246294b4fa86df855d8d916c1.png
提示信息是指:在这个文件中不能使用 constexpr 关键字,由于这个文件是仅限于C语言的。
(5)cuDNN的卸载
通过tar包安装的cudnn,通过以下命令将拷贝到cuda安装目次的有关cudnn的文件删除即可:
sudo rm -rf /usr/local/cuda/include/cudnn.h
sudo rm -rf /usr/local/cuda/lib64/libcudnn*
7.以deb方式下载、安装、卸载cudnn
(1)先切换到/usr/local目次下,然后创建一个目次CuDNN
cd /usr/local
mkdir CuDNN
cd CuDNN
(2)前往https://developer.nvidia.com/rdp/cudnn-archive下载所需文件
https://img-blog.csdnimg.cn/2e3ba1be910d4d6abf0a3e17f8f6cabb.png
(3)将下载文件拷贝到/usr/local/CuDNN/目次下
https://img-blog.csdnimg.cn/7c8a8ca2a7984723b36ba11ba956cd48.png
运行以下命令安装CUDNN7.4.2,这里安装次序一定要如下所示:
sudo dpkg -i libcudnn7_7.4.2.24-1+cuda10.0_amd64.deb
sudo dpkg -i libcudnn7-dev_7.4.2.24-1+cuda10.0_amd64.deb
sudo dpkg -i libcudnn7-doc_7.4.2.24-1+cuda10.0_amd64.deb
(4)把文件复制到/usr/local/cuda/include文件夹下面,并修改权限:
sudo cp /usr/include/cudnn.h /usr/local/cuda/include
sudo chmod a+x /usr/local/cuda/include/cudnn.h
(5)检测是否安装乐成的测试命令:
cat /usr/local/cuda/include/cudnn.h | grep CUDNN_MAJOR -A 2
https://img-blog.csdnimg.cn/d1c028ac4b0c4367be71388c88301705.png
(6)卸载以deb方式安装的cudnn
#查询已安装的cudnn
sudo dpkg -l | grep cudnn
#删除拷贝的文件
rm -rf /usr/local/cuda/include/cudnn.h
#卸载安装的cudnn,注意卸载和安装顺序相反
sudo dpkg -r libcudnn7-doc
sudo dpkg -r libcudnn7-dev
sudo dpkg -r libcudnn7
#再次查询已安装的cudnn,没有任何输出即卸载成功。
sudo dpkg -l | grep cudnn
四、创建Anaconda假造情况
1.Anaconda常用命令:检察,创建,删除情况
(1) 检察anaconda的安装版本:conda --version
(2) 检察已经安装的情况(带星号的表示目前正在使用的情况):conda env list
(3) 激活对应的假造情况(进入情况):source activate envone(情况名)
(4) 激活默认的假造情况(base情况):source activate
(5) 退出当前conda情况:conda deactivate
(6) 删除conda情况:conda uninstall -n envone(情况名) --all
(7) 在情况里安装需要的包:pip install xxx
(8) 检察已经安装的包:pip list
(9) 克隆已有情况:conda create --name python32(新名字) --clone python321(老名字)
(10) 删除conda情况:conda remove -n envone(情况名) --all
https://img-blog.csdnimg.cn/bfef3b8ce2d0444a89e11b2e4d17a1ab.png
2.创建ai空间,用于搭建pytorch深度学习框架
使用anaconda安装情况后,本地默认情况成为base情况。
(1) 创建名为ai的空间:conda create -n ai
(2) 进入ai空间(假造情况):conda activate ai
https://img-blog.csdnimg.cn/e1d5a3e7e9724f878c06ea7e6bb4bd71.png
五、搭建Pytorch情况
1.通过命令进入创建好的ai空间source activate ai
2.进入pytorch官网下载对应版本的pytorch
https://img-blog.csdnimg.cn/7202a5f8506648d98a2428aa74154492.png
https://img-blog.csdnimg.cn/52d215aa1a5b4c649df6fb92ff584d8e.png
[*]选择pytorch版本
[*]选择对应的操作体系
[*]选择使用什么安装,conda里可以使用pip安装的
[*]选择编程语言为python
[*]选择cuda版本:我的版本是12.1,pytorch官网上目前只给出了11.8的Cuda支持,但是社区明确表明白兼容高版本Cuda。
3.在ai空间中执行上面天生的命令
pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
https://img-blog.csdnimg.cn/41fdc1cea72d4965a1277823202ef2dd.png
WARNING: Running pip as the ‘root’ user can result in broken
permissions and conflicting behaviour with the system package manager.
It is recommended to use a virtual environment instead:
https://pip.pypa.io/warnings/venv WARNING: There was an error checking
the latest version of pip.
以上警告信息表示:以“root”用户身份运行 pip 可能会导致权限破坏以及与体系包管理器的举动辩论。
六、安装干系依靠库的方法
1.利用官网命令安装所需依靠库
(1)进入anaconda官网搜索需要安装的库名(无需注册登录)
https://img-blog.csdnimg.cn/c3657e9256f44f4fb6c03be475b78da2.png
(2)选择所需要的版本
https://img-blog.csdnimg.cn/206af848db154d958645717161a060e4.png
(3)复制官网上的安装命令
https://img-blog.csdnimg.cn/177032dcee274b969fa81b99fe2286f6.png
(4)执行source activate ai进入ai假造情况中,执行上面复制的安装命令conda install -c pytorch-lts pytorch
https://img-blog.csdnimg.cn/b7715e066a7e46a0a4ea6d5eb4a3e71c.png
(5)登入python执行import torch验证是否乐成
https://img-blog.csdnimg.cn/c274b1d5ff56497c8ccb3cf7c9b705d7.png
2.conda和pip的镜像加速设置
将conda源和pip源修改为国内源,进步下载安装速度
2.1 修改conda源
修改~/.condarc文件:sudo vi ~/.condarc ,修改文件内容如下:
channels:
- defaults
show_channel_urls: true
channel_alias: https://mirrors.tuna.tsinghua.edu.cn/anaconda
default_channels:
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/pro
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/msys2
custom_channels:
conda-forge: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
msys2: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
bioconda: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
menpo: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
pytorch: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
simpleitk: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
若清华的conda源不能使用,可以改用上交的源:
channels:
- https://mirrors.sjtug.sjtu.edu.cn/anaconda/pkgs/main/
- https://mirrors.sjtug.sjtu.edu.cn/anaconda/pkgs/free/
- defaults
show_channel_urls: true
2.2 修改pip源
参考:linux和window设置 pip 镜像源 、最实用的情况下载加速设置 ——【一文读懂】
输入conda deactivate关闭假造情况,回到终端界面
更新pip工具:pip install --upgrade pip
设置pip源:pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
3.安装常用深度学习依靠库
执行以下conda 命令,自动搜索下载安装好干系依靠库的实用版本及干系依靠。
(1)安装opencv库(该库用于图像处置处罚)命令:conda install opencv
(2)安装torchvision库(该库用于下载练习先进的预练习模型)命令:conda install torchvision
(3)安装torch库(该库用于深度学习任务中构建、练习和摆设神经网络模型)命令:conda install torch
(4)安装cv2库(该库提供了许多盘算机视觉和图像处置处罚方面的函数和工具):conda install -c necla-ml opencv-python
(5)安装tensorboardx库(该库提供了可视化和分析神经网络练习过程和效果的工具):conda install -c conda-forge tensorboardx
4.安装依靠库时的常见问题
问题一:安装依靠库时显示"PackagesNotFoundError"报错
https://img-blog.csdnimg.cn/5c051c84ba2c408daeffa87b7abcef9e.png
假如在使用 Conda 或雷同包管理器时遇到 “PackagesNotFoundError” 错误,可能阐明所需的包或软件包版本不在当前设置的软件源通道中。可以参考https://blog.csdn.net/weixin_45552562/article/details/109668589解决该问题。运行以下命令来更新软件源信息:conda update --all
https://img-blog.csdnimg.cn/3bd8be7bf3ae4d229b4ab153085be641.png
https://img-blog.csdnimg.cn/6ec30a23830c4f61a057ec611acfe6f1.png
重新执行conda install torch,若照旧报错可以根据报错提示,参考6.1去官网查找对应命令进行安装。
https://img-blog.csdnimg.cn/eceff3cb207a4e0c82f946941286e272.png
七、Python情况阐明和Pycharm、Jupyter工具安装
1.Python情况阐明可以参考Ubuntu下体系python与anaconda下python
2.Pycharm工具安装可以参考Ubuntu 16.04 安装 PyCharm
(1)在PyCharm官网下载安装包(社区版免费)
https://img-blog.csdnimg.cn/d9b7df34ac5042caa18760b54c905773.png
(2)运行tar -zxvf pycharm-community-2022.3.2.tar.gz命令将安装包解压
https://img-blog.csdnimg.cn/390f89cc1e9c4b9ea94fb4b7f1aaf2d8.png
(3)进入软件的bin目次,运行命令 sh ./pycharm.sh打开Pycharm
https://img-blog.csdnimg.cn/fddac337799a430ebfbbd6300e691fe7.png
(4)普通用户权限问题
假如报错信息是有关普通用户权限的问题,可以尝试更改干系文件的所有者
sudo chown ownername:groupname /path/to/directory
在上述命令中,“ownername” 是指定的新所有者的用户名,“groupname” 是指定的新所属组的组名,而 “/path/to/directory” 是你要修改的目次的路径。
3.Anaconda自带Jupyter工具,用以下命令打开即可:jupyter notebook,可以参考jupyter使用教程
免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。
页:
[1]