4060显卡+LLaMA-Factory微调LLM情况准备——（一）安装cuda
本地设置系统：win10
**硬件：**i5-12490f+RTX4060
安装原因：
最近实验在本地对开源LLM举行Fine-tune的时候，用到了LLaMA-Factory，在运行的时候，弹出未检测到GPU，后来才发现，是忘记安装cuda等情况导致的
LLaMA-Factory: https://github.com/hiyouga/LLaMA-Factory
本地测试方法：
GPU:
import torch
print(torch.cuda.is_available())# 是否可以用gpu False不能，True可以
print(torch.cuda.device_count())# gpu数量， 0就是没有，1就是检测到了
Cuda:
nvcc -V
出现以下内容，阐明你本机安装过cuda了
https://img-blog.csdnimg.cn/img_convert/ed89d42dd358b4bd6efaef2e3f2e93b6.png
安装过程：
安装前先简单相识下什么是cuda
CUDA(ComputeUnified Device Architecture)，是显卡厂商NVIDIA推出的运算平台。CUDA是一种由NVIDIA推出的通用并行计算架构，该架构使GPU能够办理复杂的计算问题。
安装前先安装VS Community，由于不安装的话，直接安装Cuda会报错
下载链接： https://my.visualstudio.com/Downloads?PId=8228
下载前需要注册登岸账号，目前可以下载的版本可能只有2022版的，不过问题不大，也可以用
https://img-blog.csdnimg.cn/img_convert/9e4f2b083aee223d1e1088e083a74d6d.png
安装过程是傻瓜式操作，在选择工作负荷的时候，选C++桌面端开发
https://img-blog.csdnimg.cn/img_convert/87040e1033129092c1be2dce3b3f0388.png
安装完成后，登录自己的账号（下载前注册的账号），然后关闭即可
去Nvidia 官网，下载CUDA：
https://developer.nvidia.com/cuda-12-2-0-download-archive?target_os=Windows&target_arch=x86_64&target_version=10&target_type=exe_local
由于llama-factory要求的版本是11.8-12.2的，索性就下载安装一个12.2的版本
https://img-blog.csdnimg.cn/img_convert/5d4711d14b8268dd141a1528d3b1ef03.png
下载的文件大约3G左右
https://img-blog.csdnimg.cn/img_convert/af76e62556c4bb48092a15a251854faf.png
整个安装过程，也是傻瓜式操作，自定义安装中，可以看到安装CUDA的选项
https://img-blog.csdnimg.cn/img_convert/df4f6819ada12eaef34884d3f5b3f97d.png
背面一只下一步就好，安装完成后需要设置情况变量，一般默认安装路径都是一样的
https://img-blog.csdnimg.cn/img_convert/fd02b8589eca056b59c53880fe8edc15.png
设置好后，测试安装是否成功，假如出现下图，看到Build cuda_12.2表现安装成功了
https://img-blog.csdnimg.cn/img_convert/507003b3d1aa82c3a6ada4a66b5c0e99.png
这里大家可能有疑问，nvidia-smi实行后，右上角也会出现一个CUDA Version: 12.5， 这两个cuda版本有什么区别，其实CUDA有runtime api 和 driver api， nvcc -V
表现的是runtime api， nvidia-smi表现的是 driver api， runtime api 是CUDA Toolkit install 安装的， driver api是GPU driver installer安装的， 以是这两个东西安装上并没有什么太大的关系
唯一需要注意的是，一般nvidia-smi的版本需要大于 nvcc -V
表现的版本，像我安装的12.5>12.2，使用起来没有什么大问题
https://img-blog.csdnimg.cn/img_convert/f04174391a4e81d8e0b02a552a69eeb2.png
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]