LLamaFactory大模型练习框架工具入门安装
前言我想能点进来看这篇入门文档的应该都急不可耐了吧，哈哈。然而这正中了LLamaFactory安装的雷。为什么，且看下面细细道来。
开始
为什么中了陷阱呢？相信你们肯定看了官方的教程，地点贴一下：https://llamafactory.readthedocs.io/en/latest/getting_started/installation.html。这一步看到了吧：https://i-blog.csdnimg.cn/direct/0c2fc8eea26942289dd9f75711f43c60.png
狗东西就在这坑老子呢。。。。
先说安装步调吧：
一、 次序标题
1、首先，先别安装CUDA和cdDNN。
2、为什么？先看看上面谁人东西提供的版本吧，最高支持CUDA12.2，如果你安装了CUDA12.2以上的版本，后面都会找不到对应的dll库，因为这个包顶了天就支持到CUDA12.2，而这个包是做QLoRA时必须安装的（除非你不消，你有钱买了A100，A800，L20的卡，我想有钱人都会花钱去找人教，而不是来看这个入门教程了吧。。。简言之，有钱的全量微调大佬请走开，别来嘲笑我这个穷逼啊啊啊=_='）
3、所以，从CUDA12.2和CUDA12.1，CUDA12.0中选一个，或者其它低版本的（我12.6的还得卸了重装啊…）
https://i-blog.csdnimg.cn/direct/99524c85304c460bbb57286fd708ec0f.png
下面就按照次序跟着操作就行了。
二、安装CUDA和cuDNN
我不写了，看这篇错不了：CUDA和cuDNN安装详细步调
先别急着去，我先说明看他的什么。第一大步看你的NVIDIA卡最高支持CUDA哪个版本，如果低于你要装的版本，那就换电脑再装吧。如果高于想装的，那就高呗，这消息就没啥用了，忘掉它。
下面是大概步调：跳过也可
1、安装CUDA
1）先看你的NVIDIA卡最高支持哪个CUDA版本。打开命令行，输入
nvidia-smi
https://i-blog.csdnimg.cn/direct/f5f0ddefdebd44a5887446247c2b5ea2.png
2）查看你的NVIDA显卡当前安装的是哪个版本的，同样命令行：注意大写V
nvcc -V
这是我的12.6的还没卸载。如果没信息或者报错没有nvcc命令就说明没有自带安装任何CUDA，要进行安装。
你的如果是表现12.1或者正好是你想装的版本可以跳过下面的步调，直接安装到cuDNN那即可
https://i-blog.csdnimg.cn/direct/0a307cde90a744a98263262e66b1c406.png
3）下载CUDA，官网：https://developer.nvidia.com/cuda-toolkit-archive，进去后就是下面的截图
4）从这三组中选择一个，安装都一样，但劝你选定离手，不要再改，否则重新再来下载安装一堆东西烦死你
https://i-blog.csdnimg.cn/direct/9f980a3a0e3d4478b559a4538efde7a3.png
5）点进去按照你的体系选择，然后下载安装
https://i-blog.csdnimg.cn/direct/97f3ab5c6f4a4ebf965fa9f5175c4a15.png
6） 假设选了12.2吧：https://i-blog.csdnimg.cn/direct/10270cf0f0a5447bab96fe92ac063110.png
这是暂时解压目录，这里可以默认，安装完后会自动删除该目录，所以切记不要跟安装目录放一起，建议直接默认，虽然大但是他会自动删掉，不会占用内存，我保证，不要怀疑
7）这里选择自定义将CUDA安装到别的盘
https://i-blog.csdnimg.cn/direct/fbac8faf37714da2aa2743c163feece4.png
8）这里可以改到D盘，不消默认的，否则C盘又要快满了。照旧给其他软件省省地方吧。
https://i-blog.csdnimg.cn/direct/3a89122482a54fefa9430b8c0f6a36d3.png
9）查看CUDA信息
等待安装好，利用命令行查看：
nvcc -V
如果有信息且下面表现12.2，CUDA就基本算装好了
https://i-blog.csdnimg.cn/direct/4b1c74931bc143c98ad6f4476e7489d2.png
10）查看确认环境变量
a、默认情况下你的体系变量中会自动添加CUDA_PATH和CUDA_PATH_V12_2两个变量，如果是CUDA12.1或者12.0，那就是CUDA_PATH+CUDA_PATH_V12_1两个，CUDA_PATH+CUDA_PATH_V12_0两个。
b、除了上面两个变量，同时Path环境变量中会多出两个值，如下两个图所示，路径是你之前所选的CUDA安装路径。
c、如果你那里没有，要么卸载重装，或者不想，那就手动把这两个体系变量和环境变量加上去，至于手动有什么暗病没有那就不知道了，遇到再说呗。
https://i-blog.csdnimg.cn/direct/47ffcd33c73848e69ff4e20d7208d65d.png
https://i-blog.csdnimg.cn/direct/fa3686815f474330b40b131da88564ab.png
CUDA安装到这里就是彻底竣事了
2、安装cuDNN
1、官方网址：cuDNN下载
按照你安装的CUDA版本下载，看样子第一个v8.9.7的满意所有CUDA12，下载安装它就行，如果是CUDA11.x就选下面谁人11.x，肯定要对应
https://i-blog.csdnimg.cn/direct/c165efa1539e423ba010adb2c3f3e53e.png
https://i-blog.csdnimg.cn/direct/b26cbe4675e64efd9e0a9ddeb72c5f70.png
2、下载后解压
https://i-blog.csdnimg.cn/direct/2fbc0cb759a648ca8a69a69cb5f16822.png
3、将这三个目录中的文件复制粘贴到对应的CUDA安装目录中，注意不是这三个目录，而是这三个目录里面的文件，bin的文件复制到CUDA下的bin，include的文件复制到CUDA下的include，lib的文件复制到CUDA下的lib，如图所示：
https://i-blog.csdnimg.cn/direct/4f6696061b8743d385f88d9af31e3e4b.png
4、然后添加Path环境变量值，都是CUDA安装目录下的，根据你的CUDA安装路径添加下面那两个值
https://i-blog.csdnimg.cn/direct/9901b15f2c2a462a9b09209e3aafd5b7.png
5、然后找到CUDA安装目录下的\extras\demo_suite目录，里面有两个可实行文件，bandwidthTest.exe以及deviceQuery.exe，若存在则在该文件中打开cmd运行两.exe文件
https://i-blog.csdnimg.cn/direct/e1cbd660869746b68304cfc4531c767e.png
https://i-blog.csdnimg.cn/direct/81f7335940304285ba71c3f2af29df0e.png
https://i-blog.csdnimg.cn/direct/1fd5a22dd838430a8ec19c806cba37bf.png
到此cuDNN安装竣事
三、安装LLaMaFactory
1、按照官方教程，运行以下指令以安装 LLaMA-Factory 及其依靠:
git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory
pip install -e “.”
如果出现环境辩论，请实验利用下面命令解决，后面有个点别漏了
pip install --no-deps -e .
[*]说明一下：pip install -e “.”，可以不装torch，torch在实行命令之前自己安装GPU版，同样需要按照CUDA和pytorch对应的版本进行安装。这里不多说了，可以去看torch安装教程，找到对应的版本直接pip。后面有时间在把步调更新一下到这里。
2、LLaMA-Factory 校验：
完成安装后，可以通过利用
llamafactory-cli version
来快速校验安装是否乐成
如果您能乐成看到类似下面的界面，就说明安装乐成了。
https://i-blog.csdnimg.cn/direct/f2f48611d0bb485994e0701efa66c501.png
3、去github安装 bitsandbytes：https://github.com/jllllll/bitsandbytes-windows-webui/releases/tag/wheels/
既然我们安装的是CUDA12.2，那就选择0.39.1，如果是12.0和12.1就选择0.38.1的，其实选0.39.1的也行，因为他写了0.39.1只是额外包罗了对12.2的支持，意思就是他是兼容12.0，12.1和11.1-11.8的，所以12.0，12.1，12,.2的可以都装这个。
这里不要点击去，直接到下面的Assets中复制链接就行了。
右键复制链接地点，到命令行粘贴下面这个
pip install https://github.com/jllllll/bitsandbytes-windows-webui/releases/download/wheels/bitsandbytes-0.39.1-py3-none-win_amd64.whl
https://i-blog.csdnimg.cn/direct/449d220c8fc2452ebeb03e44ee265776.png
粘贴上面的命令
https://i-blog.csdnimg.cn/direct/236c34475f414cf691033cf3749ff61a.png
到这里LLamaFactory的安装就竣事了，谢谢大家，如果有标题欢迎评论区指出。
关于怎么利用的他进行大模型微调练习的教程后续再更新。
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]