LLama-Factory 碰到的题目

一、包不兼容题目
按照提示安装对应的版本，只要不相互冲突即可
二、使用文件路径，加载模型
1.提示：NameError: name 'AsyncLLMEngine' is not defined
解决方案：在文件：src/llamafactory/chat/base_engine.py

1. 将from vllm import AsyncLLMEngine 改为 from vllm_engine import AsyncLLMEngine

复制代码

2.使用chat的时候修改gpu的使用个数和号
在运行练习程序前，在用户根目录下配置情况（~/.bashrc）：

1. import os
2. os.environ["CUDA_VISIBLE_DEVICES"] = '0，1'
3.  

复制代码

或：

1. export CUDA_VISIBLE_DEVICES = NUM

复制代码

NUM是用户指定显卡的序号（0,1,2…），可以先用 nvidia-smi 检察当前哪块显卡可用。但这种方法限制了用户可见的GPU数量，比如你的其他程序在你的目录里无法选择别的GPU; 你的程序也没法使用multiple GPUs。
注意！！！！！！
ValueError: Total number of attention heads (28) must be divisible by tensor parallel size (6).
如果改后报这个错误，肯定注意注意力头数要能被gpu卡数除尽！

并在src/llamafactory/chat/vllm_engine.py将下面get_device_count() 改为自己设置的gpu并行个数，如果是占用机器上的全部gpu数量则不必要改，如果少于机器上gpu数量肯定要修改为自己设定的数。

1. "tensor_parallel_size": get_device_count() or 1

复制代码

src/llamafactory/extras/misc.py

1. def get_device_count() -> int:
2.     r"""
3.     Gets the number of available GPU or NPU devices.
4.     """
5.     if is_torch_xpu_available():
6.         return torch.xpu.device_count()
7.     elif is_torch_npu_available():
8.         return torch.npu.device_count()
9.     elif is_torch_cuda_available():
10.         return 4 # 将cuda加载的设备数修改，得保证能够被注意头除尽
11.         #return torch.cuda.device_count()
12.     else:
13.         return 0

复制代码

但是检察gpu使用情况，仍然是占用了所有的gpu 啊！！ 
3.使用train的时候修改gpu--没找到
设置情况变量CUDA_VISIBLE_DEVICES声明练习过程中答应使用4张显卡，显卡编号分别为1、2、3、4。使用 llamafactory-cli下令启动练习

1. export CUDA_VISIBLE_DEVICES=1,2,3,4
2. llamafactory-cli train /data2/downloads/LLaMA-Factory/qwen2_lora_sft.yaml

复制代码

4.Cannot use FlashAttention-2 backend because the flash_attn package is not found
pip install -U flash-attn==2.5.8
 
5.WARNING worker.py:1481 -- SIGTERM handler is not set because current thread is not the main thread.
gcs_rpc_client.h:179: Failed to connect to GCS at address 172.16.11.103:48924 within 5 seconds
Failed to get cluster ID from GCS server: TimedOut: Timed out while waiting for GCS to become available
6.RuntimeError: Cannot re-initialize CUDA in forked subprocess. To use CUDA with multiprocessing, you must use the 'spawn' start method

7.使用huggingface推理的Baichuan2-13B-Chat的时候，
提示：RuntimeError: CUDA error: device-side assert triggered
CUDA kernel errors might be asynchronously reported at some other API call, so the stacktrace below might be incorrect.
For debugging consider passing CUDA_LAUNCH_BLOCKING=1.
Compile with `TORCH_USE_CUDA_DSA` to enable device-side assertions.
8.用vllm加载模型的时候提示：Started a local Ray instance.
一个低级题目导致vLLM加载大模型时ray卡死 - badwood - 博客园
这两天一直被一个题目困扰，用vLLM加载千问时不能开并行（tensor_parallel_size>1），一开就会卡在ray阶段，最初是提示Started a local Ray instance，后来手工启动ray集群，就提示connected to Ray cluster。无论怎样调都无法跑下去，根本不会加载模型，换了各种版本的vllm、transformer、ray、显卡、乃至是用原来可以跑的docker，都不可，直到发现一个偶尔爆出的错误：ray pthread_create failed: Resource temporarily unavailable。一搜，第一条发起就是查抄体系线程数设置。最终定位是体系设置的用户最大线程数太小（ulimit -u）,设定为4096，修改到unlimited（/etc/security/limits.conf中增长app用户的nofile、nproc设置），顺遂解决题目。
9.加载/home/sxw/3-model/1-patentWritten/10-glm-4-9b-chat模型的时候，huggingface推理，举行对话提示：KeyError: '<reserved_102>'

10.llama-factory加载chatglm3-6b-32k模型huggingface推理，对话提示：ValueError: too many values to unpack (expected 2)
解决方法：原因是transformers版本过高，修改为transformers==4.41.2【bug解决】chatglm3推理 ValueError: too many values to unpack (expected 2)_chatglm3 valueerror: too many values to unpack (ex-CSDN博客
11.llama-factory加载qwen2.5-14B模型huggingface推理，对话提示：RuntimeError: Could not infer dtype of NoneType 
12.llama-factory加载glm-4-9b-chat-1m模型huggingface推理，对话提示：KeyError: 'sop'。
13.报错：“TypeError: ChatGLMTokenizer._pad() got an unexpected keyword argument ‘padding_side‘ ”_chatglm.pad has unexpected-CSDN博客
14.vllm 推理报错，无法导入本地大模型路径_vllm加载本地模型-CSDN博客 
15.RuntimeError: Could not infer dtype of NoneType-CSDN博客 
16.解决vscode长途连接Linux无权限保存的题目,解决vscode长途连接Linux无权限保存的题目_vscode无法保存linux主机上的网络共享恩家-CSDN博客
17. 为什么安装了autoawq后运行python文件的时候照旧提示安装autoawq？
解决方法：直接git clone awq的源码，新建conda情况并安装awq依赖，在这个情况下运行，可以避免提示一直要安装autoawq题目，安装的autoawq版本是：0.2.6+cu121
18.vs code 提示：无法监视文件更改，请按照链接说明
【题目解决】VSCode报警：无法在这个大型工作区中监视文件更改。请按照说明链接来解决此题目。_无法在这个大型工作区文件夹中监视文件更改。请按照说明链接来解决此题目。-CSDN博客
19. ollama的open webui 在执行open-webui serve的时候提示:undefined symbol: __nvJitLinkAddData_12_1, version libnvJitLink.so.x报错缺失
undefined symbol: __nvJitLinkAddData_12_1, version libnvJitLink.so.x报错缺失_version libnvjitlink.so.12 not defined in file lib-CSDN博客


免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。