微调llama3问题办理-RuntimeError: CUDA unknown error - this may be due
问题阐明之一具体问题如下：
RuntimeError: CUDA unknown error - this may be due to an incorrectly set up environment, e.g. changing env variable CUDA_VISIBLE_DEVICES after program start. Setting the available devices to be zero.
我使用的这套是根据llama3练习出来的中文模型，主打一个工具多好用，地址如下：Chinese-LLaMA-Alpaca-3
由于我使用的是租的云服务器（按照消耗计时的），这问题基本就是torch、cuda、cudnn版本不对！
问题阐明之二
具体问题如下：
RuntimeError: CUDA error: CUBLAS_STATUS_NOT_SUPPORTED when calling `cublasGemmStridedBatchedExFix(handle, opa, opb, (int)m, (int)n, (int)k, (void*)&falpha, a, CUDA_R_16BF, (int)lda, stridea, b, CUDA_R_16BF, (int)ldb, strideb, (void*)&fbeta, c, CUDA_R_1>
这个问题直接给我干懵圈！搞了小一天终于办理。网上说可能是显卡不敷，这是错误的说法。以下是问题可能的原因：
[*]显卡不支持，早先我用了一块P40-24G，报错！通过查询好多人说了显存不敷，我随后增长到4块，也就是4块P40共96G，但仍旧报错！
[*]cuda版本过高，这里要求torch>=2.1.1对于最低要求cuda11.7来说仍旧报错！
以是总结起来就是显卡+torch+cuda版本兼容的问题，以下是我成功运行的环境一块显卡足以，由于成功了我就没有继承探究了，但是我感觉大概率是torch不同版本单机多卡练习的bug。以是对于这套llama3练习最好选用显存大的单卡练习。你就用这个必好使！
torch:2.1.1
cudn:11.8
gpu:A40-48G
https://i-blog.csdnimg.cn/direct/c392fefdc3e648daaec158885d717069.png#pic_center
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]