ToB企服应用市场:ToB评测及商务社交产业平台

标题: Windows环境下搭建Qwen开发环境 [打印本页]
作者: 商道如狼道    时间: 2024-11-25 01:05
标题: Windows环境下搭建Qwen开发环境
1 参考文献

【官方指引】https://qwen.readthedocs.io/en/latest/
【ModelScope训练】https://modelscope.cn/docs/%E4%BD%BF%E7%94%A8Tuners
【CUDA下载安装教程】https://blog.csdn.net/changyana/article/details/135876568
【安装cuDNN】https://developer.nvidia.com/rdp/cudnn-archive
【安装PyTorch】https://pytorch.org/
【安装Ollama】https://ollama.com/download
2 底子环境

2.1 安装CUDA

【检察显卡驱动】nvidia-smi
【验证CUDA安装】nvcc -V
  1. 首先查看NVIDIA显卡对应的CUDA版本号，然后根据此版本号下载对应版本的Toolkit
复制代码

2.2 安装cuDNN


  1. 把下载的cudnn压缩包进行解压，在cudnn的文件夹下，把bin，include，lib文件夹下的内容对应拷贝到cuda相应的bin，include，lib下即可，最后安装完成。
复制代码
2.3 安装PyTorch



  1. # 验证PyTorch是否与CUDA兼容
  3. import torch
  5. print(torch.\_\_version\_\_)
  6. print(torch.cuda.is\_available())
复制代码
3 通过Ollama调用模子

Ollama是一种比较简单方便的当地运行方案。通过Ollama官网直接安装，可搜索支持的大模子：https://ollama.com/search?q=qwen

4 Qwen官方指引

Qwen官方指南具体说明白支持的各种方案，比检察各种网络博客说明更清晰。

5 自界说训练

5.1 参考ModelScope指引

  1. \# 自定义ModelScope模型缓存路径
  2. export MODELSCOPE\_CACHE\=/Users/kuliuheng/workspace/aiWorkspace/Qwen
复制代码

  1. 1 # A100 18G memory
  2. 2 from swift import Seq2SeqTrainer, Seq2SeqTrainingArguments 3 from modelscope import MsDataset, AutoTokenizer 4 from modelscope import AutoModelForCausalLM 5 from swift import Swift, LoraConfig 6 from swift.llm import get\_template, TemplateType 7 import torch 8
  3. 9 pretrained\_model = 'qwen/Qwen2.5-0.5B-Instruct'
  4. 10
  5. 11
  6. 12 def encode(example):
  7. 13     inst, inp, output = example\['instruction'\], example.get('input', None), example\['output'\]
  8. 14     if output is None:
  9. 15         return {}
  10. 16     if inp is None or len(inp) == 0:
  11. 17         q = inst
  12. 18     else:
  13. 19         q = f'{inst}\\n{inp}'
  14. 20     example, kwargs = template.encode({'query': q, 'response': output})
  15. 21     return example
  16. 22
  17. 23
  18. 24 if \_\_name\_\_ == '\_\_main\_\_':
  19. 25     # 拉起模型
  20. 26     model = AutoModelForCausalLM.from\_pretrained(pretrained\_model, torch\_dtype=torch.bfloat16, device\_map='auto', trust\_remote\_code=True)
  21. 27     lora\_config = LoraConfig(
  22. 28                     r=8,
  23. 29                     bias='none',
  24. 30                     task\_type="CAUSAL\_LM",
  25. 31                     target\_modules=\["q\_proj", "k\_proj", "v\_proj", "o\_proj"\],
  26. 32                     lora\_alpha=32,
  27. 33                     lora\_dropout=0.05)
  28. 34     model = Swift.prepare\_model(model, lora\_config)
  29. 35     tokenizer = AutoTokenizer.from\_pretrained(pretrained\_model, trust\_remote\_code=True)
  30. 36     dataset = MsDataset.load('AI-ModelScope/alpaca-gpt4-data-en', split='train')
  31. 37     template = get\_template(TemplateType.chatglm3, tokenizer, max\_length=1024)
  32. 38
  33. 39     dataset = dataset.map(encode).filter(lambda e: e.get('input\_ids'))
  34. 40     dataset = dataset.train\_test\_split(test\_size=0.001)
  35. 41
  36. 42     train\_dataset, val\_dataset = dataset\['train'\], dataset\['test'\]
  37. 43
  38. 44     train\_args = Seq2SeqTrainingArguments(
  39. 45         output\_dir='output',
  40. 46         learning\_rate=1e-4,
  41. 47         num\_train\_epochs=2,
  42. 48         eval\_steps=500,
  43. 49         save\_steps=500,
  44. 50         evaluation\_strategy='steps',
  45. 51         save\_strategy='steps',
  46. 52         dataloader\_num\_workers=4,
  47. 53         per\_device\_train\_batch\_size=1,
  48. 54         gradient\_accumulation\_steps=16,
  49. 55         logging\_steps=10,
  50. 56 )
  51. 57
  52. 58     trainer = Seq2SeqTrainer(
  53. 59         model=model,
  54. 60         args=train\_args,
  55. 61         data\_collator=template.data\_collator,
  56. 62         train\_dataset=train\_dataset,
  57. 63         eval\_dataset=val\_dataset,
  58. 64         tokenizer=tokenizer)
  59. 65
  60. 66     trainer.train()
复制代码
View Code
（1）官方示例代码中没有写 __main__ 主函数入口，实际运行时发现会报错提示说：子线程在主线程尚未完成初始化之前就运行了。 所以这里就补齐了一个主函数入口
（2）官方代码中没有针对 ‘qwen/Qwen2.5-0.5B-Instruct’ 模子代码，运行时target_modules会提示错误，需要指定模子中实际存在的模块名才行。这里有个技巧，通过打印模子信息可以看到实际的层级结构：
  1. from modelscope import AutoModelForCausalLM
  3. model\_name \= 'qwen/Qwen2.5-0.5B-Instruct'
  4. model \= AutoModelForCausalLM.from\_pretrained(model\_name)
  5. print(model)
复制代码
得到如下结果：

  1. Qwen2ForCausalLM(
  2.   (model): Qwen2Model(
  3.     (embed\_tokens): Embedding(151936, 896)
  4.     (layers): ModuleList(
  5.       (0\-23): 24 x Qwen2DecoderLayer(
  6.         (self\_attn): Qwen2SdpaAttention(
  7.           (q\_proj): Linear(in\_features\=896, out\_features=896, bias=True)
  8.           (k\_proj): Linear(in\_features\=896, out\_features=128, bias=True)
  9.           (v\_proj): Linear(in\_features\=896, out\_features=128, bias=True)
  10.           (o\_proj): Linear(in\_features\=896, out\_features=896, bias=False)
  11.           (rotary\_emb): Qwen2RotaryEmbedding()
  12.         )
  13.         (mlp): Qwen2MLP(
  14.           (gate\_proj): Linear(in\_features\=896, out\_features=4864, bias=False)
  15.           (up\_proj): Linear(in\_features\=896, out\_features=4864, bias=False)
  16.           (down\_proj): Linear(in\_features\=4864, out\_features=896, bias=False)
  17.           (act\_fn): SiLU()
  18.         )
  19.         (input\_layernorm): Qwen2RMSNorm((896,), eps=1e-06)
  20.         (post\_attention\_layernorm): Qwen2RMSNorm((896,), eps=1e-06)
  21.       )
  22.     )
  23.     (norm): Qwen2RMSNorm((896,), eps=1e-06)
  24.     (rotary\_emb): Qwen2RotaryEmbedding()
  25.   )
  26.   (lm\_head): Linear(in\_features\=896, out\_features=151936, bias=False)
  27. )
复制代码
View Code
调整目标模块名之后，代码能够跑起来了，但Mac Apple M3笔记本上跑，的确是速度太慢了点：
  1. \[INFO:swift\] Successfully registered \`/Users/kuliuheng/workspace/aiWorkspace/Qwen/testMS/.venv/lib/python3.10/site-packages/swift/llm/data/dataset\_info.json\`
  2. \[INFO:swift\] No vLLM installed, if you are using vLLM, you will get \`ImportError: cannot import name 'get\_vllm\_engine' from 'swift.llm'\`
  3. \[INFO:swift\] No LMDeploy installed, if you are using LMDeploy, you will get \`ImportError: cannot import name 'prepare\_lmdeploy\_engine\_template' from 'swift.llm'\`
  4. Train:   0%|          | 10/6492 \[03:27<42:38:59, 23.69s/it\]{'loss': 20.66802063, 'acc': 0.66078668, 'grad\_norm': 30.34488869, 'learning\_rate': 9.985e-05, 'memory(GiB)': 0, 'train\_speed(iter/s)': 0.048214, 'epoch': 0.0, 'global\_step/max\_steps': '10/6492', 'percentage': '0.15%', 'elapsed\_time': '3m 27s', 'remaining\_time': '1d 13h 21m 21s'}
  5. Train:   0%|          | 20/6492 \[23:05<477:25:15, 265.56s/it\]{'loss': 21.01838379, 'acc': 0.66624489, 'grad\_norm': 23.78275299, 'learning\_rate': 9.969e-05, 'memory(GiB)': 0, 'train\_speed(iter/s)': 0.014436, 'epoch': 0.01, 'global\_step/max\_steps': '20/6492', 'percentage': '0.31%', 'elapsed\_time': '23m 5s', 'remaining\_time': '5d 4h 31m 21s'}
  6. Train:   0%|          | 30/6492 \[29:48<66:31:55, 37.07s/it\]{'loss': 20.372052, 'acc': 0.67057648, 'grad\_norm': 38.68712616, 'learning\_rate': 9.954e-05, 'memory(GiB)': 0, 'train\_speed(iter/s)': 0.016769, 'epoch': 0.01, 'global\_step/max\_steps': '30/6492', 'percentage': '0.46%', 'elapsed\_time': '29m 48s', 'remaining\_time': '4d 11h 2m 20s'}
  7. Train:   1%|          | 40/6492 \[36:00<62:35:16, 34.92s/it\]{'loss': 20.92590179, 'acc': 0.66806035, 'grad\_norm': 38.17282486, 'learning\_rate': 9.938e-05, 'memory(GiB)': 0, 'train\_speed(iter/s)': 0.018514, 'epoch': 0.01, 'global\_step/max\_steps': '40/6492', 'percentage': '0.62%', 'elapsed\_time': '36m 0s', 'remaining\_time': '4d 0h 48m 3s'}
  8. Train:   1%|          | 50/6492 \[42:23<60:03:47, 33.57s/it\]{'loss': 19.25114594, 'acc': 0.68523092, 'grad\_norm': 37.24295807, 'learning\_rate': 9.923e-05, 'memory(GiB)': 0, 'train\_speed(iter/s)': 0.01966, 'epoch': 0.02, 'global\_step/max\_steps': '50/6492', 'percentage': '0.77%', 'elapsed\_time': '42m 23s', 'remaining\_time': '3d 19h 1m 0s'}
  9. Train:   1%|          | 60/6492 \[47:45<54:01:41, 30.24s/it\]{'loss': 19.54689178, 'acc': 0.69552717, 'grad\_norm': 27.87804794, 'learning\_rate': 9.908e-05, 'memory(GiB)': 0, 'train\_speed(iter/s)': 0.020941, 'epoch': 0.02, 'global\_step/max\_steps': '60/6492', 'percentage': '0.92%', 'elapsed\_time': '47m 45s', 'remaining\_time': '3d 13h 19m 3s'}
  10. Train:   1%|          | 65/6492 \[50:38<64:46:05, 36.28s/it\]
复制代码
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。



欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/) Powered by Discuz! X3.4