基于 LlamaFactory 的 LoRA 微调模型支持 vllm 批量推理的实现 ...

背景

LlamaFactory 的 LoRA 微调功能非常便捷，微调后的模型，没有直接支持批量的 vllm 推理。
LlamaFactory 现在支持通过 VLLM API 举行部署，调用 API 时的相应速率，仍旧没有vllm批量推理的速率快。
如果模型是通过 LlamaFactory 微调的，为了确保数据集的一致性，建议在推理时也使用 LlamaFactory 提供的封装数据集。
简介

我把下述代码贡献到了 LlamaFactory 的 scripts/vllm_infer.py下，如今已经举行了更新，建议大家使用最新的scripts/vllm_infer.py，会更方便一点。
下述的代码是最初的版本。
在上述的背景下，我们使用 LlamaFactory 原生数据集，支持 lora的 vllm 批量推理。
完整代码如下：

1. import json
2. import os
3. from typing import List
5. from vllm import LLM, SamplingParams
6. from vllm.lora.request import LoRARequest
8. from llamafactory.data import get_dataset, get_template_and_fix_tokenizer
9. from llamafactory.extras.constants import IGNORE_INDEX
10. from llamafactory.hparams import get_train_args
11. from llamafactory.model import load_tokenizer
13. def vllm_infer():
14.     model_args, data_args, training_args, finetuning_args, generating_args = (
15.         get_train_args()
16.     )
17.     tokenizer = load_tokenizer(model_args)["tokenizer"]
18.     template = get_template_and_fix_tokenizer(tokenizer, data_args)
20.     eval_dataset = get_dataset(
21.         template, model_args, data_args, training_args, finetuning_args.stage, tokenizer
22.     )["eval_dataset"]
24.     prompts = [item["input_ids"] for item in eval_dataset]
25.     prompts = tokenizer.batch_decode(prompts, skip_special_tokens=False)
27.     labels = [
28.         list(filter(lambda x: x != IGNORE_INDEX, item["labels"]))
29.         for item in eval_dataset
30.     ]
31.     labels = tokenizer.batch_decode(labels, skip_special_tokens=True)
33.     sampling_params = SamplingParams(
34.         temperature=generating_args.temperature,
35.         top_k=generating_args.top_k,
36.         top_p=generating_args.top_p,
37.         max_tokens=2048,
38.     )
40.     if model_args.adapter_name_or_path:
41.         if isinstance(model_args.adapter_name_or_path, list):
42.             lora_requests = []
43.             for i, _lora_path in enumerate(model_args.adapter_name_or_path):
44.                 lora_requests.append(
45.                     LoRARequest(f"lora_adapter_{i}", i, lora_path=_lora_path)
46.                 )
47.         else:
48.             lora_requests = LoRARequest(
49.                 "lora_adapter_0", 0, lora_path=model_args.adapter_name_or_path
50.             )
52.         enable_lora = True
53.     else:
54.         lora_requests = None
55.         enable_lora = False
57.     llm = LLM(
58.         model=model_args.model_name_or_path,
59.         trust_remote_code=True,
60.         tokenizer=model_args.model_name_or_path,
61.         enable_lora=enable_lora,
62.     )
64.     outputs = llm.generate(prompts, sampling_params, lora_request=lora_requests)
66.     if not os.path.exists(training_args.output_dir):
67.         os.makedirs(training_args.output_dir, exist_ok=True)
69.     output_prediction_file = os.path.join(
70.         training_args.output_dir, "generated_predictions.jsonl"
71.     )
73.     with open(output_prediction_file, "w", encoding="utf-8") as writer:
74.         res: List[str] = []
75.         for text, pred, label in zip(prompts, outputs, labels):
76.             res.append(
77.                 json.dumps(
78.                     {"prompt": text, "predict": pred.outputs[0].text, "label": label},
79.                     ensure_ascii=False,
80.                 )
81.             )
82.         writer.write("\n".join(res))

复制代码

vllm.yaml 示例:

1. ## model
2. model_name_or_path: qwen/Qwen2.5-7B-Instruct
3. # adapter_name_or_path: lora模型
5. ### method
6. stage: sft
7. do_predict: true
8. finetuning_type: lora
10. ### dataset
11. dataset_dir: 数据集路径
12. eval_dataset: 数据集
13. template: qwen
14. cutoff_len: 1024
15. max_samples: 1000
16. overwrite_cache: true
17. preprocessing_num_workers: 16
19. ### output
20. output_dir: output/
21. overwrite_output_dir: true
23. ### eval
24. predict_with_generate: true

复制代码

步调调用:

1. python vllm_infer.py vllm.yaml

复制代码

步调运行速率：

1. Processed prompts: 100%|█| 1000/1000 [01:56<00:00,  8.60it/s, est. speed input: 5169.35 toks/s, output: 811.57

复制代码

总结

本方案在原生 LlamaFactory 数据集的底子上，支持 LoRA 的 vllm 批量推理，能提升了推理效率。
进一步阅读

如果微调模型后，发现前文使用vllm模型批量结果不太好，可以参考与使用下述文章：

• 基于 LLamafactory 的异步API高效调用实现与速率对比.https://blog.csdn.net/sjxgghg/article/details/144176645
  
  亲测，上述文章的 LLamafactory 部署模型，然后使用 Async API 调用后举行评估发现结果会好一些。
  

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。