LLaMA-Factory环境搭建与运行示例

打印 上一主题 下一主题

主题 934|帖子 934|积分 2802

一、LLaMA-Factory

LLaMA-Factory项目
二、LLaMA-Factory环境搭建

1.底子环境搭建

底子环境必要
环境推荐版本CUDA12.1Python3.11PyTorch2.4.0 具体安装可参考我的另一篇文章fairseq-0.12.2多机练习环境搭建。
2.安装 LLaMA-Factory依靠


  • 下载LLaMA-Factory项目:
  1. git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git
  2. cd LLaMA-Factory
复制代码

  • 安装torch版本
  1. pip3 install -e ".[torch]" -i https://pypi.tuna.tsinghua.edu.cn/simple
复制代码

  • 修改不正确的环境
  1. pip3 install torch==2.4.0 torchvision==0.19.0 torchaudio==2.4.0 --index-url https://download.pytorch.org/whl/cu121 -i https://pypi.tuna.tsinghua.edu.cn/simple
复制代码
三、LLaMA-Factory运行示例

1.使用下令行接口


  • 设置文件llama3.yaml
  1. model_name_or_path: meta-llama/Meta-Llama-3-8B-Instruct
  2. template: llama3
复制代码
阐明:


  • model_name_or_path为模型路径

  • 运行下令行接口
  1. CUDA_VISIBLE_DEVICES=0 llamafactory-cli chat examples/inference/llama3.yaml
复制代码
阐明:


  • CUDA_VISIBLE_DEVICES为指定运行显卡号

  • 运行结果

2.使用浏览器界面


  • 设置文件llama3.yaml
  1. model_name_or_path: meta-llama/Meta-Llama-3-8B-Instruct
  2. template: llama3
复制代码
阐明:


  • model_name_or_path为模型路径

  • 使用浏览器界面
  1. CUDA_VISIBLE_DEVICES=0 GRADIO_SERVER_PORT=8123 llamafactory-cli chat examples/inference/llama3.yaml
复制代码
阐明:


  • CUDA_VISIBLE_DEVICES为指定运行显卡号
  • GRADIO_SERVER_PORT为方位的端口

  • 背景表现结果

  • 浏览器结果
    浏览器输入ip:port,port更换为GRADIO_SERVER_PORT的端口

3.使用练习方式批量推理


  • 设置文件llama3.yaml
  1. ### model
  2. model_name_or_path: meta-llama/Meta-Llama-3-8B-Instruct
  3. ### method
  4. stage: sft
  5. do_predict: true
  6. finetuning_type: full
  7. ### dataset
  8. eval_dataset: test
  9. template: llama3
  10. cutoff_len: 4096
  11. overwrite_cache: true
  12. preprocessing_num_workers: 16
  13. ### output
  14. output_dir: output
  15. overwrite_output_dir: true
  16. ### eval
  17. per_device_eval_batch_size: 1
  18. predict_with_generate: true
  19. do_sample: true
  20. temperature: 0.6
  21. top_p: 0.9
  22. num_beams: 5
复制代码
阐明:


  • model_name_or_path为模型路径
  • eval_dataset为测试数据集名称
  • output_dir为输出文件路径
  • per_device_eval_batch_size为batch,一次批处理的数据数量
  • do_sample为使用sample推理
  • num_beams为beam巨细

  • 测试数据集预备
    data/dataset_info.json
  1. {
  2.   "test": {
  3.     "file_name": "test.json"
  4.   },
  5.   "test1": {
  6.     "file_name": "test1.json"
  7.   }
  8. }
复制代码
阐明:


  • key为数据名称,eval_dataset使用该字段
  • file_name为数据文件路径

  • 使用练习方式批量推理
  1. CUDA_VISIBLE_DEVICES=0 llamafactory-cli train llama3.yaml
复制代码
阐明:


  • CUDA_VISIBLE_DEVICES为指定运行显卡号

  • 运行结果


免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

x
回复

使用道具 举报

0 个回复

倒序浏览

快速回复

您需要登录后才可以回帖 登录 or 立即注册

本版积分规则

雁过留声

金牌会员
这个人很懒什么都没写!
快速回复 返回顶部 返回列表