一、登录OpenBayes举行注册登录
通过以下链接，新用户注册登录 OpenBayes ， 即可得到 四个小时 RTX 4090免费利用时长 ！！
注册链接:https://openbayes.com/console/signup?r=zzl99_WBHM
二、创建容器
模型练习=》创建容器=》填写容器名称=》下一步
选择一台4090，2.1-gpu,python-3.10,cudu-12.1，然后执行
三、配置情况
起首需要下载llama-factory源码，执行如下命令
- #下载
- !git clone https://github.com/hiyouga/LLaMA-Factory.git
-
- cd LLaMA-Factory
- #可选的额外依赖项：metrics、deepspeed、bitsandbytes、vllm、galore、badam、gptq、awq、aqlm、qwen、modelscope、quality
- pip install -e .[torch,metrics]
- #安装web模块
- pip install gradio==4.10
- #安装Modelscope
- pip install modelscope==1.15.0
进入下载好的llama-factory目次，执行以下命令启动web-ui页面
- CUDA_VISIBLE_DEVICES=0 GRADIO_SHARE=0 GRADIO_SERVER_PORT=8080 llamafactory-cli webui
然后访问旁边的API地点，就可以看到llama-factory web-ui的页面了。
第一次进入可能是英文的，可以通过左上角的下拉框切换一下。
然后再模型名称那里选择llama3的模型，比方我这里选的是llama3-8b-chinese-chat的模型，
然后模型路径那里会出来模型在Huging上面对应的id。
拉倒下面点执行就会自动下载模型。
有的时候OpenBayes 会访问huging face超时，所以需要手动下载模型。
没有梯子的话可以去魔搭上面去下载，执行下面的命令
- import torch
- from modelscope import snapshot_download, AutoModel, AutoTokenizer
- import os
- #https://huggingface.co/meta-llama
- #https://modelscope.cn/search?page=2&search=LLM-Research&type=model
- #model_dir = snapshot_download('LLM-Research/Meta-Llama-3-8B-Instruct', cache_dir='/openbayes/home/model', revision='master')
- #model_dir = snapshot_download('LLM-Research/Llama3-8B-Chinese-Chat', cache_dir='/openbayes/home/model')
- model_dir = snapshot_download('LLM-Research/Meta-Llama-3-8B', cache_dir='/openbayes/home/model')
然后选择一个你要练习的数据集
下面的参数可以自己调解，最后拉到最下面，可以点击预览来查察微调的具体命令。
大要格式如下
- llamafactory-cli train \
- --stage sft \
- --do_train True \
- --model_name_or_path /openbayes/home/model/Llama3-8B-Chinese-Chat \
- --preprocessing_num_workers 16 \
- --finetuning_type lora \
- --template llama3 \
- --flash_attn auto \
- --dataset_dir data \
- --dataset huanhuan \
- --cutoff_len 1024 \
- --learning_rate 5e-05 \
- --num_train_epochs 3.0 \
- --max_samples 100000 \
- --per_device_train_batch_size 2 \
- --gradient_accumulation_steps 8 \
- --lr_scheduler_type cosine \
- --max_grad_norm 1.0 \
- --logging_steps 5 \
- --save_steps 100 \
- --warmup_steps 0 \
- --optim adamw_torch \
- --packing False \
- --report_to none \
- --output_dir saves/LLaMA3-8B-Chinese-Chat/lora/train_2024-06-21-09-35-29 \
- --fp16 True \
- --plot_loss True \
- --ddp_timeout 180000000 \
- --include_num_input_tokens_seen True \
- --lora_rank 8 \
- --lora_alpha 16 \
- --lora_dropout 0 \
- --lora_target all
开始练习以后，可以实时在左侧查察练习的进度以及loss的情况
总结
在情况配好的情况下，利用llama-factory还是很轻易的。而OpenBayes提供了一个基础的配置情况，开箱即用，就目前利用来看，个人体验很友好。
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
|
