论坛
潜水/灌水快乐,沉淀知识,认识更多同行。
ToB圈子
加入IT圈,遇到更多同好之人。
朋友圈
看朋友圈动态,了解ToB世界。
ToB门户
了解全球最新的ToB事件
博客
Blog
排行榜
Ranklist
文库
业界最专业的IT文库,上传资料也可以赚钱
下载
分享
Share
导读
Guide
相册
Album
记录
Doing
搜索
本版
文章
帖子
ToB圈子
用户
免费入驻
产品入驻
解决方案入驻
公司入驻
案例入驻
登录
·
注册
只需一步,快速开始
账号登录
立即注册
找回密码
用户名
Email
自动登录
找回密码
密码
登录
立即注册
首页
找靠谱产品
找解决方案
找靠谱公司
找案例
找对的人
专家智库
悬赏任务
圈子
SAAS
IT评测·应用市场-qidao123.com
»
论坛
›
人工智能
›
人工智能
›
LLaMA-Factory环境搭建与运行示例
LLaMA-Factory环境搭建与运行示例
雁过留声
金牌会员
|
2025-3-11 17:57:58
|
显示全部楼层
|
阅读模式
楼主
主题
934
|
帖子
934
|
积分
2802
一、LLaMA-Factory
LLaMA-Factory项目
二、LLaMA-Factory环境搭建
1.底子环境搭建
底子环境必要
环境推荐版本CUDA12.1Python3.11PyTorch2.4.0 具体安装可参考我的另一篇文章fairseq-0.12.2多机练习环境搭建。
2.安装 LLaMA-Factory依靠
下载LLaMA-Factory项目:
git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory
复制代码
安装torch版本
pip3 install -e ".[torch]" -i https://pypi.tuna.tsinghua.edu.cn/simple
复制代码
修改不正确的环境
pip3 install torch==2.4.0 torchvision==0.19.0 torchaudio==2.4.0 --index-url https://download.pytorch.org/whl/cu121 -i https://pypi.tuna.tsinghua.edu.cn/simple
复制代码
三、LLaMA-Factory运行示例
1.使用下令行接口
设置文件
llama3.yaml
model_name_or_path: meta-llama/Meta-Llama-3-8B-Instruct
template: llama3
复制代码
阐明:
model_name_or_path为模型路径
运行下令行接口
CUDA_VISIBLE_DEVICES=0 llamafactory-cli chat examples/inference/llama3.yaml
复制代码
阐明:
CUDA_VISIBLE_DEVICES为指定运行显卡号
运行结果
2.使用浏览器界面
设置文件
llama3.yaml
model_name_or_path: meta-llama/Meta-Llama-3-8B-Instruct
template: llama3
复制代码
阐明:
model_name_or_path为模型路径
使用浏览器界面
CUDA_VISIBLE_DEVICES=0 GRADIO_SERVER_PORT=8123 llamafactory-cli chat examples/inference/llama3.yaml
复制代码
阐明:
CUDA_VISIBLE_DEVICES为指定运行显卡号
GRADIO_SERVER_PORT为方位的端口
背景表现结果
浏览器结果
浏览器输入ip:port,port更换为GRADIO_SERVER_PORT的端口
3.使用练习方式批量推理
设置文件
llama3.yaml
### model
model_name_or_path: meta-llama/Meta-Llama-3-8B-Instruct
### method
stage: sft
do_predict: true
finetuning_type: full
### dataset
eval_dataset: test
template: llama3
cutoff_len: 4096
overwrite_cache: true
preprocessing_num_workers: 16
### output
output_dir: output
overwrite_output_dir: true
### eval
per_device_eval_batch_size: 1
predict_with_generate: true
do_sample: true
temperature: 0.6
top_p: 0.9
num_beams: 5
复制代码
阐明:
model_name_or_path为模型路径
eval_dataset为测试数据集名称
output_dir为输出文件路径
per_device_eval_batch_size为batch,一次批处理的数据数量
do_sample为使用sample推理
num_beams为beam巨细
测试数据集预备
data/dataset_info.json
{
"test": {
"file_name": "test.json"
},
"test1": {
"file_name": "test1.json"
}
}
复制代码
阐明:
key
为数据名称,eval_dataset使用该字段
file_name为数据文件路径
使用练习方式批量推理
CUDA_VISIBLE_DEVICES=0 llamafactory-cli train llama3.yaml
复制代码
阐明:
CUDA_VISIBLE_DEVICES为指定运行显卡号
运行结果
免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。
本帖子中包含更多资源
您需要
登录
才可以下载或查看,没有账号?
立即注册
x
回复
使用道具
举报
0 个回复
倒序浏览
返回列表
快速回复
高级模式
B
Color
Image
Link
Quote
Code
Smilies
您需要登录后才可以回帖
登录
or
立即注册
本版积分规则
发表回复
回帖并转播
回帖后跳转到最后一页
发新帖
回复
雁过留声
金牌会员
这个人很懒什么都没写!
楼主热帖
XShell免费版的安装配置教程以及使用教 ...
阿里云体验有奖:如何将 PolarDB-X 与 ...
day02-代码实现01
【如何优化她】教你如何定位不合理的SQ ...
微服务大行其道的今天,Service Mesh是 ...
十年技术进阶路,让我明白了三件要事( ...
常用类-LocalDate、LocalTime、LocalDa ...
Elasticsearch 入门实战(5)--Java API ...
无需支付688苹果开发者账号,xcode13打 ...
嵌入式数据库简介
标签云
运维
CIO
存储
服务器
浏览过的版块
边缘计算
linux
网络安全
开源技术
Postrge-SQL技术社区
虚拟化与私有云
运维.售后
备份
Java
鸿蒙
快速回复
返回顶部
返回列表