Cube-Studio：开源大模型全链路一站式中台

  开源项目，欢迎star哦，https://github.com/data-infra/cube-studio
一款真正意义的 LLMOps 框架

LLMOps（Large Language Model Operations）是一个涵盖了大型语言模型（如GPT系列）开发、摆设、维护和优化的一整套实践和流程，而不仅仅是大模型的应用层。
简介

Cube-Studio是由腾讯音乐开源的一款云原生一站式AI中台，覆盖呆板学习/深度学习/LLM大模型，开发、练习、推理、应用，全链路。
github地址：https://github.com/data-infra/cube-studio
该项目如今已是国内最火的开源算法全链路中台，上千家企业私有化摆设和项目交付，非常得当数据算法架构团队搭建公司级AI中台，以及toB企业算法中台类项目交付。
LLMOps

cube-studio除了支持原有mlops全链路能力外，新版本增加了很多大模型相关的链路能力。
1. 支持AIHub形式摆设40+常用开源大模型：
模型市场中已集成了40+常用开源大模型，包括chatglm4、llama3、qwen2、baichuan2、gemma等，还有openjourney、stable diffusion等文生图模型，并且支持开源模型一键摆设，一键开发，一键微调，快速直观地感受大模型。

提示：除了大模型，另外还有400+开源图文音通例模型。
2. 多层次支持大模型练习微调技术栈：
• 支持tensorflow、pytorch、paddlejob、mindspore、mxnet等分布式多机多卡练习框架；
• 支持deepspeed、megatron、colossalai、horovod、mpi等分布式加速框架；
• 同时支持RDMA网络协议，可以利用底层IB交换机或roce网络；
• 硬件适配英伟达，以及海光、华为、寒武纪、天数智芯等国产设备，支持vgpu。

提示：除了多机多卡练习，也包含spark/ray/volcano等分布式计算框以及特征处理，文本处理，模型处理等环节。
3. 支持自有数据集一键微调摆设：
支持chatglm3、chatglm4、qwen2、baichuan2、llama3等一键微调，集成了llama factory 支持100+LLMs的微调方案；并支持主动发布为推理服务，vllm推理加速，形成openai流接口。

pipeline一键练习推理摆设，非常得当不太认识大模型微调算法的同学，使命流完成后可以直接对接到其他的openai接口利用的产品中。

4. 通过智能体构建，构建智能人机交互
• 支持对接外部llm服务厂商接口
• 支持对接内部预练习模型或微调模型llm服务接口
• 支持通过prompt构建领域专家和添加私有知识库
• 支持文生图，语音多模态交互
• 支持支持对接企业oa软件呆板人

5. 大模型主动化标注
标注是AI中经常出现的使命，cube-studio中集成了开源标注平台label studio，支持图/文/音/多模态/大模型多种类型标注功能，用户管理，工作使命分发，对接数据集，支持标注数据导入；对接pipeline，支持标注结果主动化练习；对接aihub模型市场，支持主动化标注，只需将服务接口配置到label studio中，即可实现通过大模型来主动化标注。

提示：除了支持大模型的主动化标注，也支持普通模型图文音的主动化标注。
详细操纵
利用参考wiki：https://github.com/data-infra/cube-studio/wiki

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。