开源模子应用落地-DeepSeek-R1-Distill-Qwen-7B与vllm实现推理加快的正确姿 ...

打印 上一主题 下一主题

主题 976|帖子 976|积分 2928

一、前言

     在推理模子的应用浪潮中,我们不但关注模子给出的终极答案,更渴望相识答案背后的推理逻辑。vLLM 为推理模子提供了强盛的支持,好比 DeepSeek R1 系列模子,不但能给出最闭幕论,还能展示推理的步骤。
     本文将带你探讨如何使用 vLLM 清晰出现推理过程。
<hr> 二、术语

2.1. Docker

     是一个开源的容器化平台,允许开发者将应用及其依赖打包成轻量级、可移植的容器。这些容器可以在任何支持 Docker 的环境中运行,从而确保应用在不同环境中的同等性。Docker 提供了简化的开发、测试和摆设流程,使得应用的交付更加高效和灵活,同时也支持微服务架构的实现。通过隔离和资源管理,Docker 使得应用的扩展和维护变得更加便捷。
2.2. vLLM

     vLLM是一个开源的大模子推理加快框架,通过PagedAttention高效地管理attention中缓存的张量,实现了比HuggingFace Transformers高14-24倍的吞吐量。
2.3. DeepSeek-R1-Distill-Qwen-7B

     是一个由DeepSeek开发的模子,它是通过蒸馏技术将Qwen-7B大型模子的一部分知识英华提取出

免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。
回复

使用道具 举报

0 个回复

倒序浏览

快速回复

您需要登录后才可以回帖 登录 or 立即注册

本版积分规则

宝塔山

金牌会员
这个人很懒什么都没写!
快速回复 返回顶部 返回列表