开源模子应用落地-DeepSeek-R1-Distill-Qwen-7B与vllm实现推理加快的正确姿势(三)
一、前言在推理模子的应用浪潮中,我们不但关注模子给出的终极答案,更渴望相识答案背后的推理逻辑。vLLM 为推理模子提供了强盛的支持,好比 DeepSeek R1 系列模子,不但能给出最闭幕论,还能展示推理的步骤。
本文将带你探讨如何使用 vLLM 清晰出现推理过程。
<hr> 二、术语
2.1. Docker
是一个开源的容器化平台,允许开发者将应用及其依赖打包成轻量级、可移植的容器。这些容器可以在任何支持 Docker 的环境中运行,从而确保应用在不同环境中的同等性。Docker 提供了简化的开发、测试和摆设流程,使得应用的交付更加高效和灵活,同时也支持微服务架构的实现。通过隔离和资源管理,Docker 使得应用的扩展和维护变得更加便捷。
2.2. vLLM
vLLM是一个开源的大模子推理加快框架,通过PagedAttention高效地管理attention中缓存的张量,实现了比HuggingFace Transformers高14-24倍的吞吐量。
2.3. DeepSeek-R1-Distill-Qwen-7B
是一个由DeepSeek开发的模子,它是通过蒸馏技术将Qwen-7B大型模子的一部分知识英华提取出
免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。
页:
[1]