开源模子应用落地-DeepSeek-R1-Distill-Qwen-7B与vllm实现推理加快的正确姿 ...

一、前言

     在推理模子的应用浪潮中，我们不但关注模子给出的终极答案，更渴望相识答案背后的推理逻辑。vLLM 为推理模子提供了强盛的支持，好比 DeepSeek R1 系列模子，不但能给出最闭幕论，还能展示推理的步骤。
     本文将带你探讨如何使用 vLLM 清晰出现推理过程。
<hr> 二、术语

2.1. Docker

     是一个开源的容器化平台，允许开发者将应用及其依赖打包成轻量级、可移植的容器。这些容器可以在任何支持 Docker 的环境中运行，从而确保应用在不同环境中的同等性。Docker 提供了简化的开发、测试和摆设流程，使得应用的交付更加高效和灵活，同时也支持微服务架构的实现。通过隔离和资源管理，Docker 使得应用的扩展和维护变得更加便捷。
2.2. vLLM

     vLLM是一个开源的大模子推理加快框架，通过PagedAttention高效地管理attention中缓存的张量，实现了比HuggingFace Transformers高14-24倍的吞吐量。
2.3. DeepSeek-R1-Distill-Qwen-7B

     是一个由DeepSeek开发的模子，它是通过蒸馏技术将Qwen-7B大型模子的一部分知识英华提取出

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。