本地摆设 deepseek-r1 1.5B方法-ubuntu20.04 python3.10 pycharm虚拟情况
1. 情况安装ubuntu20.04
python3.10
pycharm虚拟情况
2.拉取代码
虚拟情况下安装vllm：
pip install vllm ubuntu下令窗口安装 sudo apt install git-lfs
初始化 Git LFS 安装 Git LFS 后，你需要虚拟情况下令窗口初始化它：git lfs install
拉取代码
git lfs install git clone https://huggingface.co/deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B
假如大文件没有拉取乐成，在仓库路径动手动拉取大文件：git lfs pull
假如大文件还是没有拉取乐成，直接复制后放在精确位置即可。
3、 使用 vLLM 启动推理服务
现在，我们可以使用 vLLM 启动推理服务。
vllm serve /home/terrycao/PycharmProjects/deepseek/DeepSeek-R1-Distill-Qwen-1.5B \
> --tensor-parallel-size 1 \
> --max-model-len 8192 \
> --enforce-eager \
> --gpu-memory-utilization 0.7 \
> --swap-space 4 \
> --disable-log-stats
4、订阅服务
import requests
import json
# 设置 API 服务器地址
url = "http://0.0.0.0:8000/v1/completions"
# 构造请求数据
data = {
"model": "/home/terrycao/PycharmProjects/deepseek/DeepSeek-R1-Distill-Qwen-1.5B",
"prompt": "你的身份是一个名为DeepSeek的大型语言模型，请用中文介绍一下你自己。",
"max_tokens": 100,
"temperature": 0.1,
"top_p": 0.9
}
# 发送 POST 请求
response = requests.post(url, json=data)
# 打印完整的返回数据
print("Full Response:", response.json())
# 检查是否有生成的文本
result = response.json()
if "choices" in result and len(result["choices"]) > 0:
print("Generated Text:", result["choices"]["text"])
else:
print("Error: No text generated") 5、结果
/home/terrycao/PycharmProjects/deepseek/venv/bin/python /home/terrycao/PycharmProjects/deepseek/test.py
Full Response: {'id': 'cmpl-4e5f61fa865349df844980cdfd7d4d69', 'object': 'text_completion', 'created': 1740559537, 'model': '/home/terrycao/PycharmProjects/deepseek/DeepSeek-R1-Distill-Qwen-1.5B', 'choices': [{'index': 0, 'text': '请以简短的句子回答。\n</think>\n\n我是DeepSeek-R1，一个由深度求索公司开辟的大型语言模型。我擅长通过思考来帮您解答复杂的数学，代码和逻辑推理等理工类题目。', 'logprobs': None, 'finish_reason': 'stop', 'stop_reason': None, 'prompt_logprobs': None}], 'usage': {'prompt_tokens': 17, 'total_tokens': 66, 'completion_tokens': 49, 'prompt_tokens_details': None}}
Generated Text: 请以简短的句子回答。
</think>
我是DeepSeek-R1，一个由深度求索公司开辟的大型语言模型。我擅长通过思考来帮您解答复杂的数学，代码和逻辑推理等理工类题目。
Process finished with exit code 0
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]