【大语言模型_5】xinference部署embedding模型和rerank模型

一、安装xinference

1. pip install xinference

复制代码

二、启动xinference

1. ./xinference-local  --host=0.0.0.0  --port=5544

复制代码

三、注册本地模型

1. 1、注册embedding模型
2. curl -X POST "http://localhost:5544/v1/models" \
3. -H "Content-Type: application/json" \
4. -d '{
5.   "model_type": "embedding",
6.   "model_name": "bce-embedding-base_v1",  
7.   "model_uid": "bce-embedding-base_v1",   
8.   "model_path": "/root/embed_rerank/bce-embedding-base_v1/"
9. }'
11. 验证：
12. curl -X POST "http://localhost:5544/v1/embeddings" \
13. -H "Content-Type: application/json" \
14. -d '{
15.   "model": "bce-embedding-base_v1",
16.   "input": ["需要嵌入的文本1", "这是第二个句子"]
17. }'
21. 2、注册rerank模型
23. curl -X POST "http://localhost:5544/v1/models" \
24. -H "Content-Type: application/json" \
25. -d '{
26.   "model_type": "rerank",              
27.   "model_name": "bce-reranker-base_v1",     
28.   "model_uid": "bce-reranker-base_v1",   
29.   "model_path": "/root/embed_rerank/bce-reranker-base_v1"
30. }'
32. 验证
33. curl -X POST "http://localhost:5544/v1/rerank" \
34. -H "Content-Type: application/json" \
35. -d '{
36.   "model": "bge-reranker-v2-m3",
37.   "query": "What is Python?",
38.   "documents": [
39.     "Python is a programming language.",
40.     "Java is another language.",
41.     "Python is used for web development."
42.   ]
43. }'
46. 3、执行./xinference list 查看运行模型

复制代码

四、删除模型

1. curl -X DELETE "http://localhost:5544/v1/models/bge-reranker-v2-m3"

复制代码

五、备注

1、在cpu运行

• 服务器有显卡但是选择用cpu加载
  

             启动xinference之前设置
              export CUDA_VISIBLE_DEVICES=""

• 服务器无显卡会自动在cpu加载模型
  

2、在gpu运行

启动服务器前设置情况变量
export CUDA_VISIBLE_DEVICES=""

1. curl -X POST "http://localhost:5544/v1/models" \
2. -H "Content-Type: application/json" \
3. -d '{
4.   "model_type": "embedding",
5.   "model_name": "bce-embedding-base_v1",  
6.   "model_uid": "bce-embedding-base_v1",   
7.   "model_path": "/root/zml/embed_rerank/bce-embedding-base_v1/"
8.   "gpu_idx": 1
9.   "n_gpu" : 1
10. }'
13. 备注：
14. gpu_idx :选用的显卡index
15. n_gpu:选定的显卡总张数

复制代码

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。