Xinference安装及摆设大模子
1. Xinference 先容Xorbits Inference (Xinference) 是一个开源平台，用于简化各种 AI 模子的运行和集成。借助 Xinference，您可以利用任何开源 LLM、嵌入模子和多模态模子在云端或当地环境中运行推理，并创建强大的 AI 应用，简单的讲就是摆设大模子的应用，至于场景嘛，就是当我们本身利用当地模子的时候，切换起来方便。
2. 环境阐明
**系统：**Ubuntu 22.04.4 LTS
**python版本：**Python 3.10.14
本文利用conda假造python环境
# 创建一个环境
conda create -n Xinference python=3.10.14
# 激活环境
conda activate Xinference
3. 安装Xinference环境
1> 设置清华源
目的是为了快一点，如果你要是能直接练到邪术网络，那也可以不用设置！
ps:本文都加了-i https:xxx的参数，目的很明确，就是怕网络不通，设置好的请忽略。
# 配置
python -m pip install --upgrade pip
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
# 单次使用清华源进行升级
python -m pip install -i https://pypi.tuna.tsinghua.edu.cn/simple --upgrade pip
2> 安装大模子需要利用到的全部依赖
# 直接执行
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple "xinference"
**3> 测试一下能不能用PyTorch **
python -c "import torch; print(torch.cuda.is_available())"
要是出现什么module没有了的问题，没有谁人你就下载谁人,因为新激活的环境touch肯定没有，以是需要下载
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple torch
4> 可能会遇到在安装"xinference"的时候出现什么Llama.cpp的包下载不下来的问题
这里你就别在折腾了，直接到官网下载whl文件，然后通过当地安装的方式就可以！
**Llama.cpp地点：**https://github.com/abetlen/llama-cpp-python/releases
版本呢，有很多，看报错信息需要谁人版本
cp310是python版本3.10别搞错了，本文安装的是这个：llama_cpp_python-0.2.88-cp310-cp310-linux_x86_64.whl
# 假设llama_cpp_python-0.2.88-cp310-cp310-linux_x86_64.whl在当前目录下
pip install llama_cpp_python-0.2.88-cp310-cp310-linux_x86_64.whl
4. 启动
在以上操纵精确的安装完成后，就可以执行当地启动了
# 前台
xinference-local --host 0.0.0.0 --port 9997
# 后台
nohup xinference-local --host 0.0.0.0 --port 9997 & > output.log
5.Xinference安装完毕，打开前台
找个欣赏器，然后输入你摆设的服务器的ip地点加端口
https://i-blog.csdnimg.cn/direct/08a9ad75f14f403b8fdedc7aedd9fd68.png#pic_center
6.大模子下载
大模子摆设需要你先下载个模子，本文摆设的是glm-4-9b-chat
**魔塔社区地点：**https://www.modelscope.cn/models/zhipuai/glm-4-9b-chat
[*]安装modelscope模块
pip install modelscope
[*]写一个install.py文件
vim install.py
#模型下载
from modelscope import snapshot_download
model_dir = snapshot_download('zhipuai/glm-4-9b-chat',local_dir='/opt/chatglm-9b')
[*]给权限然后下载，然后等待下载完成即可
chmod +x install.py
python install.py
7.打开Xinference，然后进行摆设
1> 按照操纵次序点一下
https://i-blog.csdnimg.cn/direct/6c656d7f81b14b03a866252be56699dc.png#pic_center
2> 然后有一些参数需要设置
**Model Engine：**摆设方式
Model Formate： 摆设格式
**Model Size：**模子的参数目大小，这里只有9b
**Quantization：**量化精度
**N-GPU：**选择利用第几个 GPU
[*]点开Optional Configuations，还有一些参数
**Model UID：**模子的名字，后续可能会用到哦，以是不能乱改
**GPU IDX：**GPU的序号数，有几个GPU从0开始排序，比如两个GPU，那就是0,1，我有4个,以是就0,1,2,3
**DownloadHub：**以及提前下载好了模子，以是选择NONE
**ModelPath：**模子地点，就是我们刚才下载的地点！/opt/chatglm-9b
https://i-blog.csdnimg.cn/direct/435a2399ac4448aaa6015468094f8a82.png#pic_center
然后点击下面的小火箭！刺溜一下！ok，如果退出了当前页面，那就代表摆设好了！
8.看看占用率
nvidia-smi
https://i-blog.csdnimg.cn/direct/05c7db3804674b79a6c35cf19bd9a2e7.png#pic_center
9.彩蛋！
xinference提供了标准的OpenAI接口，可以在：http://127.0.0.1:9997/docs摆设的/docs下查看
利用langchain调用一下，这个模子。
安装包
pip install langchain_openai
然后编写程序
from langchain_openai import ChatOpenAI
#
openai_api_base = 'http://127.0.0.1:9997/v1/'
# 说明model的值是上面部署模型的时候Model UID的值！错了就会找不到哦！
model = "glm-4-9b"
temperature = 1
openai_api_key = "EMPTY"
llm = ChatOpenAI(openai_api_base=openai_api_base,
model=model,
temperature=temperature,
openai_api_key=openai_api_base)
res = llm.invoke("""请问你原不原？""")
print(res.content)
>>> 原神启动！！！！
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]