FastGPT连接OneAI接入网络模型

FastGPT连接OneAI接入网络模型

1.准备工作

本文档参考FastGPT的官方文档
主机ip接入模型主机名称体系192.168.37.200文心一言fastgptcentos7 **摆设架构图 **

本架构是用docker-compose举行摆设

1. 安装docker
2. [root@fastgpt ~]# yum install -y yum-utils device-mapper-persistent-data lvm2
3. [root@fastgpt ~]# yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
4. [root@fastgpt ~]# sed -i 's+download.docker.com+mirrors.aliyun.com/docker-ce+' /etc/yum.repos.d/docker-ce.repo
5. [root@fastgpt ~]# yum -y install docker-ce
6. [root@fastgpt ~]# systemctl enable --now docker
7. [root@fastgpt ~]# systemctl disable --now firewalld
8. [root@fastgpt ~]# setenforce 0
10. 安装docker-compose
11. [root@fastgpt ~]# curl -L https://github.com/docker/compose/releases/download/v2.20.3/docker-compose-`uname -s`-`uname -m` -o /usr/local/bin/docker-compose
12.   % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
13.                                  Dload  Upload   Total   Spent    Left  Speed
14.   0     0    0     0    0     0      0      0 --:--:-- --:--:-- --:--:--     0
15. 100 56.6M  100 56.6M    0     0   168k      0  0:05:44  0:05:44 --:--:--  225k
16. [root@fastgpt ~]# chmod +x /usr/local/bin/docker-compose
17. [root@fastgpt ~]# docker -v
18. Docker version 26.1.4, build 5650f9b
19. [root@fastgpt ~]# docker-compose -v
20. Docker Compose version v2.20.3

复制代码

2.开始摆设

2.1下载 docker-compose.yml

1. [root@fastgpt ~]# mkdir fastgpt
2. [root@fastgpt ~]# cd fastgpt/
3. [root@fastgpt fastgpt]# curl -O https://raw.githubusercontent.com/labring/FastGPT/main/projects/app/data/config.json
4.   % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
5.                                  Dload  Upload   Total   Spent    Left  Speed
6. 100  5109  100  5109    0     0    236      0  0:00:21  0:00:21 --:--:--  1122
7. [root@fastgpt fastgpt]# curl -o docker-compose.yml https://raw.githubusercontent.com/labring/FastGPT/main/files/docker/docker-compose-pgvector.yml
8.   % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
9.                                  Dload  Upload   Total   Spent    Left  Speed
10. 100  5577  100  5577    0     0   9613      0 --:--:-- --:--:-- --:--:--  9598
11. [root@fastgpt fastgpt]# ls
12. config.json  docker-compose.yml

复制代码

2.2修改docker-compose.yml里的参数

有些容器的镜像可能很难拉下来，这时可以配一个加速器或者把docker-compose.yml里的镜像源换成国内的阿里源

1. [root@fastgpt fastgpt]# docker-compose up -d
2. [root@fastgpt fastgpt]# sleep 10
3. [root@fastgpt fastgpt]# docker restart oneapi    #重启一次oneapi(由于OneAPI的默认Key有点问题，不重启的话会提示找不到渠道，临时手动重启一次解决，等待作者修复)

复制代码

3.打开FastGPT添加模型

可以通过ip:3000访问FastGPT，默认账号为root密码为1234。
安装乐成之后

访问时注意关防火墙
我们访问上去是不能用的，需要让oneapi看成一个跳板来连接外部模型
3.1打开OneAPI

通过ip:3001访问OneAPI，默认账户为root密码是123456

3.2接入网络模型

以文心一言为例
创建一个渠道

注意在填写密钥的时间一定要是apikey|SecretKey的格式，我由于只填写的apikey导致不停测试不了花了我1个小时时间排错
测试一下

创建一个令牌

创建好令牌之后就可以获取OneAPI的APIkey了

获取到key之后回到docker-compose.yml中来

1. - OPENAI_BASE_URL=http://192.168.37.200:3001/v1   #这里填写OneAPI的访问地址，并在后面加上/v1
2. - CHAT_API_KEY=sk-jp8hCd3nJL0Z0fdg2b5d9aB3B1Bd4f8686Ae9fF62eA06eB1  #这里填写我们刚刚获取的APIkey

复制代码

然后再修改config.json文件

1. "llmModels": [
2.     ...
3.     {
4.       "model": "ERNIE-4.0-8K", // 这里的模型需要对应 One API 的模型
5.       "name": "文心一言", // 对外展示的名称
6.       "avatar": "/imgs/model/ernie.svg", // 模型的logo
7.       "maxContext": 16000, // 最大上下文
8.       "maxResponse": 4000, // 最大回复
9.       "quoteMaxToken": 13000, // 最大引用内容
10.       "maxTemperature": 1.2, // 最大温度
11.       "charsPointsPrice": 0,
12.       "censor": false,
13.       "vision": false, // 是否支持图片输入
14.       "datasetProcess": false, // 是否设置为知识库处理模型
15.       "usedInClassify": true, // 是否用于问题分类
16.       "usedInExtractFields": true, // 是否用于字段提取
17.       "usedInToolCall": true, // 是否用于工具调用
18.       "usedInQueryExtension": true, // 是否用于问题优化
19.       "toolChoice": true, // 是否支持工具选择
20.       "functionCall": false, // 是否支持函数调用
21.       "customCQPrompt": "", // 自定义文本分类提示词（不支持工具和函数调用的模型
22.       "customExtractPrompt": "", // 自定义内容提取提示词
23.       "defaultSystemChatPrompt": "", // 对话默认携带的系统提示词
24.       "defaultConfig":{}  // 请求API时，挟带一些默认配置（比如 GLM4 的 top_p）
25.     }
26.     ...
27. ],

复制代码

添加模型向量

1. "vectorModels": [
2.   ......
3.     {
4.       "model": "text-embedding-ada-002",
5.       "name": "Embedding-2",
6.       "avatar": "/imgs/model/openai.svg",
7.       "charsPointsPrice": 0,
8.       "defaultToken": 700,
9.       "maxToken": 3000,
10.       "weight": 100
11.     },
12.   ......
13. ]

复制代码

3.3重启服务

1. [root@fastgpt fastgpt]# docker-compose down && docker-compose up -d

复制代码

这里就可以选择文心一言举行对话了
我们尝试举行一次对话

这样我们就接入好了网络模型

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。