在群晖上通过Docker摆设DB-GPT
https://img-blog.csdnimg.cn/direct/c05d96c68ce24bdb8d3db667f42c8be1.png最近一直有网友在后台私信，发的内容高度统一，只有背面 8 位数字不一样，都是 ＃22232 xxxxxxxx，有谁知道是什么意思吗？在我印象中，这是第二次这么大规模的发雷同的字符串了
什么是 DB-GPT ?
DB-GPT是一个开源的 AI 原生数据应用开发框架( AI Native Data App Development framework with AWEL(Agentic Workflow Expression Language) and Agents)。目标是构建大模型范畴的基础办法，通过开发多模型管理( SMMF)、Text2SQL 效果优化、RAG 框架以及优化、Multi-Agents 框架协作、AWEL (智能体工作流编排)等多种技术能力，让围绕数据库构建大模型应用更简单，更方便。
https://img-blog.csdnimg.cn/img_convert/7ba30a45214c14155913af9e05c9cf03.png
DB-GPT 支持原生对话
https://img-blog.csdnimg.cn/img_convert/e81e4f68b96c8298cfbb47f6c980089d.gif
也支持与数据对话
https://img-blog.csdnimg.cn/img_convert/e7f595d4e31d4e310c9db784176b891d.gif
还能与数据库、Excel 等对话，做数据分析，实现智能体、工作流等等
https://img-blog.csdnimg.cn/img_convert/6164d15c286d6229aec01c51d901f35a.png
媒介
在开始之前，老苏觉得应该先讲讲可能会碰到的题目。假如你觉得这些题目中存在你无法办理的，建议你看看就行了。假如对你来说这都不算事，那就开始我们今天的折腾之旅吧
[*]第一个题目：是网络题目。
假如你没有一个稳定的，科学的上网环境，不建议你继承折腾，因为镜像下载之后有 13G，老苏差不多下载了一整天。有一次都快下载完成了，突然又表现 EOF 错误
https://img-blog.csdnimg.cn/img_convert/b381850e19c90978cd7017061265765e.png
假如你平时下载个几百兆的镜像都不顺畅的情况下，就不要浪费时间去尝试了，这种感觉真的很让人抓狂
[*]第二个题目：git-lfs 的支持题目。
起首要了解下，什么是 git-lfs
Git LFS (Large File Storage） 是 Git 的扩展，是一个开源的 Git 大文件版本控制的办理方案和工具集。用于管理大文件和二进制文件，将它们存储在单独的 LFS 存储库中， 从而让 Git 存储库保持在一个可管理的规模。
如今很多包罗大模型的仓库都必须使用 git-lfs 才能把整个 git 仓库拉下来，老苏的机器是 DSM6.17 的，如今想安装 Git 套件都找不到了，之前下载的版本比力老了，肯定是不支持 git-lfs 的
https://img-blog.csdnimg.cn/img_convert/b7b9f369a41b9df7bf5060fb7c14ac9a.png
但 6.2 以上应该是没题目的
https://img-blog.csdnimg.cn/img_convert/cbd2c42d57f4b27c60c4904d4de0ce94.png
在不支持 git-lfs 的情况下，下载的大文件只有很小的尺寸，打开文件内容是下面如许的
version https://git-lfs.github.com/spec/v1
oid sha256:eaf5cb71c0eeab7db3c5171da504e5867b3f67a78e07bdba9b52d334ae35adb3
size 1302138752
关于 Git 套件的安装，可以参考老苏之前写的文章
文章传送门：MediaCMS在群晖中的安装
[*]第三个题目：磁盘空间题目。
前面讲了 Docker 镜像就 13G，加上 Embedding 模型差不多 3G，这照旧因为老苏的群晖上没有 GPU 资源，使用了代理模型的情况下
https://img-blog.csdnimg.cn/img_convert/f424310089f1c7815ea79e8a3e0fcd79.png
老苏的磁盘一下就吃紧了
https://img-blog.csdnimg.cn/img_convert/bc17b44760ac50b04ae54ba44671d63c.png
[*]第四个题目：API 服务题目。
因为机器没有 GPU，以是不能在本机上跑满足要求的大模型，最终用的是线上的模型，理论上 proxyllm 除了 openai 外，还支持 Moonshot，但不知道是老苏设置不正确照旧 bug ，反正就是不行，以是最终聚焦在了几个常用的 API 服务上
FreeGPT35 一直报错
{
"status": false,
"error": {
"message": "Error getting a new session, please try again later, if the issue persists, please open an issue on the GitHub repository.",
"type": "invalid_request_error"
}
}
FreeDuckDuckGo 也一样
{
"error": true,
"message": "empty response from server"
}
aurora 也不行
{
"code": 403,
"message": "failed to get chat requirements",
"param": {},
"type": "InitTurnStile_request_error"
}
厥后发现只有 GPT4Free 是 ok 的，当然也不完美，每次回答完成后，会用下面的输出，将之前的回答覆盖掉
LLMServer Generate Error, Please CheckErrorInfo.: RetryProviderError: RetryProvider failed: Cnote: ClientResponseError: 404, message='Not Found', url=URL('https://p1api.xjai.pro/freeapi/chat-process') Feedough: ClientResponseError: 403, message='Forbidden', url=URL('https://www.feedough.com/wp-admin/admin-ajax.php') OpenaiChat: CloudflareError: Response 403: Cloudflare detected ChatgptNext: ClientResponseError: 429, message='Too Many Requests', url=URL('https://chat.fstha.com/api/openai/v1/chat/completions') (error_code: 1)
文章传送门：在群晖上安装GPT4Free
最终测试发现，照旧基于 One API +kimi-free-api 最抱负，但必要在原来的渠道中，增加模型的名称为 gpt-3.5-turbo，缘故起因背面再说
https://img-blog.csdnimg.cn/img_convert/0caf821077b80708c517003fa71d682f.png
文章传送门：大模型接口管理和分发体系One API
谈天内容不会再出被错误覆盖了
https://img-blog.csdnimg.cn/img_convert/998124c63390235392a831b0b5d241cc.png
准备工作
在开始安装之前，我们必要做一些准备工作，好比先下载好镜像，究竟这是一个 13G 的各人伙，另外 Embedding 模型也必要提前下载
以下全部接纳命令行方式，必要用 SSH 客户端登录到群晖后执行
# 新建文件夹 dbgpt 和 子目录
mkdir -p /volume1/docker/dbgpt/data/models
# 进入 dbgpt 目录
cd /volume1/docker/dbgpt
# 进入 models 目录
cd data/models/
# 下载 Embedding 模型 (需要git lfs)
git clone https://huggingface.co/GanymedeNil/text2vec-large-chinese
# 下载镜像
docker pull eosphorosai/dbgpt:latest
https://img-blog.csdnimg.cn/img_convert/a0ba875148f342e353164de7c7840b72.png
假如不支持 git-lfs 的情况下，大文件只有 135 bytes
https://img-blog.csdnimg.cn/img_convert/fea3a8077b2e783a5813bbf9c4aa193e.png
着实没招的情况下，一个文件一个文件下载也不是不行
页:
[1]