ubuntu本地摆设llama3大模型
安装大模型起首必要安装curl：
sudo apt install curl
然后安装 ollama，可以去ollama.com复制下载下令：
curl -fsSL https://ollama.com/install.sh | sh
https://i-blog.csdnimg.cn/direct/990d7ad75a0c4762abb8c2988b2c3b9c.png
然后就是启动ollama服务：
ollama serve
https://i-blog.csdnimg.cn/direct/9e2ecd8e70024c6cb19ac2a6dccede40.png
出现这个说明已经运行，然后必要修改ollama端口：
sudo nano /etc/systemd/system/ollama.service
在末了面加上两行：
Environment=“OLLAMA_HOST=0.0.0.0”
Environment=“OLLAMA_ORIGINS=*”
https://i-blog.csdnimg.cn/direct/f83847838e334728b896ad0a9df31ba2.png
ctrl+s保存，ctrl+x退出。用cat下令看一下：
cat /etc/systemd/system/ollama.service
ok，没问题的话。重新加载systemd守护进程并启用Ollama服务：
sudo systemctl daemon-reload
sudo systemctl restart ollama
sudo systemctl stop ollama #关闭服务
sudo systemctl start ollama #启动服务
运行llama8b大模型：
ollama run llama3:8b
等待下载完成：
https://i-blog.csdnimg.cn/direct/04c017e09a9945e6a4a5ac5ed774ca96.png
试一试：
https://i-blog.csdnimg.cn/direct/8760e0973c6c4202a0c799fdb1d16f0d.png
假如要装其他模型，可以在这里搜刮：
https://i-blog.csdnimg.cn/direct/5266c7d869494c1b903f979ae8cc9f2e.jpeg然后选下载量高的模型，点下载，复制对应指令运行即可：
https://i-blog.csdnimg.cn/direct/46c40af66f684fd1a50b6e5c3d6f22d6.jpeg
安装 ChatBox
安装Web UI必要docker。这里直接安装ChatBox：
下载ubuntu版本，后缀是.AppImage。下载完了，进入下载的文件夹，打开终端，赋予文件执行权限
chmod +x Chatbox-1.3.15-x86_64.AppImage
直接运行
./Chatbox-1.3.15-x86_64.AppImage
https://i-blog.csdnimg.cn/direct/c877a8664b754dcf83de3c7df0085ba6.png
点开始设置，然后模型选ollama，就可以看到下面的界面了：
https://i-blog.csdnimg.cn/direct/bdf74bfc44f34361b0c375d978c448af.png选择llama3:8b模型，点保存即可。
然后点新对话，或者just chat：
https://i-blog.csdnimg.cn/direct/21041c095e4c4cc0a6701042357d3cfd.png
anythingLLM
chatBox我试了下，没有RAG，就相当于没有本地知识库，所以换anythingLLM。
可以在 anythingLLM官网 查看怎样下载，这里使用非docker方式，下令行输入：
curl -fsSL https://s3.us-west-1.amazonaws.com/public.useanything.com/latest/installer.sh | sh
https://i-blog.csdnimg.cn/direct/eae77829741c4915a0dc40cf84ab3865.png安装完的APP位于$HOME/AnythingLLMDesktop，你可以通过脚本启动：
~/AnythingLLMDesktop/start
https://i-blog.csdnimg.cn/direct/629f9c5540c848f1a3d15c41410c3e0d.jpeg然后get started，选ollama：
https://i-blog.csdnimg.cn/direct/8efe9d8c0a08456786a8c45e08a22888.jpeg
然后一起点 -> ,可能必要填一下邮箱，自己写一下工作区的名字，如我叫embeddedWorkSpace。别的设置可以在这个按钮上完成：
https://i-blog.csdnimg.cn/direct/301429e2081942e981f2e5b58a70fb11.jpeg新建一个文档，作为知识库：
https://i-blog.csdnimg.cn/direct/8fba206aa05e4992adc1d3f73042a24a.png不导入文档举行测试：
https://i-blog.csdnimg.cn/direct/75c401c276bc4839835d4cbbf322cd13.jpeg现在开始导入知识库：
https://i-blog.csdnimg.cn/direct/39a5f3ee9aa3462698ed06c6b15784fd.jpeg
https://i-blog.csdnimg.cn/direct/8c793dff962642bfb84d9ce90adc970c.jpeg其中第三步是当你点完2后，会弹出一个按钮Move to Workspace，你点一下就会已往了：
https://i-blog.csdnimg.cn/direct/7c15cbeb37ca4cf78987e61794168259.jpeg
再问一下试一试：
https://i-blog.csdnimg.cn/direct/68e5edc02194423aa9da0d115a0a46c7.jpeg
假如你必要修改好比使用什么向量数据库，你可以在这边配置：
https://i-blog.csdnimg.cn/direct/cdb13f3ab4a748e19b8975c10b4320e5.png
接入QQ群
原来qq群打算用到go-cqhttp，不过看官方说接口被封死了，然后腾讯推出NTQQ可以用来弄：QQ机器人快速注册指南
起首要去注册好qq机器人，然后根据 git教程 安装qq机器人开发工具botpy：
pip install --upgrade pip #更新一下pip
sudo pip install qq-botpy
#sudo pip install qq-bot --upgrade #这个是SDK
下载botpy:
git clone https://github.com/tencent-connect/botpy
进入botpy文件夹，配置依赖
cd ./botpy
sudo pip install -r requirements.txt # 安装依赖的pip包
pre-commit install # 安装格式化代码的钩子
先确保安装了pytest:
sudo pip install pytest
然后可以运行测试案例了,报错：
.....
class CeilTimeout(async_timeout.timeout):
E TypeError: function() argument 'code' must be code, not str
更新一下aiohttp：
sudo pip install --upgrade aiohttp
报错
....
ERROR: qq-bot 0.8.5 has requirement aiohttp<3.8.0,>=3.6.0, but you'll have aiohttp 3.9.5 which is incompatible.
Installing collected packages: async-timeout, aiohttp
....
版本太高了，这里我必要安装3.8以下版本,3.6及以上版本
sudo pip install “aiohttp<3.8.0”
sudo pip install “aiohttp>=3.6.0”
查看版本，确保版本没问题
pip freeze | grep aiohttp
参考
AnythingLLM Docs
Llama3 中文Llama3 中文版本地环境搭建和摆设实战ollama版
创造将来知识管理新篇章：Ollama与AnythingLLM联手打造个人与企业的安全知识库！
QQ机器人快速注册指南
Ubuntu系统下摆设大语言模型：Ollama和OpenWebUI实现各大模型的人工智能自由
WSL安装使用Ollama
手把手教你快速摆设Ollama与大模型
怎样将 Chatbox 连接到远程 Ollama 服务：逐步指南
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]