ubuntu本地摆设llama3大模型

打印 上一主题 下一主题

主题 987|帖子 987|积分 2961

安装大模型

起首必要安装curl:
   sudo apt install curl
  然后安装 ollama,可以去ollama.com复制下载下令:
   curl -fsSL https://ollama.com/install.sh | sh
  

然后就是启动ollama服务:
   ollama serve
  

出现这个说明已经运行,然后必要修改ollama端口:
   sudo nano /etc/systemd/system/ollama.service
  在[service]末了面加上两行:
   Environment=“OLLAMA_HOST=0.0.0.0”
Environment=“OLLAMA_ORIGINS=*”
  

ctrl+s保存,ctrl+x退出。用cat下令看一下:
   cat /etc/systemd/system/ollama.service
  ok,没问题的话。重新加载systemd守护进程并启用Ollama服务:
   sudo systemctl daemon-reload
sudo systemctl restart ollama
sudo systemctl stop ollama #关闭服务
sudo systemctl start ollama #启动服务
  运行llama8b大模型:
   ollama run llama3:8b
  等待下载完成:

试一试:

假如要装其他模型,可以在这里搜刮:
然后选下载量高的模型,点下载,复制对应指令运行即可:

安装 ChatBox

安装Web UI必要docker。这里直接安装ChatBox:
下载ubuntu版本,后缀是.AppImage。下载完了,进入下载的文件夹,打开终端,赋予文件执行权限
   chmod +x Chatbox-1.3.15-x86_64.AppImage
  直接运行
   ./Chatbox-1.3.15-x86_64.AppImage
  

点开始设置,然后模型选ollama,就可以看到下面的界面了:
选择llama3:8b模型,点保存即可。
然后点新对话,或者just chat:

anythingLLM

chatBox我试了下,没有RAG,就相当于没有本地知识库,所以换anythingLLM。
可以在 anythingLLM官网 查看怎样下载,这里使用非docker方式,下令行输入:
   curl -fsSL https://s3.us-west-1.amazonaws.com/public.useanything.com/latest/installer.sh | sh
  
安装完的APP位于$HOME/AnythingLLMDesktop,你可以通过脚本启动:
   ~/AnythingLLMDesktop/start
  
然后get started,选ollama:

然后一起点 -> ,可能必要填一下邮箱,自己写一下工作区的名字,如我叫embeddedWorkSpace。别的设置可以在这个按钮上完成:
新建一个文档,作为知识库:
不导入文档举行测试:
现在开始导入知识库:

其中第三步是当你点完2后,会弹出一个按钮Move to Workspace,你点一下就会已往了:

再问一下试一试:

假如你必要修改好比使用什么向量数据库,你可以在这边配置:

接入QQ群

原来qq群打算用到go-cqhttp,不过看官方说接口被封死了,然后腾讯推出NTQQ可以用来弄:QQ机器人快速注册指南
起首要去注册好qq机器人,然后根据 git教程 安装qq机器人开发工具botpy:
   pip install --upgrade pip #更新一下pip
sudo pip install qq-botpy
#sudo pip install qq-bot --upgrade #这个是SDK
  下载botpy:
   git clone https://github.com/tencent-connect/botpy
  进入botpy文件夹,配置依赖
   cd ./botpy
sudo pip install -r requirements.txt # 安装依赖的pip包
pre-commit install # 安装格式化代码的钩子
  先确保安装了pytest:
   sudo pip install pytest
  然后可以运行测试案例了,报错:
  1. .....
  2. class CeilTimeout(async_timeout.timeout):
  3. E   TypeError: function() argument 'code' must be code, not str
复制代码
更新一下aiohttp:
   sudo pip install --upgrade aiohttp
  报错
  1. ....
  2. ERROR: qq-bot 0.8.5 has requirement aiohttp<3.8.0,>=3.6.0, but you'll have aiohttp 3.9.5 which is incompatible.
  3. Installing collected packages: async-timeout, aiohttp
  4. ....
复制代码
版本太高了,这里我必要安装3.8以下版本,3.6及以上版本
   sudo pip install “aiohttp<3.8.0”
sudo pip install “aiohttp>=3.6.0”
  查看版本,确保版本没问题
   pip freeze | grep aiohttp
  参考

AnythingLLM Docs
Llama3 中文Llama3 中文版本地环境搭建和摆设实战ollama版
  创造将来知识管理新篇章:Ollama与AnythingLLM联手打造个人与企业的安全知识库!
QQ机器人快速注册指南
  Ubuntu系统下摆设大语言模型:Ollama和OpenWebUI实现各大模型的人工智能自由
WSL安装使用Ollama
手把手教你快速摆设Ollama与大模型
怎样将 Chatbox 连接到远程 Ollama 服务:逐步指南

免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

x
回复

使用道具 举报

0 个回复

倒序浏览

快速回复

您需要登录后才可以回帖 登录 or 立即注册

本版积分规则

干翻全岛蛙蛙

金牌会员
这个人很懒什么都没写!
快速回复 返回顶部 返回列表