一分钱不花！当地摆设Google最强开源AI大模子Gemma教程
半个多月前，谷歌搞了一波突然打击，毫无预兆地发布了新一代AI模子Gemma，并宣称这是举世性能最强大的轻量级开源系列模子。
颠末实测，固然Gemma的使用体验不如ChatGPT-4等成熟的闭源大模子，但是当地运行模式还是有其存在的意义的，对于私密性要求较强的用户，也可以在断网的环境下当地加载运行，不消担心干系信息走漏等等。
先容
Ollama：是一款可以或许在当地快速搭建大型模子的工具，使用户可以或许轻松举行模子摆设和使用。
- 官网：https://ollama.com/
- GitHub：https://github.com/ollama/ollama
Gemma：是由谷歌开源的一种大型模子。
open-webui：是一个良好的大型模子 Web 用户界面，简化了模子摆设和管理。
- GitHub：https://github.com/open-webui/open-webui
开始搭建（完备视频）
- 哔哩哔哩：https://www.bilibili.com/video/BV13m411k7yx/
第一步：前期预备
选择体系版本（短期实验可以使用腾讯云的竞价实例）
由于大型模子须要 GPU 举行运算，发起选择支持 GPU 显卡的服务器体系版本。本文选择的是 Ubuntu 22.04。
端口题目：
留意要放开相应端口，本次实验以放开全部端口示例
初次登录须要安装相应驱动，稍等即可
安装完成！
第二步：摆设 Ollama
- 使用以下下令安装 Ollama：
- curl -fsSL https://ollama.com/install.sh | sh
速率大概由于网络慢一些，等候即可
- 安装完成后，编辑 Ollama 的服务设置文件：
- sudo vi /etc/systemd/system/ollama.service
- 在 `ExecStart=/usr/local/bin/ollama serve` 上面插入：
- `Environment="OLLAMA_HOST=0.0.0.0:11434"`
- 开放 API 端口（默认端口为 11434），并重启服务器。
- 访问 ip:11434 查察 Ollama 是否乐成摆设。
第三步：摆设 Gemma
运行以下下令(这里以7b为例)： ollama run gemma:7b
等候摆设完成后即可开始使用 Gemma，这里是交互式使用，接下来继承安装openweb-ui
第四步：摆设 open-webui
可以选择新建一个终端，运行的gemma不要停
- 摆设 Docker（根据差别体系安装 Docker）。
- sudo apt install docker.io
- 运行以下下令安装 open-webui（请留意镜像地点，这是使用的是速率快的国内源）：
- sudo docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.nju.edu.cn/open-webui/open-webui:main
- 启动容器(启动之后须要稍等1-2分钟，下载须要文件)：
- sudo docker run -d ghcr.nju.edu.cn/open-webui/open-webui
4. 访问 IP:3000 进入 open-webui，注册账号（第一次注册的账号默以为管理员）。
美满启动
- 点击头像进入管理员面板，将新用户默认改为用户（按需修改），省去用户须要稽核的流程
美满摆设！
作为轻量化模子的存在8G显存即可运行7B模子，2B模子更是不须要显卡就可以流通运行
留意：
颠末实测，固然Gemma的使用体验不如ChatGPT-4等成熟的闭源大模子，但是当地运行模式还是有其存在的意义的，对于私密性要求较强的用户，也可以在断网的环境下当地加载运行，不消担心干系信息走漏等等。
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！qidao123.com:ToB企服之家，中国第一个企服评测及软件市场,开放入驻,技术点评得现金 |
发表于 2026-2-25 20:19:16