服务器部署开源大模型完备教程 Ollama+Gemma+open-webui

现在开源的大模型实在挺多的，今天搭建Gemma这个谷歌开源的大模型，但是你想搭建别的只要你看完你都会了。
介绍

Ollama：一款可以让你在当地快速搭建大模型的工具
官网：https://ollama.com/
github：https://github.com/ollama/ollama
Gemma：谷歌开源的大模型
open-webui：非常不错的大模型webui
github：https://github.com/open-webui/open-webui
开始搭建

第一步选择系统版本：

因为大模型需要的GPU来运算，当然实在CPU也可以，但我们今天讲的是要用GPU来跑的，以是我们在购买服务器的时候，一定要选择GPU服务器，然后看看服务器的系统版本对GPU显卡支持的更好。
这里我选择的是阿里的Alibaba Cloud Linux 3.2104 LTS 64位
第二步部署Ollama：

部署ollama非常简单直接输入：
curl -fsSL https://ollama.com/install.sh | sh

等待安装完成后，就如下图：

你还可以输入：ollama 看看一些根本操纵
因为我们需要开放API，ollama的开放端口是11434，我们在服务器商那边打开11434端口，然后直接ip:11434进行访问。
这时候我就发现了ollama的一个坑，我们在成功启动ollama的时候就已经直接占用了11434端口，但是我们直接访问发现是无法访问的，通过防火墙各种排查发现是ollama的配置文件里面出现了问题，解决方法如下：
直接输入：
sudo vi /etc/systemd/system/ollama.service

按i进入插入模式，在ExecStart=/usr/local/bin/ollama serve上面插入：Environment=”OLLAMA_HOST=0.0.0.0:11434″
按ESC再输入**:wq**回车保存

我们直接重启服务器，重启后输入：ollama

然后在打开ip:11434就可以直接访问了

如许就是成功了
第三步部署：Gemma

gemma是靠ollama来部署的，以是我们直接输入：
ollama run gemma

耐烦等待部署完成，如下图：

完成后我们可以直接进行提问，这就好啦！
第四步部署：open-webui

因为open-webui是在Docker里面部署的，以是我们需要先部署Docker，因为我是用的阿里云的Alibaba Cloud Linux 3系统，以是我直接是按照阿里云的官方教程来的，发起你们也是按照自己的系统去安装Docker，我就不过多的说了。
安装open-webui直接输入：
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
如果你直接输入的话你就入坑了，如果你的服务器是国内的话，直接下载ghcr.io的镜像简直就是折磨，下一天都不一定下的完，以是我们需要改一下，把ghcr.io改成ghcr.nju.edu.cn再输入：
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.nju.edu.cn/open-webui/open-webui:main

如许就嘎嘎的快，像上面如许就成功了
我们再输入：
sudo docker images
查看一下当前的容器，然后再输入我们要启动的容器：
docker run -d ghcr.nju.edu.cn/open-webui/open-webui
如下图：

我们再把open-webui的端口3000去打开一下，直接访问IP:3000就可以啦

注册一个账号进去

在设置里面看看ollama连接状态是成功的就好了，直接用起来吧！

---

## 关于AI大模型学习指南

作为一名热心肠的互联网老兵，我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和本领了 。我已将重要的AI大模型资料包括AI大模型入门学习头脑导图、佳构AI大模型学习册本手册、视频教程、实战学习等录播视频免费分享出来。

一、全套AGI大模型学习门路
AI大模型期间的学习之旅：从底子到前沿，把握人工智能的核心技能！

二、640套AI大模型陈诉合集
这套包含640份陈诉的合集，涵盖了AI大模型的理论研究、技能实现、行业应用等多个方面。无论您是科研职员、工程师，还是对AI大模型感兴趣的爱好者，这套陈诉合集都将为您提供宝贵的信息和启示。

三、AI大模型经典PDF籍
随着人工智能技能的飞速发展，AI大模型已经成为了当今科技领域的一大热门。这些大型预练习模型，如GPT-3、BERT、XLNet等，以其强盛的语言理解和天生本领，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

四、AI大模型贸易化落地方案

2024最新版CSDN大礼包：《AGI大模型学习资源包》免费分享，微信扫码免费领取~

这份完备版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】


免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。