1. 安装 ollama
1.1 下载并安装
官网 https://ollama.com/
Linux安装下令 https://ollama.com/download/linux
- curl -fsSL https://ollama.com/install.sh | sh
复制代码
安装乐成截图
3. 开放外网访问
- 1、首先停止ollama服务:systemctl stop ollama
- 2、修改ollama的service文件:/etc/systemd/system/ollama.service
- 在[Service]下边增加一行:Environment="OLLAMA_HOST=0.0.0.0:8080",端口根据实际情况修改
- 3、重载daemon文件 systemctl daemon-reload
- 4、启动ollama服务 systemctl start ollama
- Ollama在windows环境中如何支持通过IP来访问接口
- 1、首先停止ollama服务的允许。由于windows下安装的ollama不是一个标准的windows service,所以只能直接杀掉两个ollama进程。
- 2、为当前windows系统添加环境变量:电脑-属性-高级系统设置-环境变量
- 变量:OLLAMA_HOST,值:0.0.0.0:11434
- 3、关掉已打开的命令行窗口,打开新命令行,用ollama serve或者ollama start来启动ollama服务,此时ollama服务在启动时将读取环境变量中的OLLAMA_HOST,支持IP端口访问
复制代码
4. 修改模子存储位置
- Windows环境
- 环境变量-系统变量-新建
- 变量名:OLLAMA_MODELS
- 变量值:D:\Ollama
- Linux环境默认存储路径为: /usr/share/ollama/.ollama/models
- 假如我要将下载存储路径修改为 /data/ollama
- #步骤一:创建目录 sudo mkdir /data/ollama
-
- #步骤二:将目标路径的所属用户和组改为root
- sudo chown -R ollama:ollama /data/ollama
-
- #步骤三:将其文件权限更换为777
- sudo chmod -R 777 /data/ollama
-
- #步骤四:打开ollama.service文件
- sudo vi /etc/systemd/system/ollama.service
-
- #步骤五:进行修改并添加环境(注意路径要改成自己设置的, 其它的默认, 此处仅添加了 Environment="OLLAMA_MODELS=/data/ollama"
- Environment="OLLAMA_HOST=0.0.0.0:11434")
- [Unit]
- Description=Ollama Service
- After=network-online.target
- [Service]
- ExecStart=/usr/local/bin/ollama serve
- User=ollama
- Group=ollama
- Restart=always
- RestartSec=3
- Environment="PATH=/home/hum/.local/bin:/home/hum/anaconda3/bin:/home/hum/anaconda3/condabin:/home/hum/anaconda3/bin:/usr/local/sbin:/usr/local/bi
- n:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:/snap/bin"
- Environment="OLLAMA_MODELS=/data/ollama"
- Environment="OLLAMA_HOST=0.0.0.0:11434"
- [Install]
- WantedBy=default.target
- #步骤六:
- 重载daemon文件 sudo systemctl daemon-reload
- 启动ollama服务 sudo systemctl start ollama
复制代码
2. 摆设deepseek模子 deepseek-r1:1.5b
- ollama run deepseek-r1:1.5b
复制代码 显得比力弱
3. 当地摆设 chatbox 接入 ollama
Chatbox AI: Your AI Copilot, Best AI Client on any device, Free Download
4. 使用
5. 配景进程将别的几个版本下载下来
- cd /data/ollama
- nohup ollama pull deepseek-r1:671b > d0.log 2>&1 &
- nohup ollama pull deepseek-r1:14b > d14.log 2>&1 &
- nohup ollama pull deepseek-r1:32b > d32.log 2>&1 &
- nohup ollama pull deepseek-r1:70b > d70.log 2>&1 &
复制代码
免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。 |