在Window10 和 Ubuntu 24.04LTS 上 Ollama 在线或离线安装部署

        Ollama 是一个开源的大型语言模型（LLM）服务框架，旨在通过轻量化、跨平台的设计，简化大模型在本地情况中的部署与应用。其基于 Go 语言开发，通过 Docker 容器化技能封装模型运行情况，提供类似命令行工具的交互体验（如 pull、run 等指令），支持用户在 Windows、Linux、macOS 乃至树莓派等装备上快速启动 qwen3、deepseek 等主流开源模型。
        官方网址：https://ollama.com/

        开源仓库： https://github.com/ollama/ollama

        离线安装包下载地址：https://github.com/ollama/ollama/releases

1. #  ollama 常用命令：
2. ## 启动Ollama服务
3. ollama serve
4. ## 从模型文件创建模型
5. ollama create
6. ## 显示模型信息
7. ollama show
8. ## 运行模型
9. ollama run 模型名称 ( ollama run --verbose <模型名称> )
10. ## 从注册表中拉去模型
11. ollama pull 模型名称
12. ## 将模型推送到注册表
13. ollama push
14. ## 列出模型
15. ollama list
16. ## 复制模型
17. ollama cp
18. ## 删除模型
19. ollama rm 模型名称
20. ## 获取有关Ollama任何命令的帮助信息
21. ollama help

复制代码

一、Window10 安装 Ollama 并配置模型存放盘符


        Windows版本下载地址：https://ollama.com/download/OllamaSetup.exe

        Windows版本 Ollama 通常的 .exe 格式的安装程序，直接点击下载。然后，双击运行，根据提示一步一步安装即可。
1.1 修改模型安装位置（默认C盘）

        默认位置：C:\Users\%username%\.ollama\models 。如果你的C盘磁盘容量不够，可以修改情况变量，在“新建体系变量”窗口中，输入变量名OLLAMA_MODELS，变量值为你希望的模型存储路径（比方F:\ollama\models）。重启电脑后即刻生效。

二、在 Ubuntu24.04 LTS 上 Ollama 在线安装部署

        选择合适自己的主机的安装包，查看体系架构：lscpu ；如果是 x86_64 （Intel/AMD）：下载 ollama-linux-amd64.tgz ；如果你的体系是 ARM64 架构：ollama-linux-arm64.tgz 。

        在线命令安装（需要机子能访问互联网）：

1. curl -fsSL https://ollama.com/install.sh | sh

复制代码

1. # 启动ollama
2.  systemctl start ollama
3. # 查询ollama状态
4.  systemctl status ollama
5. # 重启服务
6.  systemctl daemon-reload
7.  systemctl restart ollama
9. # 启用开机自启动
10. systemctl enable ollama

复制代码

三、在 Ubuntu24.04 LTS 上 Ollama 离线安装部署

        选择合适自己的主机的安装包，查看体系架构：lscpu ；如果是 x86_64 （Intel/AMD）：下载 ollama-linux-amd64.tgz ；如果你的体系是 ARM64 架构：ollama-linux-arm64.tgz 。

1. # 将下载好的安装包进行解压，解压到/usr，解压命令：
2. sudo tar -C /usr -xzf ollama-linux-amd64.tgz
4. # 然后为解压的文件添加权限：
5. sudo chmod +x /usr/bin/ollama
7. # 创建 ollama 用户组和用户：
8. sudo useradd -r -s /bin/false -m -d /data/ollama ollama

复制代码

参数表明：
• -r：创建体系用户。
• -s /bin/false：禁止该用户登录。
• -d /data/ollama：指定用户主目录（存放模型文件）

1. # 创建系统文件并配置信息：
2. sudo vim /etc/systemd/system/ollama.service
4. # 配置信息如下：
6. [Unit]
7. Description=Ollama Service
8. After=network-online.target
9. [Service]
10. ExecStart=/usr/bin/ollama serve
11. User=ollama
12. Group=ollama
13. Restart=always
14. RestartSec=3
15. # 自定义端口
16. Environment="OLLAMA_HOST=0.0.0.0:11434"
17. #代表让ollama能识别到第几张显卡
18. Environment="CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7"
19. #这几张卡均衡使用
20. Environment="OLLAMA_SCHED_SPREAD=1" 
21. #模型一直加载, 不自动卸载
22. Environment="OLLAMA_KEEP_ALIVE=-1" 
23. #配置跨域请求
24. Environment="OLLAMA_ORIGINS=*"
25. #配置OLLAMA的模型存放路径，默认路径是/usr/share/ollama/.ollama/models/
26. Environment="OLLAMA_MODELS=/data/ollama/.ollama/models"
27. [Install]
28. WantedBy=default.target

复制代码

完成之后，实行命令：

1. # 启动ollama
2.  systemctl start ollama
3. # 查询ollama状态
4.  systemctl status ollama
5. # 重启服务
6.  systemctl daemon-reload
7.  systemctl restart ollama
9. # 启用开机自启动
10.  systemctl enable ollama

复制代码

查看 ollama 是否安装成功，查看版本：

1. ollama -version

复制代码

四、利用 Docker 安装 ollama

1. # 拉取 ollama 的镜像，拉取命令：
2. docker pull ollama/ollama
4. # 拉取完成后，需要创建容器来运行 ollama，如果你电脑没有 GPU，则使用cpu版本命令：
6. docker run -dit --name ollama11434 -p 11434:11434 ollama/ollama
7. # 用 GPU 版本(需要显卡与容器驱动支持)，命令如下：
9. docker run -dit --name ollama11434 --gpus all -p 11434:11434 ollama/ollama
11. # 参数：-p 11436:11434 将容器的 11434 端口映射到宿主机的 11436 端口
13. # 创建好容器后，需要进入 Docker 容器，进入容器后，执行ollama相关命令即可
15. docker exec -it ollama11434 bash

复制代码

--------------------------------------
没有自由的秩序和没有秩序的自由，同样具有破坏性。

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。