qidao123.com技术社区-IT企服评测·应用市场

标题: 在Window10 和 Ubuntu 24.04LTS 上 Ollama 在线或离线安装部署 [打印本页]
作者: tsx81428    时间: 2025-5-6 15:35
标题: 在Window10 和 Ubuntu 24.04LTS 上 Ollama 在线或离线安装部署
        Ollama 是一个开源的大型语言模型（LLM）服务框架，旨在通过轻量化、跨平台的设计，简化大模型在本地情况中的部署与应用。其基于 Go 语言开发，通过 Docker 容器化技能封装模型运行情况，提供类似命令行工具的交互体验（如 pull、run 等指令），支持用户在 Windows、Linux、macOS 乃至树莓派等装备上快速启动 qwen3、deepseek 等主流开源模型。
        官方网址：https://ollama.com/

        开源仓库： https://github.com/ollama/ollama

        离线安装包下载地址：https://github.com/ollama/ollama/releases

  1. #  ollama 常用命令：
  2. ## 启动Ollama服务
  3. ollama serve
  4. ## 从模型文件创建模型
  5. ollama create
  6. ## 显示模型信息
  7. ollama show
  8. ## 运行模型
  9. ollama run 模型名称 ( ollama run --verbose <模型名称> )
  10. ## 从注册表中拉去模型
  11. ollama pull 模型名称
  12. ## 将模型推送到注册表
  13. ollama push
  14. ## 列出模型
  15. ollama list
  16. ## 复制模型
  17. ollama cp
  18. ## 删除模型
  19. ollama rm 模型名称
  20. ## 获取有关Ollama任何命令的帮助信息
  21. ollama help
复制代码
一、Window10 安装 Ollama 并配置模型存放盘符


        Windows版本下载地址：https://ollama.com/download/OllamaSetup.exe

        Windows版本 Ollama 通常的 .exe 格式的安装程序，直接点击下载。然后，双击运行，根据提示一步一步安装即可。
1.1 修改模型安装位置（默认C盘）

        默认位置：C:\Users\%username%\.ollama\models 。如果你的C盘磁盘容量不够，可以修改情况变量，在“新建体系变量”窗口中，输入变量名OLLAMA_MODELS，变量值为你希望的模型存储路径（比方F:\ollama\models）。重启电脑后即刻生效。



二、在 Ubuntu24.04 LTS 上 Ollama 在线安装部署

        选择合适自己的主机的安装包，查看体系架构：lscpu ；如果是 x86_64 （Intel/AMD）：下载 ollama-linux-amd64.tgz ；如果你的体系是 ARM64 架构：ollama-linux-arm64.tgz 。

        在线命令安装（需要机子能访问互联网）：
  1. curl -fsSL https://ollama.com/install.sh | sh
复制代码
  1. # 启动ollama
  2.  systemctl start ollama
  3. # 查询ollama状态
  4.  systemctl status ollama
  5. # 重启服务
  6.  systemctl daemon-reload
  7.  systemctl restart ollama
  9. # 启用开机自启动
  10. systemctl enable ollama
复制代码
三、在 Ubuntu24.04 LTS 上 Ollama 离线安装部署

        选择合适自己的主机的安装包，查看体系架构：lscpu ；如果是 x86_64 （Intel/AMD）：下载 ollama-linux-amd64.tgz ；如果你的体系是 ARM64 架构：ollama-linux-arm64.tgz 。

  1. # 将下载好的安装包进行解压，解压到/usr，解压命令：
  2. sudo tar -C /usr -xzf ollama-linux-amd64.tgz
  4. # 然后为解压的文件添加权限：
  5. sudo chmod +x /usr/bin/ollama
  7. # 创建 ollama 用户组和用户：
  8. sudo useradd -r -s /bin/false -m -d /data/ollama ollama
复制代码
参数表明：
• -r：创建体系用户。
• -s /bin/false：禁止该用户登录。
• -d /data/ollama：指定用户主目录（存放模型文件）
  1. # 创建系统文件并配置信息：
  2. sudo vim /etc/systemd/system/ollama.service
  4. # 配置信息如下：
  6. [Unit]
  7. Description=Ollama Service
  8. After=network-online.target
  9. [Service]
  10. ExecStart=/usr/bin/ollama serve
  11. User=ollama
  12. Group=ollama
  13. Restart=always
  14. RestartSec=3
  15. # 自定义端口
  16. Environment="OLLAMA_HOST=0.0.0.0:11434"
  17. #代表让ollama能识别到第几张显卡
  18. Environment="CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7"
  19. #这几张卡均衡使用
  20. Environment="OLLAMA_SCHED_SPREAD=1" 
  21. #模型一直加载, 不自动卸载
  22. Environment="OLLAMA_KEEP_ALIVE=-1" 
  23. #配置跨域请求
  24. Environment="OLLAMA_ORIGINS=*"
  25. #配置OLLAMA的模型存放路径，默认路径是/usr/share/ollama/.ollama/models/
  26. Environment="OLLAMA_MODELS=/data/ollama/.ollama/models"
  27. [Install]
  28. WantedBy=default.target
复制代码
完成之后，实行命令：
  1. # 启动ollama
  2.  systemctl start ollama
  3. # 查询ollama状态
  4.  systemctl status ollama
  5. # 重启服务
  6.  systemctl daemon-reload
  7.  systemctl restart ollama
  9. # 启用开机自启动
  10.  systemctl enable ollama
复制代码
查看 ollama 是否安装成功，查看版本：
  1. ollama -version
复制代码

四、利用 Docker 安装 ollama

  1. # 拉取 ollama 的镜像，拉取命令：
  2. docker pull ollama/ollama
  4. # 拉取完成后，需要创建容器来运行 ollama，如果你电脑没有 GPU，则使用cpu版本命令：
  6. docker run -dit --name ollama11434 -p 11434:11434 ollama/ollama
  7. # 用 GPU 版本(需要显卡与容器驱动支持)，命令如下：
  9. docker run -dit --name ollama11434 --gpus all -p 11434:11434 ollama/ollama
  11. # 参数：-p 11436:11434 将容器的 11434 端口映射到宿主机的 11436 端口
  13. # 创建好容器后，需要进入 Docker 容器，进入容器后，执行ollama相关命令即可
  15. docker exec -it ollama11434 bash
复制代码
--------------------------------------
没有自由的秩序和没有秩序的自由，同样具有破坏性。


免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。



欢迎光临 qidao123.com技术社区-IT企服评测·应用市场 (https://dis.qidao123.com/) Powered by Discuz! X3.4