linux 安装 Ollama 框架(附教程)

打印 上一主题 下一主题

主题 860|帖子 860|积分 2582

概述

Ollama 是一款旨在简化大语言模型(LLM)本地部署的工具,支持 Windows、Linux 和 MacOS 系统。它提供了一个用户友好的环境,让开发者可以轻松地运行和调优如 Qwen、Llama 等超过1700种的大语言模型。
焦点上风


  • 多平台兼容性:无缝适配主流操纵系统。
  • 丰富的模型库:内置了大量预训练模型,直接从官网下载即可利用。
  • 个性化配置:通过 modelfile 文件调解模型参数,实现对天生内容的精细控制。
  • 自定义模型支持:允许导入第三方 ggml 格式的模型,或转换其他格式的模型至 ggml。
  • 高性能推理:优化了多GPU环境下的并行处理能力,提升推理速率。
Ollama 的设计降低了大语言模型的利用门槛,特殊得当希望快速构建 AI 应用或针对特定任务举行模型优化的开发者。
官方资源


  • 下载页面:Ollama 下载
  • 官方网站:Ollama 官方主页
  • 源代码堆栈:Ollama GitHub
快速安装指南

对于 Linux 用户,Ollama 提供了一键安装脚本,使得安装过程变得极为轻便。以下是详细的安装步骤:

  • 执行一键安装
    1. curl -fsSL https://ollama.com/install.sh | sh
    复制代码
  • 启动 Ollama 服务
    1. ollama serve
    复制代码
如果遇到权限题目(例如提示需要 sudo 权限),发起下载离线安装包以避免权限限制。可以从 GitHub 发布页 获取对应系统的安装包,并按照以下步骤操纵:

  • 下载离线安装包
    访问发布页,选择适用于您系统的版本下载。
  • 解压文件
    1. tar -xzvf ./ollama-linux-amd64.tgz
    复制代码
  • 启动 Ollama 服务
    1. ./bin/ollama serve
    2. &
    复制代码
为了确保 ollama 下令可以在任何位置被调用,需要将其路径添加到系统的 PATH 环境变量中。这可以通过编辑您的 shell 配置文件(如 .bashrc 或 .zshrc)来完成。
  1. echo 'export PATH=$PATH:/home/ollama/bin' >> ~/.bashrc
  2. echo 'export OLLAMA_KEEP_ALIVE=12h' >> ~/.bashrc
  3. echo 'export OLLAMA_HOST=0.0.0.0:11434' >> ~/.bashrc
  4. echo 'export OLLAMA_MODELS=/data/ollama/models' >> ~/.bashrc
  5. source ~/.bashrc
复制代码
现在,您可以直接在终端中利用 ollama 下令来管理和运行模型,例如:
  1. ollama run llama3.1:8b
复制代码
以上步骤将帮助您顺利完成 Ollama 的安装与配置,开始探索大语言模型的天下。
如何系统的去学习大模型LLM ?

大模型期间,火爆出圈的LLM大模型让步伐员们开始重新评估自己的本事。 “AI会取代那些行业?”“谁的饭碗又将不保了?”等题目热议不断。
事实上,抢你饭碗的不是AI,而是会利用AI的人。
继科大讯飞、阿里、华为等巨头公司发布AI产物后,很多中小企业也连续出场!超高年薪,挖掘AI大模型人才! 如今大厂老板们,也更倾向于会AI的人,普通步伐员,还有应对的机会吗?
与其焦虑……

不如成为「把握AI工具的技能人」,究竟AI期间,谁先实验,谁就能占得先机!
但是LLM相干的内容很多,现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学,学习成本和门槛很高。
针对全部自学遇到困难的同砚们,我帮各人系统梳理大模型学习脉络,将这份 LLM大模型资料 分享出来:包括LLM大模型书籍、640套大模型行业陈诉、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等,

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

x
回复

使用道具 举报

0 个回复

倒序浏览

快速回复

您需要登录后才可以回帖 登录 or 立即注册

本版积分规则

用多少眼泪才能让你相信

金牌会员
这个人很懒什么都没写!

标签云

快速回复 返回顶部 返回列表