ToB企服应用市场:ToB评测及商务社交产业平台

标题: linux 安装 Ollama 框架（附教程） [打印本页]

作者: 用多少眼泪才能让你相信 时间: 8 小时前
标题: linux 安装 Ollama 框架（附教程）
概述

Ollama 是一款旨在简化大语言模型（LLM）本地部署的工具，支持 Windows、Linux 和 MacOS 系统。它提供了一个用户友好的环境，让开发者可以轻松地运行和调优如 Qwen、Llama 等超过1700种的大语言模型。
焦点上风

多平台兼容性：无缝适配主流操纵系统。
丰富的模型库：内置了大量预训练模型，直接从官网下载即可利用。
个性化配置：通过 modelfile 文件调解模型参数，实现对天生内容的精细控制。
自定义模型支持：允许导入第三方 ggml 格式的模型，或转换其他格式的模型至 ggml。
高性能推理：优化了多GPU环境下的并行处理能力，提升推理速率。

Ollama 的设计降低了大语言模型的利用门槛，特殊得当希望快速构建 AI 应用或针对特定任务举行模型优化的开发者。
官方资源

下载页面：Ollama 下载
官方网站：Ollama 官方主页
源代码堆栈：Ollama GitHub

快速安装指南

对于 Linux 用户，Ollama 提供了一键安装脚本，使得安装过程变得极为轻便。以下是详细的安装步骤：

执行一键安装：
1. curl -fsSL https://ollama.com/install.sh | sh
复制代码
启动 Ollama 服务：
1. ollama serve
复制代码

如果遇到权限题目（例如提示需要 sudo 权限），发起下载离线安装包以避免权限限制。可以从 GitHub 发布页获取对应系统的安装包，并按照以下步骤操纵：

下载离线安装包：
访问发布页，选择适用于您系统的版本下载。
解压文件：
1. tar -xzvf ./ollama-linux-amd64.tgz
复制代码
启动 Ollama 服务：
1. ./bin/ollama serve
3. &
复制代码

为了确保 ollama 下令可以在任何位置被调用，需要将其路径添加到系统的 PATH 环境变量中。这可以通过编辑您的 shell 配置文件（如 .bashrc 或 .zshrc）来完成。

echo 'export PATH=$PATH:/home/ollama/bin' >> ~/.bashrc
echo 'export OLLAMA_KEEP_ALIVE=12h' >> ~/.bashrc
echo 'export OLLAMA_HOST=0.0.0.0:11434' >> ~/.bashrc
echo 'export OLLAMA_MODELS=/data/ollama/models' >> ~/.bashrc
source ~/.bashrc

复制代码

现在，您可以直接在终端中利用 ollama 下令来管理和运行模型，例如：

ollama run llama3.1:8b

复制代码

以上步骤将帮助您顺利完成 Ollama 的安装与配置，开始探索大语言模型的天下。
如何系统的去学习大模型LLM ？

大模型期间，火爆出圈的LLM大模型让步伐员们开始重新评估自己的本事。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等题目热议不断。
事实上，抢你饭碗的不是AI，而是会利用AI的人。
继科大讯飞、阿里、华为等巨头公司发布AI产物后，很多中小企业也连续出场！超高年薪，挖掘AI大模型人才！ 如今大厂老板们，也更倾向于会AI的人，普通步伐员，还有应对的机会吗？
与其焦虑……

不如成为「把握AI工具的技能人」，究竟AI期间，谁先实验，谁就能占得先机！
但是LLM相干的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高。
针对全部自学遇到困难的同砚们，我帮各人系统梳理大模型学习脉络，将这份 LLM大模型资料分享出来：包括LLM大模型书籍、640套大模型行业陈诉、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等,

欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/)