ToB企服应用市场:ToB评测及商务社交产业平台

标题: 摆设Ollama（在LInux上举行摆设） [打印本页]

作者: 篮之新喜 时间: 2024-11-18 23:09
标题: 摆设Ollama（在LInux上举行摆设）
1.先容

Ollama：是一款旨在简化大型语言模型本地摆设和运行过程的开源软件。
网址：Ollama
Ollama提供了一个轻量级、易于扩展的框架，让开发者可以或许在本地呆板上轻松构建和管理LLMs（大型语言模型）。通过Ollama，开发者可以访问和运行一系列预构建的模型，大概导入和定制本身的模型，无需关注复杂的底层实现细节。
Ollama的主要功能包罗快速摆设和运行各种大语言模型，如Llama 2、Code Llama等。它还支持从GGUF、PyTorch或Safetensors格式导入自界说模型，并提供了丰富的API和CLI下令行工具，方便开发者举行高级定制和应用开发。
特点：

一站式管理：Ollama将模型权重、设置和数据捆绑到一个包中，界说成Modelfile，从而优化了设置和设置细节，包罗GPU利用情况。这种封装方式使得用户无需关注底层实现细节，即可快速摆设和运行复杂的大语言模型。
热加载模型文件：支持热加载模型文件，无需重新启动即可切换不同的模型，这不仅进步了机动性，还明显加强了用户体验。
丰富的模型库：提供多种预构建的模型，如Llama 2、Llama 3、通义千问等，方便用户快速在本地运行大型语言模型。
多平台支持：支持多种操纵系统，包罗Mac、Windows和Linux，确保了广泛的可用性和机动性。
无复杂依靠：通过优化推理代码并减少不须要的依靠，Ollama可以或许在各种硬件上高效运行，包罗纯CPU推理和Apple Silicon架构。
资源占用少：Ollama的代码简洁明了，运行时占用资源少，使其可以或许在本地高效运行，不需要大量的计算资源

2.下载与安装

1.LInux上已经有了源文件

1.在虚拟机/root/resource目录中已经下载好Linux版本所需的ollama-linux-amd64.tgz文件，则实行下面下令开始安装：

tar -C /usr -xzf ollama-linux-amd64.tgz

复制代码

2.操纵成功之后，可以通过查看版本指令来验证是否安装成功

[root@bogon resource]# ollama -v
Warning: could not connect to a running Ollama instance
Warning: client version is 0.3.9

复制代码

3.添加开启自启服务
创建服务文件/etc/systemd/system/ollama.service，并写入文件内容：

[Unit]
Description=Ollama Service
After=network-online.target
[Service]
ExecStart=/usr/bin/ollama serve
User=root
Group=root
Restart=always
RestartSec=3
[Install]
WantedBy=default.target

复制代码

生效服务

sudo systemctl daemon-reload
sudo systemctl enable ollama

复制代码

启动服务

sudo systemctl start ollama

复制代码

2.一键安装

curl -fsSL https://ollama.com/install.sh | sh

复制代码

3.安装大模型（这里利用的是通义千问大模型）

直接去ollama官网中下载：

可以找也可以搜

只需要实行下令就可以了

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/)