（超详细教程）没有sudo权限，在服务器安装ollama，下载qwen2模型，python
1、创建一个文件夹放ollama#创建文件夹
mkdir ollama
#进入该文件夹
cd ollama 2、下载安装包
2.1命令行下载压缩包
#下载安装包
wget -O ollama-linux-amd64.tgz https://ollama.com/download/ollama-linux-amd64.tgz 如果一直连接不上github,像下面图片中一样，那就换一种方法，用xftp本地上传这个压缩包。如果这步可以下载，那就直接跳到下面第3步解压。
https://i-blog.csdnimg.cn/direct/32d284fdab7c46c091ce696534fdfb48.png2.2本地上传压缩包
先去ollama官网下载https://i-blog.csdnimg.cn/direct/e4b9c1c9047747849c84a02685bc5813.png压缩包到本身电脑上，然后在Xftp新建会话，把刚刚下载的压缩包传到ollama文件夹下（由于我在第一步创建的ollama1，所以我上传到ollama1文件夹下）
https://i-blog.csdnimg.cn/direct/5370d19a69ea46f3937d07af03e2629c.png
传完是如许的
https://i-blog.csdnimg.cn/direct/57444e1097f4456597972f8ecaa4e0b6.png
3、解压缩
#解压缩
tar -xvzf ollama-linux-amd64.tgz https://i-blog.csdnimg.cn/direct/e71266501f914a92b137f45a0791c5c5.png
压缩后在ollama文件夹下是如许的
https://i-blog.csdnimg.cn/direct/d5bc322fb08743ce8af588cd39c25c8d.png进入bin文件夹，ls检察，会有一个ollama的文件
https://i-blog.csdnimg.cn/direct/9a7464ef1c2e4589a3c7bd8873d9cc89.png
4、启动ollama
4.1没有设置环境变量启动ollama
如果在没有设置环境变量的环境下，必须在bin文件夹下启动
#启动ollama，必须用./xxx
./ollama serve
https://i-blog.csdnimg.cn/direct/a05aebdc6c3e46a29cf017f42228bf9c.png
如许就启动成功了
再新建一个终端,进入bin文件夹，运行以下命令检察ollama的版本
#查看ollama版本
./ollama -v 4.2设置环境变量
启动ollama,设置环境变量后，就可以在恣意一个文件夹下启动ollama了，以下有两种设置环境变量的方法，推荐永世设置的方法
设置临时环境变量：直接输入以下命令
（这个地址要更换为本身的地址，在bin文件夹下输入pwd可以检察地址，如下边第二张图）
#设置临时环境变量
export PATH=$PATH:/home/wangjunjun/ollama/bin #查看当前文件地址
pwd https://i-blog.csdnimg.cn/direct/4e84a77730ce4b95989503f023c97389.png
设置永世环境变量：以下nano ~/.bashrc命令打开编辑环境变量的窗口
#编辑环境变量
nano ~/.bashrc 在最下边添加环境变量
export OLLAMA_HOME=改为自己的地址
export PATH=$PATH:$OLLAMA_HOME
然后进行以下操作生存并退出 ctrl+O Enter ctrl+X
实行以下指令使环境变量生效
source ~/.bashrc 4.3设置完环境变量启动ollama
设置了环境变量就可以在恣意文件夹下直接ollama serve 启动了
ollama serve 检察版本
ollama -v 5、下载模型
进入ollama官网，选择模型
https://i-blog.csdnimg.cn/direct/3d84360b79214fa0a2c4876abe120d58.png
比如我想下载qwen2-7b的模型，有环境变量的环境下直接复制箭头所指命令，运行，没有环境变量的环境下用./+复制的内容
https://i-blog.csdnimg.cn/direct/ff61ac0aada749259d0a6c3153f2c492.png
#设置环境变量
ollama run qwen2
#没有设置环境变量
./ollama run qwen2 然后就开始下载模型了，下载好后可以直接跟模型进行对话，ctrl+d结果对话。
还可以用ollama list检察已经下载的模型列表
#设置环境变量
ollama list
#没有设置环境变量
./ollama list https://i-blog.csdnimg.cn/direct/0f3c4ab8fd274dc1b84f9ec5bfca360b.png
6、python代码测试
把模型更换为本身的可以成功运行
import ollama
# 生成回答并逐字符打印
stream = ollama.chat(
model='qwen2',
messages=[{'role': 'user', 'content': '天为什么是绿的'}],
stream=True,
)
for chunk in stream:
print(chunk['message']['content'], end='', flush=True)
def test_ollama_chat():
# Test case 1: Test with a simple question
messages1 = [{'role': 'user', 'content': '天为什么是绿的'}]
stream1 = ollama.chat(model='llama3.1', messages=messages1, stream=True)
response_content = ""
for chunk in stream1:
response_content += chunk['message']['content']
# 检查回答是否合理
assert "绿色" in response_content or "为什么" in response_content
print("All test cases pass")
test_ollama_chat()
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]