（超详细教程）没有sudo权限，在服务器安装ollama，下载qwen2模型，python ...

1、创建一个文件夹放ollama

1. #创建文件夹
2. mkdir ollama
3. #进入该文件夹
4. cd ollama

复制代码

2、下载安装包

2.1命令行下载压缩包

1. #下载安装包
2. wget -O ollama-linux-amd64.tgz https://ollama.com/download/ollama-linux-amd64.tgz

复制代码

如果一直连接不上github,像下面图片中一样，那就换一种方法，用xftp本地上传这个压缩包。如果这步可以下载，那就直接跳到下面第3步解压。

2.2本地上传压缩包

先去ollama官网下载

压缩包到本身电脑上，然后在Xftp新建会话，把刚刚下载的压缩包传到ollama文件夹下（由于我在第一步创建的ollama1，所以我上传到ollama1文件夹下）

传完是如许的

3、解压缩

1. #解压缩
2. tar -xvzf ollama-linux-amd64.tgz

复制代码

压缩后在ollama文件夹下是如许的

进入bin文件夹，ls检察，会有一个ollama的文件

4、启动ollama

4.1没有设置环境变量启动ollama

如果在没有设置环境变量的环境下，必须在bin文件夹下启动

1. #启动ollama，必须用./xxx
2. ./ollama serve

复制代码

如许就启动成功了​​​​​​​
再新建一个终端,进入bin文件夹，运行以下命令检察ollama的版本

1. #查看ollama版本
2. ./ollama -v

复制代码

4.2设置环境变量

启动ollama,设置环境变量后，就可以在恣意一个文件夹下启动ollama了，以下有两种设置环境变量的方法，推荐永世设置的方法
设置临时环境变量：直接输入以下命令
（这个地址要更换为本身的地址，在bin文件夹下输入pwd可以检察地址，如下边第二张图）

1. #设置临时环境变量
2. export PATH=$PATH:/home/wangjunjun/ollama/bin

复制代码

1. #查看当前文件地址
2. pwd

复制代码

设置永世环境变量：以下nano ~/.bashrc命令打开编辑环境变量的窗口

1. #编辑环境变量
2. nano ~/.bashrc

复制代码

在最下边添加环境变量

1. export OLLAMA_HOME=改为自己的地址
2. export PATH=$PATH:$OLLAMA_HOME

复制代码

然后进行以下操作生存并退出  ctrl+O    Enter   ctrl+X
实行以下指令使环境变量生效

1. source ~/.bashrc

复制代码

4.3设置完环境变量启动ollama

设置了环境变量就可以在恣意文件夹下直接ollama serve 启动了

1. ollama serve

复制代码

检察版本

1. ollama -v

复制代码

5、下载模型

进入ollama官网，选择模型

比如我想下载qwen2-7b的模型，有环境变量的环境下直接复制箭头所指命令，运行，没有环境变量的环境下用./+复制的内容

1. #设置环境变量
2. ollama run qwen2
3. #没有设置环境变量
4. ./ollama run qwen2

复制代码

然后就开始下载模型了，下载好后可以直接跟模型进行对话，ctrl+d结果对话。
还可以用ollama list检察已经下载的模型列表

1. #设置环境变量
2. ollama list
3. #没有设置环境变量
4. ./ollama list

复制代码

6、python代码测试

把模型更换为本身的可以成功运行

1. import ollama
3. # 生成回答并逐字符打印
4. stream = ollama.chat(
5.     model='qwen2',
6.     messages=[{'role': 'user', 'content': '天为什么是绿的'}],
7.     stream=True,
8. )
10. for chunk in stream:
11.     print(chunk['message']['content'], end='', flush=True)
14. def test_ollama_chat():
15.     # Test case 1: Test with a simple question
16.     messages1 = [{'role': 'user', 'content': '天为什么是绿的'}]
17.     stream1 = ollama.chat(model='llama3.1', messages=messages1, stream=True)
18.     response_content = ""
19.     for chunk in stream1:
20.         response_content += chunk['message']['content']
21.     # 检查回答是否合理
22.     assert "绿色" in response_content or "为什么" in response_content
23.     print("All test cases pass")
26. test_ollama_chat()

复制代码

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。