IT评测·应用市场-qidao123.com

标题: （超详细教程）没有sudo权限，在服务器安装ollama，下载qwen2模型，python [打印本页]
作者: 欢乐狗    时间: 2025-1-11 21:08
标题: （超详细教程）没有sudo权限，在服务器安装ollama，下载qwen2模型，python
1、创建一个文件夹放ollama

  1. #创建文件夹
  2. mkdir ollama
  3. #进入该文件夹
  4. cd ollama
复制代码
2、下载安装包

2.1命令行下载压缩包

  1. #下载安装包
  2. wget -O ollama-linux-amd64.tgz https://ollama.com/download/ollama-linux-amd64.tgz
复制代码
如果一直连接不上github,像下面图片中一样，那就换一种方法，用xftp本地上传这个压缩包。如果这步可以下载，那就直接跳到下面第3步解压。
2.2本地上传压缩包

先去ollama官网下载
压缩包到本身电脑上，然后在Xftp新建会话，把刚刚下载的压缩包传到ollama文件夹下（由于我在第一步创建的ollama1，所以我上传到ollama1文件夹下）

传完是如许的

3、解压缩

  1. #解压缩
  2. tar -xvzf ollama-linux-amd64.tgz
复制代码

压缩后在ollama文件夹下是如许的
进入bin文件夹，ls检察，会有一个ollama的文件

4、启动ollama

4.1没有设置环境变量启动ollama

如果在没有设置环境变量的环境下，必须在bin文件夹下启动
  1. #启动ollama，必须用./xxx
  2. ./ollama serve
复制代码

如许就启动成功了​​​​​​​
再新建一个终端,进入bin文件夹，运行以下命令检察ollama的版本
  1. #查看ollama版本
  2. ./ollama -v
复制代码
4.2设置环境变量

启动ollama,设置环境变量后，就可以在恣意一个文件夹下启动ollama了，以下有两种设置环境变量的方法，推荐永世设置的方法
设置临时环境变量：直接输入以下命令
（这个地址要更换为本身的地址，在bin文件夹下输入pwd可以检察地址，如下边第二张图）
  1. #设置临时环境变量
  2. export PATH=$PATH:/home/wangjunjun/ollama/bin
复制代码
  1. #查看当前文件地址
  2. pwd
复制代码

设置永世环境变量：以下nano ~/.bashrc命令打开编辑环境变量的窗口
  1. #编辑环境变量
  2. nano ~/.bashrc
复制代码
在最下边添加环境变量
  1. export OLLAMA_HOME=改为自己的地址
  2. export PATH=$PATH:$OLLAMA_HOME
复制代码
然后进行以下操作生存并退出  ctrl+O    Enter   ctrl+X
实行以下指令使环境变量生效
  1. source ~/.bashrc
复制代码
4.3设置完环境变量启动ollama

设置了环境变量就可以在恣意文件夹下直接ollama serve 启动了
  1. ollama serve
复制代码
检察版本
  1. ollama -v
复制代码
5、下载模型

进入ollama官网，选择模型

比如我想下载qwen2-7b的模型，有环境变量的环境下直接复制箭头所指命令，运行，没有环境变量的环境下用./+复制的内容

  1. #设置环境变量
  2. ollama run qwen2
  3. #没有设置环境变量
  4. ./ollama run qwen2
复制代码
然后就开始下载模型了，下载好后可以直接跟模型进行对话，ctrl+d结果对话。
还可以用ollama list检察已经下载的模型列表
  1. #设置环境变量
  2. ollama list
  3. #没有设置环境变量
  4. ./ollama list
复制代码

6、python代码测试

把模型更换为本身的可以成功运行
  1. import ollama
  3. # 生成回答并逐字符打印
  4. stream = ollama.chat(
  5.     model='qwen2',
  6.     messages=[{'role': 'user', 'content': '天为什么是绿的'}],
  7.     stream=True,
  8. )
  10. for chunk in stream:
  11.     print(chunk['message']['content'], end='', flush=True)
  14. def test_ollama_chat():
  15.     # Test case 1: Test with a simple question
  16.     messages1 = [{'role': 'user', 'content': '天为什么是绿的'}]
  17.     stream1 = ollama.chat(model='llama3.1', messages=messages1, stream=True)
  18.     response_content = ""
  19.     for chunk in stream1:
  20.         response_content += chunk['message']['content']
  21.     # 检查回答是否合理
  22.     assert "绿色" in response_content or "为什么" in response_content
  23.     print("All test cases pass")
  26. test_ollama_chat()
复制代码


免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。



欢迎光临 IT评测·应用市场-qidao123.com (https://dis.qidao123.com/) Powered by Discuz! X3.4