【AI基础】大模型部署工具之ollama的安装部署以及api调用 ...

ollama是大模型部署方案，对应docker，本质也是基于docker的容器化技能。
从前面的文章可以看到，部署大模型做的预备工作是比力繁琐的，包括各个环节的版本对应。ollama提供了一个很好的办理方案。
ollama主要针对主流的LLaMA架构的开源大模型设计，并且已被LangChain、Taskweaver等在内的多个热门项目高度集成。同时ollama提供了openAI兼容的api，可以最大限度的淘汰理解和开发成本。
一、下载安装ollama

1.1 安装

官方地址：https://ollama.com/
开源地址：https://github.com/ollama/ollama

下载后双击安装：

一起下一步即可。
1.2 检验

ollama安装后默认已经启动，我们可以通过访问其提供的api服务来举行检验。
参考官方文档：ollama的api · ollama/ollama · GitHub
这里运行ollama的机器为windows系统， ip为192.168.3.154。
1.2.1 通过localhost检验

运行命令： 

1. > curl http://localhost:11434/api/generate -d "{"model": "qwen2","prompt": "who are you?","stream":false}"

复制代码

检察结果：

   这里注意两点：
  1、不要使用PowerShell(里面的curl参数不一样)，使用 cmd 或者 git Cmd 。
  2、注意参数的引号，通过斜杠 \ 来转义。 
  1.2.2 通过IP地址检验

运行命令： 

1. > curl http://192.168.3.154:11434/api/generate -d "{"model": "qwen2","prompt": "who are you?","stream":false}"

复制代码

检察结果：

   提示连接不上："curl: (7) Failed to connect to 192.168.3.154 port 11434 after 2021 ms: Couldn't connect to server"。 
  这是因为ollama安装后默认只能当地访问，接下来配置远程访问api。
1.3 配置

这里配置主要是因为两个需求：远程可以访问ollama的api接口服务以及自定义大模型存放路径。
ollama默认把大模型生存在路径 用户目录/.ollama/models 下：

基于各种原因，我们大概不盼望使用这个默认路径，可以通过情况变量的配置来更改大模型生存的目录。
添加情况变量 OLLAMA_HOST 以及 OLLAMA_MODELS：

• - OLLAMA_HOST，0.0.0.0， 配置后可以远程访问；
  
• - OLLAMA_MODELS, c:\ai\llms_ollama，配置后ollama拉取的大模型会存放在此路径；
  

   这里有重要的一步，需要重启ollama，使配置见效。
  在任务栏的ollama图标上点击右键，选择“Quit Ollama”退出ollama：

然后重新打开ollama：

1.4 重新检验

这里通过IP地址重新举行检验。
1.4.1 windows系统

运行命令：

1. > curl http://192.168.3.154:11434/api/generate -d "{"model": "qwen2","prompt": "who are you?","stream":false}"

复制代码

返回结果： 

1.4.2 linux系统和mac系统

生成Completion：

1. > curl http://192.168.3.154:11434/api/generate -d '{"model": "qwen2","prompt": "who are you?","stream":false}'

复制代码

返回结果：

   这里注意参数的格式，和windows系统不一样，引号在这里直接使用不需要转义。 
  生成Chat Completion：

1. > curl http://192.168.3.154:11434/api/chat -d '{
2.   "model": "qwen2",
3.   "messages": [
4.     {
5.       "role": "user",
6.       "content": "who are you?"
7.     }
8.   ],
9.   "stream": false
10. }'

复制代码

返回结果：

 
二、部署运行大模型

接下来就是实际来部署一个大模型，这里以llama3为例。
 2.1 获取大模型部署命令

在ollama官网搜刮llama3大模型：https://ollama.com/library

选择第一个llama3进入大模型详情页：

在上图可以看到默认有三个标签可以选择：最新版、8B和70B，这里我们选择 8B的，所以我们需要运行 ollama run llama3。假如我们需要部署70B的，则需要运行 ollama run llama3:70b。
2.2 部署大模型

我们可以直接运行 ollama run llama3，假如llama3没有下载过则会下载，否则直接运行。也可以先下载然后运行：

1. > ollama pull llama3
2. > ollama run llama3

复制代码

可以看到，使用方式跟docker是一样的，大模型对应了docker中的镜像。
下载完后会提示乐成：

2.3 和大模型交互

接下来可以直接跟llama3对话，在三个箭头➡️后输入问题，llama3会给出回应：

可以看到ollama乐成部署了大模型，并乐成运行。 
三、在LangChain中使用Ollama

3.1 通过jupyter来运行

3.1.1 安装jupyter

参考 【AI工具】jupyter notebook和jupyterlab对比和安装-CSDN博客 安装jupyterlab。
3.1.2 新建一个notebook

在新的文件中输入如下代码：

1. # 引入ollama
2. from langchain_community.chat_models import ChatOllama
4. # 加载llama3模型
5. ollama_llm = ChatOllama(model="llama3")
7. # 构造Message
8. from langchain_core.messages import HumanMessage
10. messages = [
11.     HumanMessage(
12.         content="你好，请你介绍一下你自己",
13.     )
14. ]
16. # 发送Message
17. chat_model_response = ollama_llm.invoke(messages)
19. # 输入Message
20. chat_model_response

复制代码

这里有个细节，代码一共是五个输入块，这是为了在堕落时，可以快速定位是哪一块出了问题。
3.1.3 运行

现在把鼠标定位在第一行，点击工具栏的运行按钮，一步一步的运行，运行5步后，输出了AI的自我先容：

这样在LangChain中通过ollama，直接调用了大模型。
可以再问一次二的问题：

3.2 直接通过python运行

3.2.1 安装LangChain情况

参考 ：【AI基础】第四步：保姆喂饭级-langchain+chatglm2-6b+m3e-base_m3e-base
3.2.2 新建python文件

输入代码：

1. # 引入ollama
2. from langchain_community.chat_models import ChatOllama
4. # 加载llama3模型
5. ollama_llm = ChatOllama(model="llama3")
7. # 构造Message
8. from langchain_core.messages import HumanMessage
10. messages = [
11.     HumanMessage(
12.         content="你好，请你介绍一下你自己",
13.     )
14. ]
16. # 发送Message
17. chat_model_response = ollama_llm.invoke(messages)
19. # 输入Message
20. chat_model_response

复制代码

3.2.3 运行

执行命令运行：

1. > python dev_ollama.py

复制代码

运行乐成。 

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。