chat2db调用ollama实现数据库的操纵。

只试了mysql的调用。

其它的我也不用，原来想充钱算了。最后一看单位是美刀。就放弃了这分心。于是折腾了一下。
本地运行chat2db 及chat2db ui

https://gitee.com/ooooinfo/Chat2DB
clone 后运行起来 chat2db的java端，我现在搞不清这一个项目是有没有链接到数据库里去。
在idea项目中运行

前端在：chat2db-client中。我的环境是 node 20 ,yarn , 留意大概需要 yarn add electron
直接运行：yarn start

安装ollama 以及模型 qwen2.5 这里我也不懂。不知装那一个好。

https://ollama.com/

在powershell下运行：ollama run qwen2.5 或 ollama pull qwen2.5
最终你要包管ollama启运。
仿一下openai的接口 调用ollama 提供给chat2db:

chat2db中如许设置，所以需要我本身写一个app.py 去做一下代理请求ollama，不是我不想写自定义，重要是总不乐成。不如直接仿openai .

app.py的部分代码。

我用的conda 创建的3.9的环境：
requirements.txt

1. fastapi==0.104.1
2. uvicorn==0.24.0
3. httpx==0.25.1
4. tenacity==8.2.3
5. backoff

复制代码

相关的app.py的代码：

1. from fastapi import FastAPI, HTTPException, Request, Depends
2. from fastapi.middleware.cors import CORSMiddleware
3. from fastapi.responses import JSONResponse, StreamingResponse
4. import httpx
5. import uvicorn
6. import traceback
7. import sys
8. import time
9. import json
10. import asyncio
11. import re
12. import backoff  # 确保已安装 backoff 库
14. app = FastAPI(
15.     title="Ollama API Adapter",
16.     description="An adapter for Ollama API that mimics OpenAI API format",
17.     version="1.0.0"
18. )
20. app.add_middleware(
21.     CORSMiddleware,
22.     allow_origins=["*"],
23.     allow_credentials=True,
24.     allow_methods=["*"],
25.     allow_headers=["*"],
26. )
28. API_KEY = "sk-123456"
29. OLLAMA_BASE_URL = "http://127.0.0.1:11434"
30. DEFAULT_MODEL = "qwen2.5:latest"
31. def verify_api_key(request: Request):
32.     authorization: str = request.headers.get('authorization')
33.     if not authorization:
34.         raise HTTPException(status_code=401, detail="Authorization header is missing.")
36.     token_type, _, token = authorization.partition(' ')
37.     if token_type.lower() != 'bearer' or token != API_KEY:
38.         raise HTTPException(status_code=401, detail="Unauthorized: API Key is invalid or missing.")
41. @app.get("/v1", dependencies=[Depends(verify_api_key)])
42. async def root():
43.     """
44.     Root endpoint that returns API information
45.     """
46.     return {
47.         "version": "1.0.0",
48.         "status": "ok",
49.         "endpoints": [
50.             "/v1/chat/completions",
51.             "/v1/models",
52.             "/health"
53.         ]
54.     }
56. @app.get("/v1/models", dependencies=[Depends(verify_api_key)])
57. async def list_models():
58.     """
59.     List available models
60.     """
61.     try:
62.         async with httpx.AsyncClient(timeout=10.0) as client:
63.             response = await client.get(f"{OLLAMA_BASE_URL}/api/tags")
64.             if response.status_code == 200:
65.                 models = response.json().get("models", [])
66.                 return {
67.                     "data": [
68.                         {
69.                             "id": model["name"],
70.                             "object": "model",
71.                             "created": 0,
72.                             "owned_by": "ollama"
73.                         }
74.                         for model in models
75.                     ]
76.                 }
77.             else:
78.                 raise HTTPException(status_code=503, detail="Ollama service unavailable")
79.     except Exception as e:
80.         print(f"Error listing models: {str(e)}")
81.         raise HTTPException(status_code=503, detail=str(e))
83. @app.get("/health", dependencies=[Depends(verify_api_key)])
84. async def health_check():
85.     """
86.     健康检查接口
87.     """
88.     try:
89.         async with httpx.AsyncClient(timeout=5.0) as client:
90.             response = await client.get(f"{OLLAMA_BASE_URL}/api/tags")
91.             if response.status_code == 200:
92.                 print("Ollama service is healthy.")
93.                 return {"status": "healthy", "message": "服务运行正常"}
94.             else:
95.                 print("Ollama service is not healthy.")
96.                 raise HTTPException(status_code=503, detail="Ollama 服务不可用")
97.     except httpx.HTTPStatusError as exc:
98.         print(f"HTTP error occurred: {exc.response.status_code}")
99.         raise HTTPException(status_code=exc.response.status_code, detail=str(exc))
100.     except httpx.RequestError as exc:
101.         print(f"An error occurred while requesting {exc.request.url!r}.")
102.         raise HTTPException(status_code=500, detail=str(exc))
104. async def generate_sse_response(content):
105.     # 提取 SQL 语句并添加换行
106.     sql_match = re.search(r'```sql\n(.*?)\n```', content, re.DOTALL)
107.     sql = sql_match.group(1).strip() if sql_match else content
108.    
109.     # 添加换行符
110.     formatted_content = f"{sql}\n"
111.    
112.     # 构造 OpenAI API 格式的响应
113.     response_data = {
114.         "id": f"chatcmpl-{int(time.time())}",
115.         "object": "chat.completion.chunk",
116.         "created": int(time.time()),
117.         "model": "gpt-3.5-turbo",
118.         "choices": [{
119.             "delta": {
120.                 "content": formatted_content  # 使用带换行的内容
121.             },
122.             "finish_reason": None,
123.             "index": 0
124.         }]
125.     }
126.    
127.     # 发送主要内容
128.     yield f"data: {json.dumps(response_data, ensure_ascii=False)}\n\n"
129.    
130.     # 发送结束消息
131.     finish_response = {
132.         "id": f"chatcmpl-{int(time.time())}",
133.         "object": "chat.completion.chunk",
134.         "created": int(time.time()),
135.         "model": "gpt-3.5-turbo",
136.         "choices": [{
137.             "delta": {},
138.             "finish_reason": "stop",
139.             "index": 0
140.         }]
141.     }
142.    
143.     yield f"data: {json.dumps(finish_response, ensure_ascii=False)}\n\n"
144.     yield "data: [DONE]\n\n"
146. # 重试策略装饰器
147. @backoff.on_exception(backoff.expo, httpx.ReadTimeout, max_tries=5, max_time=300)
148. async def send_request(ollama_request):
149.     timeout_config = httpx.Timeout(10.0, read=120.0)  # 连接超10秒，读取超时120秒
150.     async with httpx.AsyncClient(timeout=timeout_config) as client:
151.         try:
152.             response = await client.post(
153.                 f"{OLLAMA_BASE_URL}/api/chat",
154.                 json=ollama_request
155.             )
156.             print(f"Response received with status {response.status_code}")
157.             return response
158.         except httpx.RequestError as exc:
159.             print(f"An error occurred while requesting {exc.request.url!r}.")
160.             raise HTTPException(status_code=500, detail=str(exc))
162. @app.post("/v1/chat/completions", dependencies=[Depends(verify_api_key)])
163. @app.post("/chat/completions", dependencies=[Depends(verify_api_key)])
164. @app.post("/", dependencies=[Depends(verify_api_key)])
165. async def chat_completions(request: Request):
166.     try:
167.         body = await request.json()
168.         messages = body.get("messages", [])
169.         stream = body.get("stream", True)
171.         print(f"Received request with body: {body}")  # 使用 print 打印请求体
173.         ollama_request = {
174.             "model": DEFAULT_MODEL,
175.             "messages": messages,
176.             "stream": False
177.         }
178.         
179.         response = await send_request(ollama_request)
180.         print(f"Received response: {response.text}")  # 使用 print 打印响应文本
181.         
182.         if response.status_code != 200:
183.             print(f"Failed to get response from model, status code: {response.status_code}")
184.             raise HTTPException(status_code=400, detail="Failed to get response from model")
185.         
186.         ollama_response = response.json()
187.         content = ollama_response.get("message", {}).get("content", "")
188.         
189.         print(f"Processed content: {content}")  # 使用 print 打印处理后的内容
191.         if not stream:
192.             result = {
193.                 "id": f"chatcmpl-{int(time.time())}",
194.                 "object": "chat.completion",
195.                 "created": int(time.time()),
196.                 "model": DEFAULT_MODEL,
197.                 "choices": [{
198.                     "message": {
199.                         "role": "database developer and expert",
200.                         "content": content
201.                     },
202.                     "finish_reason": "stop",
203.                     "index": 0
204.                 }]
205.             }
206.             print(f"Returning non-stream response: {result}")  # 使用 print 打印非流响应
207.             return result
208.         
209.         headers = {
210.             "Content-Type": "text/event-stream",
211.             "Cache-Control": "no-cache",
212.             "Connection": "keep-alive"
213.         }
214.         
215.         return StreamingResponse(
216.             generate_sse_response(content),
217.             media_type="text/event-stream",
218.             headers=headers
219.         )
220.         
221.     except json.JSONDecodeError as e:
222.         print(f"JSON decoding error: {str(e)}")
223.         return JSONResponse(status_code=400, content={"message": "Invalid JSON data"})
224.     except Exception as e:
225.         print(f"Error during chat completions: {str(e)}")
226.         print(traceback.format_exc())  # 使用 print 打印堆栈跟踪
227.         return JSONResponse(
228.             status_code=500,
229.             content={"message": "Internal server error"}
230.         )
231.    
232. if __name__ == "__main__":
233.     print("Starting server on 0.0.0.0:8080")
234.     uvicorn.run(app, host="0.0.0.0", port=8080)

复制代码

上面代码装key及model都写死，所以你一下要先下载下来相关的模型 。
python app.py

再留意以下本置：

在chat2db做好链接，再输入你的提示词。见下面结果：

响应速率几秒钟，当时看本身电脑响应速率了。都不费钱了，就不要什么自行车了。

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。