一、情况预备与工具清单
1. 必要组件
- **Ollama**：大模子当地运行框架 [官网下载](https://ollama.com)
- **DeepSeek-r1:1.5b**：轻量级中文大模子
- **AnythingLLM**：数据管理与API服务工具
2. 硬件建议
- 最低配置：8GB内存 + 支持AVX指令集的CPU
- 推荐配置：16GB内存 + NVIDIA GTX 1060以上显卡
---
二、详细部署流程
步骤1：安装Ollama框架
Windows体系情况变量配置（PowerShell）
[System.Environment]::SetEnvironmentVariable('OLLAMA_MODELS','D:\ollama', 'User')
mkdir D:\ollama
步骤2：下载DeepSeek模子
#通过Ollama下令行获取1.5B版本
ollama run deepseek-r1:1.5b
步骤3：配置AnythingLLM
config.yaml 核心配置项
llm_provider: "Ollama"
base_url: "http://***.***.***:***"
model_name: "deepseek-t1-Lib"
max_tokens: 400
数据投喂配置表
| 数据类型 | 示例文件 | 安全验证 |
|----------|-------------------|--------------|
| 文档 | @EZ.docx | ECLI密码 |
| 文本 | 问题.txt | 无 |
| 结构化数据 | SDK-printing.json | API密钥验证 |
三、API接口对接实现
1. 服务鉴权配置
POST /api/v1/workspace/***/chat HTTP/1.1
Host: ***.***.***:***
Authorization: Bearer ***********************
Content-Type: application/json
{
"message": "{用户输入}",
"mode": "query"
}
```
2. 前端交互核心代码
```html
<!-- 消息发送逻辑 -->
<script>
const API_ENDPOINT = 'http://***.***.***:***/api/workspace/***/chat';
const AUTH_TOKEN = '***********************';
async function handleChat(message) {
try {
const response = await fetch(API_ENDPOINT, {
method: 'POST',
headers: {
'Authorization': `Bearer ${AUTH_TOKEN}`,
'Content-Type': 'application/json'
},
body: JSON.stringify({
message: message,
mode: 'query'
})
});
return await response.json();
} catch (error) {
console.error('API哀求失败:', error);
return { textResponse: "服务暂不可用" };
}
}
</script>
```
---
四、结果展示与验证
1. 聊天界面示意图
2. 功能验证清单
- ✅ 上下文一连对话支持
- ✅ 60秒超时自动重试
- ✅ 流式响应渲染（需服务端支持）
- ✅ 敏感词过滤机制
---
五、常见问题排错
Q1：模子加载失败
```log
Error: CUDA out of memory
```
**解决方案**：
1. 减小模子版本（换用1.5B）
2. 添加`--max-vram 50%`启动参数
Q2：API 403错误
log
HTTP 403 Forbidden: Invalid authentication
**查抄清单**：
1. 确认Bearer Token有用性
2. 验证Workspace ID匹配性
3. 查抄当地服务防火墙设置
---
六、优化建议
1. **性能优化**：启用Ollama的`Performance Mode`
2. **安全加固**：定期轮换API密钥
3. **扩展能力**：集成LangChain实现复杂工作流
|
