灌篮少年 发表于 2025-2-13 02:52:56

Deepseek当地部署+联网教程:Ollama+OpenWebUI+博查

博查 X Ollama github链接:https://github.com/BochaAI/open-webui-Bocha

博查开放平台(https://open.bochaai.com/)

博查介绍

博查是一个给AI用的天下知识搜索引擎,它可以让你的AI应用连接天下知识,获得干净、准确、高质量的搜索结果。
博查AI开放平台提供Web Search API、Semantic Reranker API等搜索服务,让你的AI应用可以通过API接口直接连接互联网,从近百亿网页和生态内容源中搜索高质量天下知识,包括新闻、图片、视频、百科、机酒、学术等。
博查底层基于多模态混淆搜索与语义排序技术的新一代搜索引擎,实用于 AI Agents、AI Chatbots、AI Search 以及各类 RAG 应用的线上应用或数据冷启动。博查在数据安全、成本控制及内容合规性方面表现杰出,确保数据不出海并符合国内安全规范。
Ollama当地部署

Ollama介绍

Ollama是一款专门设计用于在当地环境中部署和定制大型语言模型的工具。它通过提供一个简便且高效的接口,简化了创建、运行及管理这些模型的过程。此外,Ollama还拥有一个内容丰富的预构建模型库,便于用户将其轻松集成至不同的应用中。其核心目的在于让不论是开发者还是终端用户,在与大型语言模型举行交互或部署这些模型时,都能体验到前所未有的简便性。
下载地址

macOS: https://ollama.com/download/Ollama-darwin.zip
Windows: https://ollama.com/download/OllamaSetup.exe
Linux: 
curl -fsSL https://ollama.com/install.sh | sh 以windows为例,打开OllamaSetup.exe,完成ollama的安装过程
https://i-blog.csdnimg.cn/direct/217c3a95c4dc40318b9e581db3e6fb0a.png
打开终端,输入以下下令 来查验Ollama是否已精确安装,若精确安装则会出现下列输出:
ollama https://i-blog.csdnimg.cn/direct/1a5785c241934d8784c5c12f02f0f295.png
模型选择与下载

Ollama 支持在 ollama.com/library 上提供的模型列表。
https://i-blog.csdnimg.cn/direct/67f77b6d68e745b99f17bb898593155d.png
以deepseek-r1为例,Ollama支持多种巨细的模型选择,在下图1处选取模型巨细后,只需要复制2处的指令,在下令行输入即可下载并运行该模型
https://i-blog.csdnimg.cn/direct/4a367fa7ef0a43a897a0402f1c32c97b.png
Ollama的各种指令


[*] ollama serve用于在不运行桌面应用程序的环境下启动 Ollama。
[*] 下载大模型或者更新当地大模型:如ollama pull deepseek-r1:1.5b可下载deepseek-r1的1.5B巨细的模型
ollama pull [本地/远程仓库模型名称]
[*] 下载且运行当地大模型(若已下载,则直接运行):
ollama run [本地/远程仓库模型名称] <img alt="" height="56" src="https://i-blog.csdnimg.cn/direct/6a53b7235be1474f8bd546b58184e6c7.png" width="453" />
展示当地大模型列表:
ollama list<img alt="" height="70" src="https://i-blog.csdnimg.cn/direct/c9b1b8a5a7df4bf0b7754ee317d8de5c.png" width="524" />
删除单个当地大模型:如ollama rm deepseek-r1:1.5b
ollama rm [本地模型名称]
检察当地运行中模型列表:
ollama ps 复制当地大模型:
ollama cp [本地存在的模型名] [新复制模型名] 利用下令行的Ollama指令来利用Deepseek


[*] 以deepseek-r1的1.5B巨细的模型为例,ollama run deepseek-r1:1.5b运行程序
ollama run deepseek-r1:1.5b 直接在下令行中输入你好
https://i-blog.csdnimg.cn/direct/4abd530ba2e04267bb3a2d037f5469d2.png
   多行输入:对于多行输入,你可以用 """ 包裹文本,逐行输入:
"""Hello,
... world!
... """ https://i-blog.csdnimg.cn/direct/612efdab247248f8ac284a6bd0a9ab1f.png
若退出程序,可以利用ctrl+d或者输入/bye来退出程序
更多详细Ollama利用指南如自界说模型等请参考官方文档 更加直观和友好的交互设计,利用户操作更为便捷和高效,我们将部署一个Web可视化谈天界面。
Open-WebUI当地部署

Open WebUI是一个完全离线操作的、可扩展的、功能丰富的用户友好型自托管AI平台。它支持多种LLM运行器,如Ollama和与OpenAI兼容的API,并内置了针对RAG的推理引擎,使其成为一个强大的AI部署解决方案。

Bocha AI插件为Ollama WebUI提供的增强功能:通过实时网络搜索提升您的大型语言模型(LLM)
Bocha的主要特点⭐
页: [1]
查看完整版本: Deepseek当地部署+联网教程:Ollama+OpenWebUI+博查