Ubuntu部署Deepseek-R1模型(8b)
安装ubuntu体系本机电脑体系ubuntu-20.04
#升级软件
sudo apt-get update
#安装curl
sudo apt-get install curl
通过以上两条指令,完成了curl下令的安装。
安装ollama
打开Ollama官网
https://i-blog.csdnimg.cn/direct/90239c2f282a4ab6ac676c7a88817135.png#pic_center
选择Linux,
https://i-blog.csdnimg.cn/direct/78ec5f6306634308b5b19d298191b636.png#pic_center
给出如上图方框所示的一条指令
curl -fsSL https://ollama.com/install.sh | sh
这条指令就是把ollama拖下来并实行安装。
https://i-blog.csdnimg.cn/direct/95d1711b1b334385b3cac50d08dd8c60.png#pic_center
ollama的下载速度很快,安装也很快。
然后运行
ollama -v
表现正常即表示安装成功,如:
https://i-blog.csdnimg.cn/direct/7cb5c4e275e94248b214da78bd719302.png#pic_center
下载deepseek-r1镜像
依然是在ollama的官网上,选择"Models",选择deepseek。
https://i-blog.csdnimg.cn/direct/f2b6dfd9fb234abdbf0efc8bbd3027e5.png#pic_center
我的电脑是INVIDIA显卡,点击进来可以看得到各个版本的信息
1.5B的模型大概1.1G,
8B的模型大概4.9G,复制指令黏贴到下令行里,就可以主动开始下载了
这里测试8B模型
ollama run deepseek-r1:8b
https://i-blog.csdnimg.cn/direct/1fb91f1271d04ec3b2429dfb83de38e5.png#pic_center
https://i-blog.csdnimg.cn/direct/d46184979da344a4bdb58f84ebf6c832.png#pic_center
测试
https://i-blog.csdnimg.cn/direct/fac4aae2065b473183bf47c018594b1a.png#pic_center
https://i-blog.csdnimg.cn/direct/13c992bca65547c5864fdba9ff90a334.png#pic_center
docker安装
我这里已经安装完毕,查看版本
docker --version
https://i-blog.csdnimg.cn/direct/84664adde7614ec3ba467622c0252428.png#pic_center
安装open-webui
open-webui是一个UI页面,支持ollama等多种工具的可视化。
sudo docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.nju.edu.cn/open-webui/open-webui:main
https://i-blog.csdnimg.cn/direct/fbbefcbd43db49bebaa6811da97bf4a0.png#pic_center
https://i-blog.csdnimg.cn/direct/f38eda3ea3054d788e9c84ddd7b1a264.png#pic_center
打开个浏览器,输入地址127.0.0.1:3000访问
https://i-blog.csdnimg.cn/direct/346231ffedfa454f9333b64309ee8488.png#pic_center
任意配置个账号密码,邮箱和密码背面是需要用来登录利用的,然后点击创建管理员账号。 回车后需要轻微等一等加载
sudo vim /etc/systemd/system/ollama.service
添加
Environment="OLLAMA_HOST=0.0.0.0"
网页表现
https://i-blog.csdnimg.cn/direct/707584eb821d47839f7d56d8d68a4ac0.png#pic_center
sudo systemctl daemon-reload
sudo systemctl restart ollama
网页测试
https://i-blog.csdnimg.cn/direct/7610992cabf3405fb1aa74fefb845e1b.png#pic_center
https://i-blog.csdnimg.cn/direct/d0e7e94899ea4311867f3062af4395f4.png#pic_center
https://i-blog.csdnimg.cn/direct/e1823b8f80a5491fac4d469b6c5b1ac3.png#pic_center
参考:
https://blog.csdn.net/tizi666666/article/details/145414886
免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。
页:
[1]