Linux 摆设docker+open-webui实践

一、背景

当地摆设开源大语言模型，苦于常见笔记本和台式电脑的配置较低，运行不顺畅问题，因此拟通过内网Linux服务器来摆设。本篇文章将全程记载摆设全过程。供志同之士相互学习参考。
二、Centos7摆设Docker

下载你想要的Docker版本，通过WinSCP传入内网服务器。具体摆设操作如下：

1. # 将Docker放入指定文件夹并进行解压
2. tar -zxvf docker-20.10.10.taz(这里是你的docker安装包的名字)
4. # 解压之后将docker全部文件拷贝到根目录下的/usr/bin目录下
5. sudo cp -p docker/* /usr/bin
7. # 创建docker.service文件，实现开机自启动
8. touch docker.service
10. # 将以下内容粘贴到docker.service中
11. [Unit]
12. Description=Docker Application Container Engine
13. Documentation=https://docs.docker.com
14. After=network-online.target firewalld.service
15. Wants=network-online.target
16. [Service]
17. Type=notify
18. # the default is not to use systemd for cgroups because the delegate issues still
19. # exists and systemd currently does not support the cgroup feature set required
20. # for containers run by docker
21. ExecStart=/usr/bin/dockerd
22. ExecReload=/bin/kill -s HUP $MAINPID
23. # Having non-zero Limit*s causes performance problems due to accounting overhead
24. # in the kernel. We recommend using cgroups to do container-local accounting.
25. LimitNOFILE=infinity
26. LimitNPROC=infinity
27. LimitCORE=infinity
28. # Uncomment TasksMax if your systemd version supports it.
29. # Only systemd 226 and above support this version.
30. #TasksMax=infinity
31. TimeoutStartSec=0
32. # set delegate yes so that systemd does not reset the cgroups of docker containers
33. Delegate=yes
34. # kill only the docker process, not all processes in the cgroup
35. KillMode=process
36. # restart the docker process if it exits prematurely
37. Restart=on-failure
38. StartLimitBurst=3
39. StartLimitInterval=60s
40. [Install]
41. WantedBy=multi-user.target
43. # 把docker.service拷贝到根目录下的 /etc/systemd/system/ 目录
44. sudo cp docker.service /etc/systemd/system/
46. # 对docker.service设置权限
47. sudo chmod +x /etc/systemd/system/docker.service
49. # 重新加载某个服务的配置文件
50. sudo systemctl daemon-reload
52. # 启动docker
53. sudo systemctl start docker
55. # 查看是否安装成功
56. sudo docker --version

复制代码

三、安装Python（含pip）

1、下载Python的Linux 版本，open-webui要求Python3.11.*版本。（下载Linux版本下的ollama实在太慢了，我只能多路径实验。）

1. # 下载地址，选择tar.xz版本的安装包进行下载
2. https://www.python.org/ftp/python/3.11.3/

复制代码

2、利用WinSCP毗连Linux服务器，将以上安装包传入/usr/python3目录(自定义)

1. # 在根目录下新建一个usr/python3
2. mkdir /urs/python3/

复制代码

3、解压、编译、创建软毗连

1. # 进入目录
2. cd /usr/python3
4. # 解压,解压的python包是你自己的安装包名字
5. xz -d Python-3.11.*.tar.xz
6. tar -xvf Python-3.11.*.tar
9. # 进入解压并指明安装的Python路径
10. cd Python-3.11.*
11. ./configure --prefix=/usr/local/python
13. #注意：需要执行命令，避免pip3 install 的时候报错没有ssl模块，其实python下面是有的，没有的话先安装：
14. 1  yum install -y openssl-devel
15. 2  ./configure --with-ssl
17. # 备注：也可直接用以下方式解决：
18. pip install open-webui -i http://mirrors.aliyun.com/pypi/simple --trusted-host mirrors.aliyun.com
20. # 编译安装
21. make && make install
23. # 软连接，便于直接用python3和pip3访问(centos7自带python2)
24. ln -s /usr/local/python/bin/python3.11 /usr/bin/python3
25. ln -s /usr/local//python/bin/pip3.11 /usr/bin/pip3
27. # 检测安装情况
28. python3 -V
29. pip3 -V

复制代码

四、未完待续... 

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。