Ollama部署大模子并安装WebUi - ToB企服应用市场:ToB评测及商务社交产业平台

curl -fsSL https://ollama.com/install.sh | sh

复制代码

#!/bin/bash
#################################################################################
# 功能：自动部署Ollama（Docker方式，GPU）
# 说明：如果已安装了Docker，请注释掉 install_docker，避免重复安装
#################################################################################
info(){
echo -e "\033[34m 【`date '+%Y-%m-%d %H:%M:%S'`】\033[0m" "\033[35m$1\033[0m "
}
install_docker(){
#!/bin/bash
info "安装依赖..."
yum -y install gcc
yum -y install gcc-c++
##验证gcc版本
gcc -v
info "安装Docker（指定版本：23.0.6）"
wget https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo -O/etc/yum.repos.d/docker-ce.repo
##更新yum软件包索引
yum makecache fast
## 安装docker ce cli
# 查看可安装版本：yum list docker-ce --showduplicates | sort -r
yum -y install docker-ce-23.0.6-1.el7 docker-ce-cli-23.0.6-1.el7
info "启动Docker并验证"
systemctl enable docker && systemctl start docker
docker version
## 创建加速器
#cd /etc/docker
#if [ ! -f "$daemon.json" ]; then
# touch "$daemon.json"
#else
# rm -rf daemon.json
# touch "$daemon.json"
#fi
#tee /etc/docker/daemon.json <<-'EOF'
#{
# "registry-mirrors": ["https://自己的镜像加速器地址"]
#}
#EOF
#systemctl daemon-reload
#systemctl restart docker
info "Docker（23.0.6）安装完毕！"
}
# 安装 Ollama
install_Ollama(){
info "参考IP地址："$(hostname -I)
read -p "请问，您当前服务器的内网IP地址是？:" inner_ip
inner_ip="${inner_ip:-127.0.0.1}"
curl -s -L https://nvidia.github.io/libnvidia-container/stable/rpm/nvidia-container-toolkit.repo \
| sudo tee /etc/yum.repos.d/nvidia-container-toolkit.repo
sudo yum install -y nvidia-container-toolkit
sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker
docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 --name ollama --restart always ollama/ollama
info "ollama部署完毕，开始下载qwen:0.5b模型..."
docker exec -it ollama ollama run qwen:0.5b “你好”
info "qwen:0.5b模型加载完成，开始部署webui界面..."
docker run -d -p 3000:8080 -e OLLAMA_BASE_URL=http://${inner_ip}:11434 -v open-webui:/app/backend/data --name open-webui --restart always ghcr.nju.edu.cn/open-webui/open-webui:main
eip=$(curl ifconfig.me/ip)
info "部署完毕，正在启动WEBUI界面，大约5分钟后，请访问：http://${eip}:3000"
}
install_docker
install_Ollama

复制代码

ollama run llama3:70b

复制代码

ollama list

复制代码

chen@chen:~$ ollama list
NAME ID SIZE MODIFIED medllama2:latest a53737ec0c72 3.8 GB 24 hours ago

复制代码

sudo mkdir /path/to/ollama/models

复制代码

sudo chown -R root:root /path/to/ollama/models

复制代码

sudo chmod -R 775 /path/to/ollama/models

复制代码

sudo vim /etc/systemd/system/ollama.service

复制代码

Environment="OLLAMA_MODELS=/path/to/ollama/models"

复制代码

Error: open /data/nvme/ollama/models/blobs/sha256-c1864a5eb19305c40519da12cc543519e48a0697ecd30e15d5ac228644957d12-partial-0: permission denied

复制代码

sudo chown -R ollama:ollama /data/nvme/ollama/models/

复制代码

Environment="OLLAMA_FLASH_ATTENTION=1"

复制代码

docker run -d -p 3000:8080 -e OLLAMA_BASE_URL=http://${inner_ip}:11434 -v open-webui:/app/backend/data --name open-webui --restart always ghcr.nju.edu.cn/open-webui/open-webui:main

复制代码

Environment="OLLAMA_HOST=0.0.0.0:11434"

复制代码