docker部署项目,/var/lib/docker/overlay2目录满了怎样清理? ...

守听  金牌会员 | 2024-6-21 13:07:51 | 显示全部楼层 | 阅读模式
打印 上一主题 下一主题

主题 669|帖子 669|积分 2007

一、问题

本日忽然发现跑服务器上的项目挂了,上去看了一下原来是磁盘满了。
  1. df -h
复制代码

看来是目录 /var/lib/docker/overlay2 下占满了磁盘,看看里面是什么。
二、办理

1、查察 /var/lib/docker 目录

这一块只是查找哪些文件占满了磁盘,不感兴趣的朋侪可以不看。
/var/lib/docker 目录是 docker 的默认目录,进去看看
  1. cd /var/lib/docker
复制代码
检索文件的最大深度1,即只检索汇总盘算当前目录下的文件
  1. du -h --max-depth=1
复制代码

(1)、containers 目录

可以看到 containers 中占磁盘空间最大,这是 docker 存储镜像的目录,进去看看里面有什么

看不出什么来,继承进入

可以看到一个 -json.log 的文件很大,竟然有4G多,这是 docker 的日志文件,看看 containers 目录的其他子目录是不是也有这个类型的文件

看来也有,并且和所在目录同名,直接查察所有的 -json.log 目录吧
  1. du -ha /var/lib/docker/containers/ | grep "json.log" | sort -rh
复制代码

嗯。。。各个都不小,把他们全清了也能清出来很可观的空间了。
等会停了容器再清。
(2)、volumes 目录

这里接着看看 volumes 目录

看到也是类似 containers 目录的东西,先进第一个看看

可以看到是一个 _data 目录,看不出什么,继承进入

此中 flow.jar 是我的jar包,目录 logs 应该就是日志文件了,进去看看

还放在我的包名命名的目录里,继承进入

也是很多的日志文件。。。回到 logs 目录统计一下吧
  1. du -h --max-depth=1
复制代码

可以看到有5G多。。。
同样的方式进入 volums 目录中的第二个子目录

可以看到也有2G多。。。
也可以直接查察目录的详细信息,下令如下:
  1. du -ha /var/lib/docker/volumes/ | grep "info.*.log" | sort -rh
复制代码

可以看到有很多的日志文件,单个固然不大,但却很多。
这里也先不清,后面再清。
(3)、overlay2 目录

再看看 overlay2 目录

固然只有11G,但进去发现目录挺多,先看看各个目录的大小
  1. du -h --max-depth=1
复制代码

找出最大的应该目录,看看里面有什么

看看哪个文件夹比较大
  1. du -h --max-depth=1
复制代码

可以看到 merged 和 diff 占磁盘空间比较大,work 目录可以不用管。
diff :
   diff 文件夹是一个只读的文件体系层,它包罗了Docker镜像的变更内容。当您对容器举行修改或添加新文件时,这些变更会被记载在 diff 文件夹中。每个Docker镜像都有一个对应的 diff 文件夹,用于存储与底子镜像的差异。
  merged:
   merged 文件夹是一个可读写的文件体系层,它是由底子镜像和 diff 文件夹合并而成的。当您启动一个Docker容器时, merged 文件夹中的内容将作为容器的文件体系。这个文件夹是容器运行时的可写层,您可以在容器中对文件举行修改或添加新文件,这些修改将存储在 merged 文件夹中。
  2、清理

前面已经知道了日志在
   /var/lib/docker/containers
/var/lib/docker/volumes
/var/lib/docker/overlay2
  (1)、清理 /var/lib/docker/containers 目录

先创建清理脚本文件,这里名为 docker_logs_clean.sh ,可以自界说,下令如下:
  1. touch docker_logs_clean.sh
复制代码

查察文件可以发现 docker_logs_clean.sh 是只读的

赋予读写权限,下令如下:
  1. chmod +777 docker_logs_clean.sh
复制代码

然后在加入如下脚本:
  1. echo "======== start clean docker containers logs ========"
  2. logs=$(find /var/lib/docker/containers/ -name *-json.log)
  3. for log in $logs
  4.         do
  5.                 echo "clean containers logs : $log"
  6.                 cat /dev/null > $log
  7.         done
  8. echo "======== end clean docker containers logs ========"
复制代码
这是从这个老哥的博客中拿到的,很多博客都说这个脚本可以清除还在运行的docker日志,保险起见,我这里就先把运行的容器给停了。
之后实行脚本文件,下令如下:
  1. sh docker_logs_clean.sh start
复制代码

再看一下磁盘空间:
  1. df -h
复制代码

可以看到清理出一些空间了。
如果保存时报如下错:
   “docker_logs_clean.sh” E514: write error (file system full?)
  

这是因为磁盘已满,先手动清理一些空间出来。我这里就清除了一下 /var/lib/docker/volumes 目录下的日志文件。
如果实行清理脚本报错:
   line 4: syntax error near unexpected token `$‘do\r’
  可以用如下下令查察脚本文件换行符是否正当:
  1. cat -v docker_logs_clean.sh
复制代码
  cat -v 文件名:查察换行符是否正当,如果是上述的,则行结尾会是^m
需要转换成linux/unix格式的”\n”
  

缘故原由:这大概是在window体系中创建好文件,再上传到服务器,导致换行符不符合Linux的格式。
办理办法:
  1. sed 's/\r//' docker_logs_clean.sh > docker_logs_clean.sh
复制代码

(2)、清理 /var/lib/docker/volumes 目录

如果不更新项目,只是想清一下日志,前面已经查到 /var/lib/docker/volumes 目录下的日志,这里重新查一下,下令如下:
  1. find /var/lib/docker/volumes -name "*.log"
复制代码

利用如下下令清除
  1. find /var/lib/docker/volumes -type f -name "*.log" -delete
复制代码

可以看到那些日志文件都清除了。
再查抄一下文件docker占比
  1. du -h --max-depth=1
复制代码

可以看到 /var/lib/docker/volumes 目录只剩下791M了,这些是我的jar包。
如果要更新项目,则清除所有的镜像,下令如下:
  1. docker system prune -a
复制代码

输入 y 回车就可以删除了,我利用的是docker-compose部署的微服务,这里就先不删除。
删除所有的卷,下令如下:
  1. docker volume prune
复制代码

输入 y 回车就可以删除了,我利用的是docker-compose部署的微服务,这里就先不删除。
利用docker-compose时只清除项目镜像和容器,需要 docker-compose.yml 文件所在目录,我这里是 /www/wwwroot/changjing/jar ,下令如下
  1. docker-compose down --rmi all
复制代码

看一下docker-compose的容器
  1. docker-compose ps
复制代码
以及镜像
  1. docker-compose images
复制代码

可以看到容器和镜像都被删除了。
再查察一下 /var/lib/docker 目录的磁盘占比
  1. du -h --max-depth=1
复制代码

大概是因为我前面已经清理过日志文件了,看不出什么变化, /var/lib/docker/volumes 目录占791M是jar包。
那再删除一下卷:
  1. docker volume prune
复制代码

可以看到 /var/lib/docker/volumes 目录释放了一些空间,应该是把jar包清理了。
再查察一下服务器磁盘空间分布
  1. df -h
复制代码

应该清得差不多了。
(3)、清理 /var/lib/docker/overlay2 目录

颠末前面的清理只剩下 /var/lib/docker/overlay2 目录占磁盘空间大一些了,利用删除镜像和容器的下令清理:
  1. docker system prune -a
复制代码

清除了2G的空间,再看一下docker磁盘占用
  1. du -h --max-depth=1
复制代码

可以看到 /var/lib/docker/overlay2 目录也清理得差不多了。
(4)、限制docker日志大小

按照前面的方式清理,隔一段时间后磁盘又会被docker日志占满,这里设置一下日志上限。
编辑 /etc/docker/daemon.json 文件,第一次应该是没有的,创建就好了,加入如下设置:
  1. {
  2.         "registry-mirrors": ["http://hub-mirror.c.163.com"],
  3.         "storage-driver": "overlay2",
  4.         "storage-opts": [
  5.                 "overlay2.override_kernel_check=true",
  6.                 "overlay2.size=15G"
  7.         ],
  8.         "log-driver": "json-file",
  9.         "log-opts": {
  10.                 "max-size": "1024m",
  11.                 "max-file": "3"
  12.         }
  13. }
复制代码
解释:
   registry-mirrors:设置镜像加速。
storage-driver:指定Docker的存储驱动,常见的选项包罗 “overlay2”、“aufs”、“btrfs”、“devicemapper” 和 “zfs”,一样平常为 “overlay2”。
storage-opts:存储驱动程序选项。
log-driver:容器日志的默认驱动程序,默认为 “json-file” 。
log-opts:容器默认日志驱动程序选项。
  然后重新加载一下docker的设置文件
  1. systemctl daemon-reload
复制代码

再重启一下docker
  1. systemctl restart docker
复制代码

留意,重启之后原来的镜像和容器要删除,不然重新启动是报错的!!!
如果启动容器时报如下错就是因为没有重新拉取镜像。
   docker: Error response from daemon: open /var/lib/docker/overlay2/2ef38eb701745d5e944dd8c04d404347cd1d7d87140ff48817c935901bcd9550/committed: no such file or directory.
  

如果重启docker失败

报错如下:
   docker.socket: Failed with result ‘service-start-limit-hit’.
  

只要把 daemon.json 的改为 daemon.conf ,下令如下:
  1. mv /etc/docker/daemon.json /etc/docker/daemon.conf
复制代码
再次重启就好了。

(5)、限制docker-compose的单个容器日志

这个只有利用docker-compose部署项目标小伙伴才能用到,在每个容器设置下加入如下设置:
  1. logging:
  2.   driver: "json-file"
  3.   options:
  4.     max-size: "256m"
  5.     max-file: "3"
复制代码

然后再利用docker-compose下令启动容器。

免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

x
回复

使用道具 举报

0 个回复

正序浏览

快速回复

您需要登录后才可以回帖 登录 or 立即注册

本版积分规则

守听

金牌会员
这个人很懒什么都没写!

标签云

快速回复 返回顶部 返回列表