MongoDB磁盘空间占满,导致数据库被锁定,如何清理数据和磁盘空间 ...

打印 上一主题 下一主题

主题 1030|帖子 1030|积分 3090

马上注册,结交更多好友,享用更多功能,让你轻松玩转社区。

您需要 登录 才可以下载或查看,没有账号?立即注册

x
一、问题

1、我在现实项目中,碰到一个问题,随着数据每天的不断增加,导致mongodb的磁盘空间站满了,数据库被锁了,无法使用。

2、故障表现



  • 部署的应用程序突然无法将数据写入数据库,但是可以正常读取数据。
  • 管理人员通过客户端连接数据库进行排查时,可以写入一条数据,返回错误信息:not authorized on xxxx to execute command
3、检查磁盘空间是否被耗尽

登录mongodb管理控制台,查看实例的状态,会发现已被锁定,并且磁盘空间占用已经100%


优化之前数据和磁盘情况:

二、办理方案

1、两种方案:

(1)通过变更配置方案,扩充磁盘空间,来提升实例的磁盘空间
(2)删除数据库中的数据,接纳磁盘碎片以提升磁盘利用率,来减少数据存储空间,降低磁盘占用空间
我选择了第二种方案,由于我的数据库中,有很多非须要的数据可以删除,可以腾出不少磁盘空间。
2、留意问题

这里一定要留意,并不是在MongoDB实例数据库中删除数据,就可以或许开释MongoDB实例的磁盘空间。在删除云数据库MongoDB实例的数据后,这些被删除数据使用的存储空间会被标记为空闲,随后写入的新数据可能会被直接存储到这部分空闲的存储空间中,也可能会先扩展文件的存储空间再存储到文件末尾。上述情况将导致一部分空闲的存储空间不会被使用,这些未被使用的空闲存储空间被称之为磁盘碎片,磁盘碎片越多,磁盘利用率就越低。
3、配景信息

(1)执行db.runCommand({collStats: <collection_name>}) 命令访问节点时,返回结果有两个关键字:size和storageSize。此中,size表示集合的逻辑存储大小,storageSize表示集合的物理存储大小。在执行remove命令删除文档后,size的值会减少,但是,storageSize的值不一定会减少。当storageSize大于size时,表示已产生磁盘碎片。
(2)compact是云数据库MongoDB的压缩命令,执行compact命令可以接纳删除数据后产生的磁盘碎片,实现压缩磁盘空间的目标,从而提升磁盘利用率。
4、删除数据库数据

这里以表valueOpenData为例子,针对主节点,进行演示操纵,之前已经清理了一部分表的磁盘空间,现已经不是100%。
删除数据,是不会减少磁盘空间的,这个一定要留意。
执行删除方案,删除某一段时间之前的数据:
  1. db.valveOpenData.deleteMany({  
  2.     "dataReadTime": {   
  3.         "$lte": ISODate("2022-12-30T23:59:59Z")  
  4.     }  
  5. })
复制代码
5、查看集合需接纳的磁盘碎片空间

删除数据 清理磁盘之前的总磁盘占用情况

删除数据清理磁盘之前的磁盘占用空间

删除数据清理磁盘之前的数据库情况

执行查看集合需接纳的磁盘碎片空间语句
  1. db.valveOpenData.stats().wiredTiger["block-manager"]["file bytes available for reuse"]
复制代码
结果:可清理磁盘碎片 9161187328 byte

6、接纳单节点或副本集实例的磁盘碎片 


单节点实例只有一个StandAlone节点,您只必要连接主节点(Primary节点),执行compact命令接纳主节点(Primary节点)的磁盘碎片。
副本集实例具有多个节点,您必要分别连接主节点(Primary节点)和从节点(Secondary节点),在差别节点上执行compact命令接纳相应节点的磁盘碎片,执行的接纳命令相同。
我这里接纳的是主节点(Primary节点)磁盘碎片。
执行语句
  1. db.runCommand({compact:"valveOpenData"})
复制代码
强制执行语句
  1. db.runCommand({compact:"valveOpenData",force:true})
复制代码
执行成功的返回结果如下:{ "ok" : 1 }  ,清理磁盘空间完成,你也可以多执行几次清理
执行查看集合需接纳的磁盘碎片空间语句
  1. db.valveOpenData.stats().wiredTiger["block-manager"]["file bytes available for reuse"]
复制代码
结果:清理过后磁盘碎片 1072041984 byte
删除数据清理磁盘之后的总磁盘占用情况

删除数据清理磁盘之后的磁盘占用空间

删除数据清理磁盘之后的数据库情况

终极结果:一个表删除数据、清理磁盘,清理出来差不多10G的磁盘空间
三、总结

对于不重要的数据,为了防止数据量过大,占满磁盘空间,必要定时清理过期大概不必要的数据。
最好写个定时器定时删除数据比力合适,但是要记得执行接纳磁盘碎片空间,只有执行了接纳后,才是真正接纳了磁盘空间。

免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。
回复

使用道具 举报

0 个回复

倒序浏览

快速回复

您需要登录后才可以回帖 登录 or 立即注册

本版积分规则

数据人与超自然意识

论坛元老
这个人很懒什么都没写!
快速回复 返回顶部 返回列表