[已办理·实行日志] AutoDL体系盘异常爆满,缘故起因是PyCharm 在毗连到长 ...

打印 上一主题 下一主题

主题 968|帖子 968|积分 2906

今天照常用PyCharm尝试毗连服务器,中途退出,准备服务器GPU关机,忽然看到体系盘爆满,顿时血压升高,咱来一探究竟
    参考文档:
  

  • AutoDL资助文档 (体系盘空间不敷)
  • Linux常用命令-CSDN博客
  • 还有一种可能得缘故起因是Miniconda3里头pkgs里的缓存的包有许多,可以清理掉,亲测不影响跑实行(openocc+occformer)
  

  1. cd /
复制代码


  • 去到根目次看看,究竟是哪个文件夹占空间,使用du -sh命令来递归表现文件夹所占空间
  1. du -sh
复制代码



  • 发现是tmp异常大,进去看看

   更新,这次是:
,没有运行,只是毗连环境
  

  • 原来是这三个小家伙,分别进去看看



  • 原来都一样,看来缘故起因都是PyCharm 在毗连到长途服务器时,自动执行后台使命(正在更新 python表明器), 将某些包&依赖项下载到了服务器上
  • 得把它们删掉才行(很占空间,能手动清除,但无法根除)
  1. rm -r AMWuAlRJCJ H7dSvaBbGU nYLCsYjVDI
复制代码


  • 把这三个小家伙递归删除,看看
tmp从18G → 88k,惬意了




  • 这下惬意了,看看影不影响跑实现


   

  • 实行照样能跑,亲测没有问题!
  • 类似于“AMWuAlRJCJ” “H7dSvaBbGU” “nYLCsYjVDI”这些文件删掉,亲测也不影响实行,它们就是PyCharm自动更新python表明器下载的杂文件,特别占空间,删掉
  • 类似于"torchelastic_gtz8gf26"或是"pymp-5qq4t5hb",这些文件是mmcv/mmdet运行中会产生的临时文件,都是0k,和PyCharm无关,直接命令行跑实行也会产生
  
缘故起因分析

   

  • 导师说连他都没有碰到过
  • 导师说试试把自动上传消掉,但我试过了不可行,接着发现了问题地点↓
  

关键信息:正在更新 python表明器
找到了正在更新的内容↓

过了1个多小时再回来看:

越来越大了
如果这时关闭PyCharm,会表现:

这个后台使命就是正在更新 python表明器,得想办法关掉这个每次一毗连服务器环境就默认自动执行的后台使命
当地win的PyCharm文件夹中的remote_sources也爆满了,得手动清理

每次重新毗连到服务器的表明器环境,都会重新下载一整个数据集到当地



这相称于是把整个项目全部文件+数据集都下载下来了,推测是PyCharm版本(破解版)的问题
   

  • 关于缘故起因,有的帖子是说是由于包太多太复杂导致的,无论是更改PyCharm设置文件位置,照旧更新PyCharm版本,都基本上无解
  • 很占空间,能手动清除,但无法根除
  
24-11-22更新:

今天把当地文件夹换了一下位置,重新链接长途服务器的表明器环境,弹出了这个,点击“禁用自动上传”,但好像没结果;但基本上锁定了,就是PyCharm的问题!

24-12-28更新:
寂静了许久,今天在PyCharm已经毗连上服务器后,重新在新窗口打开项目/设置长途表明器,忽然又开始更新python表明器了,发现了一个方法可以临时办理(偏方):


  • 在PyCharm表现 ‘更新python表明器’ 时,进入服务器终端,把这些tmp里的文件删除:


25-1-2更新:


  • 如果你正在跑实行,千万别全都删除,删到正在运行的tmp文件,会导致直接中断报错
  • 输入:
  1. ls -l
复制代码


  • 看各个tmp文件的日期,留下那几个时间很新的文件
  • 跑实行的过程中最好别用pycharm打开那些不绝下载临时文件占内存的项目

  • 特别是torch开头的文件不要碰,在训练后可以删除,(看日期)本次训练前就有的可以删去

免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。
回复

使用道具 举报

0 个回复

正序浏览

快速回复

您需要登录后才可以回帖 登录 or 立即注册

本版积分规则

用多少眼泪才能让你相信

金牌会员
这个人很懒什么都没写!
快速回复 返回顶部 返回列表