Spark JobHistory Server整理日志功能未生效,导致频繁挂掉

查看日志整理功能是打开的：spark.history.fs.cleaner.enabled = true，
spark.history.fs.cleaner.interval 和spark.history.fs.cleaner.maxAge利用的是默认值。
但是/user/spark/applicationHistory/ 目录下日志一直未不整理！存储的日志数目超过所允许的最大值。
缩短maxAge时间，然后重启了服务器，发现日志确实被整理了些。
但是另有大量未被整理的，有些运行时失败的spark job的日志没有被整理掉！
例如/user/spark/applicationHistory/application_XXX.inprogress
手动整理掉这些文件，spark Historyserver恢复正常！

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。