1、执行sudo -u hdfs hadoop fs -du -h /
查询hdfs中各目录的占用的空间,进入占用最多的目录中(一般是日志或临时文件)
2、找到目录 /user/root/.sparkStaging 占用了大量空间,此目录下存放的是各spark历史任务依赖文件
3、执行hdfs dfs -rm -r /user/root/.sparkStaging/*
删除此目录下的文件夹
4、删除的文件会被保存到/user/root/.Trash,清空垃圾桶即可
更多推荐
HDFS空间不足解决方法
发布评论