Hadoop 空间不足怎么办？

为什么80%的码农都做不了架构师？>>>   

Hadoop 空间不足，hive首先就会没法跑了，进度始终是0%。

解决的办法，自然是清理空间。但是清理空间也要有步骤。

• 检查总体情况

  $ hadoop dfsadmin -report

• 检查每个目录

  $ hdfs dfs -du -h /

• 清理

  • 一种是先清理数据表，去hive，impala里删除表

  但是这个并无法清理干净

  • 清理完表之后，删除文件

    删除的时候要注意使用-skipTrash选项，否则不会马上删除，而是转到垃圾桶了。

如何设置配额

hdfs空间不足，还可以给用户设置空间配额，避免每个用户占用的空间过大。具体命令如下

#设置配额
    hdfs dfsadmin -setSpaceQuota 2G /user/tom
#清除配额
    hdfs dfsadmin -clrSpaceQuota /user/tom
#察看配额
    hdfs dfs -count -q -v  /user/tom

转载于:https://my.oschina/pearma/blog/892871