hadoop subdir目录存储大

0
hadoop中数据文件  保留的策略删除以及能否删除
# pwd
/hdata/dfs/data/current/BP-1239463835-10.115.126.139-1519456277947/current/finalized/subdir2/subdir8
# ll
total 2068804
-rw-r--r-- 1 root root 268435456 Mar 13 18:32 blk_1073874947
-rw-r--r-- 1 root root   2097159 Mar 13 18:32 blk_1073874947_134320.meta
-rw-r--r-- 1 root root  32664596 Mar 13 18:32 blk_1073874951
-rw-r--r-- 1 root root    255203 Mar 13 18:32 blk_1073874951_134324.meta 

我们磁盘500G  插入几亿条数据  磁盘就满了
 
已邀请:
0

MarsJ - 大数据玩家~DS 2018-03-16 回答

hadoop的文件有垃圾箱机制,要看你怎么设置的,比如垃圾箱数据保留几天。另外是HDFS的副本数的设置。几亿条数据多少个G?数据量*副本数
0

张丽娜19880929 2018-07-20 回答

为什么没有mars没有开新的课程了呢?
0

rose888888 2019-03-05 回答

我也遇到这个问题,请问有解决方法?/hdata/dfs/data/current/BP-1239463835-10.115.126.139-1519456277947/current/finalized/这个目录下的所有文件能删 ?占的空间很大

要回复问题请先登录注册