请教一个问题,当我上传一个文件到hdfs后,分成了很多blockid,我如何知道哪些blockid是属于同一个文件的?

0
已邀请:
0

牟瑞 - 大数据 Hadoop 讲师 Hadoop入门课程地址:http://www.hellobi.com/course/39 有架构师,技术总监,CTO的职位请联系我! 2016-01-06 回答

fsck工具来检验HDFS中的文件是否正常可用。这个工具可以检测文件块是否在DataNode中丢失,是否低于或高于文件副本。

调用方式:
例如:Hadoop fsck /user/admin/In/hello.txt -files -blocks -racks  (如果不加选项,则执行所有的指令)
命令详细:
-files: 显示文件的文件名称、大小、块数量及是否可用;
-blocks: 显示每个块在文件中的信息,一个块用一行显示;
-racks: 展示了每个块所处的机架位置及DataNode的位置;
可能出现的输出:
Over-replicated blocks:一些文件块副本数超出了它所属文件的限定
Under-replicated blocks : 文件块数未达到所属文件要求的副本数量
Misreplicated blocks :指出不满足块副本存储位置策略的块
Corrupt blocks : 所有的块副本全部出现问题
Missing replicas : 集群不存在副本的文件块

要回复问题请先登录注册