hadoop 磁盘负载不均衡?

0
大家好,我想请教一个问题
hadoop的磁盘负载是按照机器来做的么
例如我有三台datanode磁盘配置如下(第一个数字是磁盘个数,第二个是磁盘大小),第1台:10 * 100G,第2台:10 * 100G,第3台:4 * 100G
不考虑备份和其他影响的情况下存入1200G数据,那么第三台机器是不是就满了呢
已邀请:
0

MarsJ - 大数据玩家~DS 2016-05-31 回答

在你3个节点的环境下,并且还不考虑replication,Hadoop的负载可以说是按照机器来做的,但也不完全对。
 
但是实际上是这样的:
在有replication为3的情况下,数据读写时,Master的namespace中已经有各个DataNode的存储情况和健康状况的信息了,会将数据分配存储至3个不同的节点上去(如果是有>=2个机架的话,3个replication中至少会有一个与其他两个不在同一机架上,这是为了保障网络故障仍然能提供Hadoop集群的高可用)
 
 

要回复问题请先登录注册