hadoop 磁盘负载不均衡?
0
大家好,我想请教一个问题
hadoop的磁盘负载是按照机器来做的么
例如我有三台datanode磁盘配置如下(第一个数字是磁盘个数,第二个是磁盘大小),第1台:10 * 100G,第2台:10 * 100G,第3台:4 * 100G
不考虑备份和其他影响的情况下存入1200G数据,那么第三台机器是不是就满了呢
hadoop的磁盘负载是按照机器来做的么
例如我有三台datanode磁盘配置如下(第一个数字是磁盘个数,第二个是磁盘大小),第1台:10 * 100G,第2台:10 * 100G,第3台:4 * 100G
不考虑备份和其他影响的情况下存入1200G数据,那么第三台机器是不是就满了呢
没有找到相关结果
重要提示:提问者不能发表回复,可以通过评论与回答者沟通,沟通后可以通过编辑功能完善问题描述,以便后续其他人能够更容易理解问题.
1 个回复
MarsJ - 大数据玩家~DS 2016-05-31 回答
赞同来自:
但是实际上是这样的:
在有replication为3的情况下,数据读写时,Master的namespace中已经有各个DataNode的存储情况和健康状况的信息了,会将数据分配存储至3个不同的节点上去(如果是有>=2个机架的话,3个replication中至少会有一个与其他两个不在同一机架上,这是为了保障网络故障仍然能提供Hadoop集群的高可用)