2
推荐
3471
阅读

浅谈如何控制Mapreduce的map个数

1.Block 块 文件上传到HDFS中,第一步就是数据的划分,这个是真实物理上的划分,数据文件上传到HDFS后,要把文件划分成一块一块,每块的大小按照hdfs-site.xml里配置选项进行划分,数据一般需要备份,默认的dfs.replication为3。   namenode中配置文件路径为/etc/hadoop/  hdfs-site.xml中没有设置dfs.block.size,则默认...

发表了文章 • 2015-04-09 10:12 • 0 条评论