5台台式机搭建小型hadoop集群的可行性?

0
有5台台式机(每一台配置:8* Inter(R) Core(TM) i7-4790 CPU @ 3.6GHz,8G内存),都已经安装了ubuntu系统,现在想搭建一个小型的hadoop集群,想请问这样做的可行性,或者说处理数据的速度会不会得到显著的提升(相比于不使用hadoop框架,只在单机上跑)
已邀请:
0

GeorgeYao - 路漫漫其修远兮,吾将上下而求索! 2016-05-03 回答

首先,看到你的配置说明;整体还是不错的。
1.你处理的数据是消费数据还是用户行为数据,数据量是否足够大?
2.Hadoop分布式文件系统处理数据是及其消耗内存的,所有的计算都放在内存中处理;
3.五台机器搭建集群已经完全足够了,但是建议还是将内存最大化;最好16G以上;
4.还有你处理数据是使用Hive还是Mapreduce、Spark,总之语言不同;处理方式也就不同,要对门入座,选择合适的方法即可;
....
就先建议这么多,希望有用。

要回复问题请先登录注册