可以使用交换机的组播技术优化 hadoop 数据传输吗?

0
已邀请:
2

Bob - 同程旅游大数据+BI 架构师 2015-11-24 回答

Hadoop集群的数据传输不能简单地理解是加快速度。
集群里面的数据在内部是数据块
你上传的一个文件,有可能会被分割为好几个数据块。
 
组播技术在Hadoop集群之间不是很适用。
如果要考虑机房情况,可以尝试为Hadoop集群配置机架感知。
 
升级现有服务器的磁盘为固态、升级网卡为万兆就能解决大部分的数据传输问题,加快Hadoop的计算处理能力。
1

牟瑞 - 大数据 Hadoop 讲师 Hadoop入门课程地址:http://www.hellobi.com/course/39 有架构师,技术总监,CTO的职位请联系我! 2015-11-23 回答

没有用过这么高级的技术。但是我想说,当前的网络环境不是制约hadoop数据传输的关键点,关键点还是在于磁盘I/O,现在的数据中心内网都是万兆网卡,对于传输一般的数据足够用了,但是磁盘写的性能受多方面的影响,还是不是很理想,所以可以在这方面下下功夫,比如缓存,内存数据库等等。

要回复问题请先登录注册