为什么需要用两种日志收集工具: flume 和kafka

0
已邀请:
0

seng - 从事BI、大数据、数据分析工作 2015-12-15 回答

flume是日志收集工具,kafka只是个消息队列。
kafka作为消息队列用处很多,但是如果要往里面写数据,需要自己编写相应程序。
而Flume提供了和kafka的现成接口,只需要配置即可。
如果你的要求简单,可以只使用flume,  flume的sink那一端输出现成的接口已有很多了。
可以参考http://flume.apache.org/FlumeUserGuide.html
 
0

天善小编 - 微信直播问题收集 2015-12-14 回答

同程吴文波:flume只是承担了从负载集群收集日志,没有直接到达hdfs。在flume到达hdfs之间架设kafka消息队列的原因是,日志数据可以由多个使用方同时读取,每个使用方都是实时计算。
Roger:那他们两个其实还是串行使用的吧,这样会不会加长数据流向,导致维护成本更高呢。
同程吴文波:维护成本相对来说还是可以接受的。我们的这套方案就没啥太大问题
Roger:业务日志数据其实可以直接写到kafka队列上
同程吴文波 :
Roger :如果只用flume很难做到提供给多方向使用,sink读完完以后就没了。

要回复问题请先登录注册