flume
0
投票
1
已解决
1759
浏览
有一批没有分类的日志！怎么使用flume进行分类存储到HDFS中嘛？
为了明天time 回复了问题 • 2015-10-23 10:40
0
投票
3
已解决
4104
浏览
日志采集系统flume和kafka有什么区别及联系，它们分别在什么时候使用，什么时候又可以结合？
Bob 回复了问题 • 2015-10-22 13:33
2
推荐
9302
浏览
基于Flume -> Kafka -> Stream(Spark)的架构日志收集demo搭建（part1）
最近在做日志收集方面工作，在此之上也需要实现实时计算，由于以前也没做过这方面工作，从基础开始搭建demo，真实环境估计会有很大不同，可以先做测试验证。计划搭建Flume -> Kafka -> Storm(Spark)的架构...
seng 发表了文章 • 2015-10-20 23:26
0
推荐
6898
浏览
flume NG 1.6.0部署及配置
flume其实没有集群概念,每个flume都是一个独立的个体,互相之间对数据流转进行协作一起直接写到一个hdfs目标会报错，一般最终汇总写到一个sink即可注意：节点间有数据流向的要实现无密码登陆实现无障碍通信，还有...
为了明天time 发表了文章 • 2015-09-30 14:38
flume是海量日志采集、聚合和传输的日志收集系统，kafka是一个可持久化的分布式的消息队列。
Flume可以使用拦截器实时处理数据，对数据屏蔽或者过滤很有用，如果数据被设计给Hadoop使用，可以使用Flume，重在数据采集阶段。
采集和处理数据不一定同步... 显示全部 »
Flume可以使用拦截器实时处理数据，对数据屏蔽或者过滤很有用，如果数据被设计给Hadoop使用，可以使用Flume，重在数据采集阶段。
采集和处理数据不一定同步... 显示全部 »
flume是海量日志采集、聚合和传输的日志收集系统，kafka是一个可持久化的分布式的消息队列。
Flume可以使用拦截器实时处理数据，对数据屏蔽或者过滤很有用，如果数据被设计给Hadoop使用，可以使用Flume，重在数据采集阶段。
采集和处理数据不一定同步，所以用kafka这个消息中间件来缓冲，重在数据接入。
在一些实时系统中一般采用flume+kafka+storm的设计
Flume可以使用拦截器实时处理数据，对数据屏蔽或者过滤很有用，如果数据被设计给Hadoop使用，可以使用Flume，重在数据采集阶段。
采集和处理数据不一定同步，所以用kafka这个消息中间件来缓冲，重在数据接入。
在一些实时系统中一般采用flume+kafka+storm的设计
根据日志特点采用不同拦截器流转到hdfs
根据日志特点采用不同拦截器流转到hdfs
0
投票
1
已解决
1759
浏览
有一批没有分类的日志！怎么使用flume进行分类存储到HDFS中嘛？
为了明天time 回复了问题 • 2015-10-23 10:40
0
投票
3
已解决
4104
浏览
日志采集系统flume和kafka有什么区别及联系，它们分别在什么时候使用，什么时候又可以结合？
Bob 回复了问题 • 2015-10-22 13:33
2
推荐
9302
浏览
基于Flume -> Kafka -> Stream(Spark)的架构日志收集demo搭建（part1）
最近在做日志收集方面工作，在此之上也需要实现实时计算，由于以前也没做过这方面工作，从基础开始搭建demo，真实环境估计会有很大不同，可以先做测试验证。计划搭建Flume -> Kafka -> Storm(Spark)的架构...
seng 发表了文章 • 2015-10-20 23:26
0
推荐
6898
浏览
flume NG 1.6.0部署及配置
flume其实没有集群概念,每个flume都是一个独立的个体,互相之间对数据流转进行协作一起直接写到一个hdfs目标会报错，一般最终汇总写到一个sink即可注意：节点间有数据流向的要实现无密码登陆实现无障碍通信，还有...
为了明天time 发表了文章 • 2015-09-30 14:38