kafka topic数据如何写入hdfs?

0
kafka集群的topic是可以动态添加的,添加之后就会有数据写到topic,那么我想问下:我怎么把topic里面的数据写入到hdfs里面,还有是什么时候写呢,怎么停止topic的这个消费?
已邀请:
0

牟瑞 - 大数据 Hadoop 讲师 Hadoop入门课程地址:http://www.hellobi.com/course/39 有架构师,技术总监,CTO的职位请联系我! 2015-11-20 回答

主要还是看你的业务场景,如果需要实时计算,可以通过spark读取kafka-〉计算指标-〉写入HDFS,这个官方是有例子的。
如果不需要实时计算,可以通过定时任务,读取kafka的数据然后写入到HDFS中
kafka是否支持publish我没有研究。实际的项目中,我是通过python-kafka来读取数据的。
0

seng - 从事BI、大数据、数据分析工作 2015-11-19 回答

用flume可不可以?

要回复问题请先登录注册