Apache NiFi的一些学习资源

浏览: 10800

原来我一直使用Inforamtica作数据处理工具, 由于实时数据(主要基于Kafka)的需要,一直在找类似工具,直到最近看到了Apache NiFi这个工具。


Apache NiFi具体是做什么的?

根据OSCON 2015 - Beyond Messaging: Enterprise Dataflow with Apache NiFi这个ppt

Apache NiFi适用范围

可靠安全的系统间数据传输

分发数据到分析系统

data enrichment

转换格式

提取和解析

分支判断

Apache NiFi不建议的使用方式

分布式计算

复杂事件处理

连接/复杂的窗口计算

原文



视频教程(youtube上的,访问不了就想想办法^-^)

https://nifi.apache.org/videos.html#

示例

https://github.com/hortonworks-gallery/nifi-templates/tree/master/templates

对应的是说明: https://cwiki.apache.org/confluence/display/NIFI/Example+Dataflow+Templates

其他的也可以看看

https://github.com/drnice/NifiHelloWorld

https://github.com/xmlking/nifi-examples 

(一些模板使用了作者自己的process, 需要处理一下,具体见 这篇文档com.crossbusiness.nifi.processors.ExecuteJavaScript的替换)

https://github.com/bbende/nifi-streaming-examples

开始可以从csv-to-json开始看起

官方文档

https://nifi.apache.org/docs.html

Hortonworks的文档和论坛

HDF3.1.2的版本--使用nifi 1.5 https://docs.hortonworks.com/HDPDocuments/HDF3/HDF-3.1.2/index.html

https://community.hortonworks.com/index.html

其中DATAFLOW那一块就是Nifi的文档,主要处理按行的数据处理, Streaming Analytic是另一块内容,如果要用实时数据分析就需要这个了.

推荐 1
本文由 seng 创作,采用 知识共享署名-相同方式共享 3.0 中国大陆许可协议 进行许可。
转载、引用前需联系作者,并署名作者且注明文章出处。
本站文章版权归原作者及原出处所有 。内容为作者个人观点, 并不代表本站赞同其观点和对其真实性负责。本站是一个个人学习交流的平台,并不用于任何商业目的,如果有任何问题,请及时联系我们,我们将根据著作权人的要求,立即更正或者删除有关内容。本站拥有对此声明的最终解释权。

0 个评论

要回复文章请先登录注册