0
推荐
1083
阅读

Nifi中Excel的相关

今天和悟讨论了下Nifi操作Excel的问题,目前有组件(ConvertExcelToCSVProcessor)可以实现读取的功能, 不过只能操作 .xlsx (XSSF 2007 OOXML file format) ,具体说明见官方文档但是导出没有相关组件,可以考虑使用使用外部程序实现.早期Nifi读取Excel也使用外部组件的,可以参考https://community.hortonworks.com/articles/...

发表了文章 • 2019-04-10 12:04 • 0 条评论

0
推荐
1549
阅读

NiFi内存配置不足导致服务crash

最近在测试 NiFi稳定性,发现服务在大批量数据下不定时挂修改了内存参数解决了这个问题,具体是是修改bootstrap.confjava.arg.2=-Xms8gjava.arg.3=-Xmx8g具体可以参考这篇文档HDF/NIFI Best practices for setting up a high performance NiFi installation.

发表了文章 • 2018-11-16 09:11 • 0 条评论

0
推荐
1162
阅读

Nifi1.5升级到Nifi1.7

最近由于HDF版本的更新,Nifi的开发环境需要从Nifi1.5升级到Nifi1.7。Nifi的内容都存储到nifi安装目录下的这些目录,按Nifi的最佳实践把这些目录单独隔离出来,假设放到yourfolder/nifi_repository下,然后修改conf/nifi.propertiesnifi.flow.configuration.file=yourfolder/nifi_repository/flow_config/flow.xml.gz ni...

发表了文章 • 2018-11-09 09:25 • 2 条评论

1
推荐
1029
阅读

如何删除Nifi中含template的group

今天在Nifi的开发环境发现一个group不用了, 就先把 group里面的组件,然后执行删除group操作,系统提示group含有template, 不能删除。开发环境上具体使用那个template也忘了,还好template上有对应的groupid 根据所在的group的groupid查找即可。

发表了文章 • 2018-10-19 11:35 • 0 条评论

1
推荐
1276
阅读

NiFi 1.5和1.7版本的Schema Registriey不兼容

最近使用了HDF的最新版本,这个版本的Nifi从1.5升级到了1.7, 原来有个 NiFi 1.5的环境, 上面有用到Schema Registry.原来想偷一下懒,直接使用1.7对应的Schema Registry, 没想到报错了.查了下日志,发现可能新版本增加了一个字段:schemaMetadataIdCaused by: java.io.IOException: Failed to retrieve schema with name 'crm...

发表了文章 • 2018-10-11 14:24 • 0 条评论

0
推荐
2605
阅读

NiFi组件PutHDFS的一些注意事项

之前的这篇blog NiFi 入门:Kakfa 数据同步到关系数据库(PostgreSQL)  只说了写到数据库. 写到HDFS或Mongo都可能有这个需要.先说一下把数据存储到, HDFS,按日期的文件名存储, 数据源还是Kafka。总的流程如下图: 使用PutHDFS process 大数据存储到HDFSPutHDFS设置Hadoop Configure +Resouroes参数就可以使用...

发表了文章 • 2018-09-08 17:12 • 0 条评论

1
推荐
1673
阅读

Nifi对不同版本的Kafka提供了不同的process

 Nifi对不同版本的Kafka提供了不同的process,还是很好判断的,GetKafka是Kafka0.8的版本,ConsumeKafka是0.9的版本, 针对后面的Kafka版本使用了的相同规则,ConsumeKafka_版本号.Record模式从0.10版本开始, 规则就是ConsumeKafkaRecord_版本号.

发表了文章 • 2018-08-29 13:32 • 0 条评论

1
推荐
1043
阅读

屏蔽NiFi启动后自动恢复运行的job

NiFi启动后,开启的运行job会自动起来,这个对正常的环境很有帮助,不然一个个启动要忙死了^-^不过在测试环境,有时候就要屏蔽下.今天在测试CaptureChangeMySQL,发现启动这个组件后,一个cpu被全部占用了,然后NiFi的UI就挂掉了.重新启动NiFi,发现系统还是这样: 系统不能访问,cpu被完全占用.判断是这个process还是被开启成运行...

发表了文章 • 2018-08-27 17:43 • 0 条评论

1
推荐
1482
阅读

NiFi cluster默认运行GenerateFlowFile生成了大于一个的 Flowfile

这几天在测试NiFi的环境,正式环境准备使用一个3个节点的集群。测试了一个从单节点环境迁移过去的模板,发生了一个没想到的问题,GenerateFlowFile生成了大于一个的 Flowfile。模拟流程很简单,我只是把GenerateFlowFile作为一个定时器用.查了一下文档,发现在cluster环境下process可以运行在primary node或all nodes上,...

发表了文章 • 2018-08-17 17:43 • 0 条评论

1
推荐
1783
阅读

NiFi 入门:Kafka 数据同步到关系数据库(PostgreSQL)--Part3

Part1和Part2把如何使用EvaluateJsonPath获取属性值,SplitJson 拆分行数据说清楚了,还差Kafka源的部分.Kafka源的设置:NiFi中对应Kafka有不同版本, 分队对应0.9,0.10,0.11和1.0的不同Kafka版本,低版本的process可以处理高版本的KafkaHDP用的Kafka0.10的版本,我使用了ConsumeKafka_0_10,注意groupid不用和其他用的process...

发表了文章 • 2018-08-15 14:52 • 0 条评论

2
推荐
1064
阅读

xmlking/nifi-examples中com.crossbusiness.nifi.processors.ExecuteJavaScript的替换

在Apache NiFi的一些学习资源提到了xmlking/nifi-examples,不过里面很多template用到了他自己的组件com.crossbusiness.nifi.processors.ExecuteJavaScript,在引入模板的时候会出错开始怀疑NiFi版本问题. 由于这些模板比较老了, 我从0.5测试到0.7,还是不行.还尝试过按说明使用gradle部署,报了这个错: What went wron...

发表了文章 • 2018-08-13 17:22 • 0 条评论

0
推荐
1029
阅读

Kafka集群某台机器ip未开放导致连接失败

这几天在测试goldengate输出到Kafka的CDC,由于Kafka集群设置了ip限制, 由于新部署的NiFi机器申请权限的时候, j集群中某台机器ip忘了放开了.然后就悲剧了.开始那台机器有Kafkas是0.11的版本,  使用bin/kafka-console-consumer.sh 没连通了.开始估计是Kafka版本的问题, OGG输出的Kafka使用了0.10的版本,测试了0....

发表了文章 • 2018-08-12 21:33 • 0 条评论

1
推荐
1555
阅读

NiFi 入门:Kafka 数据同步到关系数据库(PostgreSQL)--Part2

接着part1的内容,介绍下拆分明细数据和insert到数据库的操作.拆分明细数据:总的流程图如下,比Part1多了2个processSplitJson:将trx_dtl的拆成多行EvaluateJsonPath:获取明细数据的属性查看一下数据,可以看到所有的属性了。insertPostgreSQL数据库:最简单就是使PutSQL组件,配置信息见下图,具体SQL如下:insert into...

发表了文章 • 2018-08-07 17:57 • 0 条评论

1
推荐
1951
阅读

NiFi 入门:Kafka 数据同步到关系数据库(PostgreSQL)--part1

看了一段时间NiFi的文档,也测试了一些的内容,现给大家介绍下吧。我目前使用了Hortonworks的HDF,只是为了部署方便, 这个示例使用单独安装的NiFi版本也一样的。先拿小票的示例来演示一下基本操作,具体实现小票数据从Kakfa 同步到数据库(PostgreSQL)。小票格式是个json串,包括表头信息和商品的明细信息,类似如下:{ "...

发表了文章 • 2018-08-06 21:31 • 0 条评论

2
推荐
1024
阅读

Hortonworks 社区一些NiFi record的帖子link

今天看了下Hortonworks 社区(https://community.hortonworks.com/index.html),由于最近在看NiFi record方面的内容,就按record搜索了一下,发现有好多好东西,先列在这里,慢慢看。 Using Apache NiFi to Validate that Records Adhere to a Schema (Part 1 of 2) https://community.hortonworks.com/articles/147...

发表了文章 • 2018-08-01 23:23 • 0 条评论