1
推荐
1870
阅读
如何删除Nifi中含template的group
今天在Nifi的开发环境发现一个group不用了, 就先把 group里面的组件,然后执行删除group操作,系统提示group含有template, 不能删除。开发环境上具体使用那个template也忘了,还好template上有对应的groupid 根据所在的group的groupid查找即可。
1
推荐
2204
阅读
NiFi 1.5和1.7版本的Schema Registriey不兼容
最近使用了HDF的最新版本,这个版本的Nifi从1.5升级到了1.7, 原来有个 NiFi 1.5的环境, 上面有用到Schema Registry.原来想偷一下懒,直接使用1.7对应的Schema Registry, 没想到报错了.查了下日志,发现可能新版本增加了一个字段:schemaMetadataIdCaused by: java.io.IOException: Failed to retrieve schema with name 'crm...
2
推荐
1972
阅读
如何做门店服装零售计划？-节假日的考虑
总的前提:又到年底了,又要开始做每年的预算,里面由于农历假期的特殊性,需要特殊考虑。当然这个主要是在节前考虑要多一点，涉及到备货和奖惩。一年的预算区间比较大，可以粗一点。先说一个前提，是在门店销量比较大的前提下的计划,如果按需或者短期 货品不在这个讨论中。主要是由于在当前的技术条件下，量大以后，供应链...
0
推荐
2600
阅读
Zeppelin基本介绍-安装
最近在使用Zeppelin,我理解Zeppelin是一个交互式数据分析工具，像Jupter一样，可以直接执行SQL，Python和Spark等接口， 具体支持哪些可以看interprete的介绍(https://zeppelin.apache.org/docs/0.8.0/usage/interpreter/overview.html)官网是https://zeppelin.apache.org/下载准备http://zeppelin.apache.org/download.h...
0
推荐
5200
阅读
NiFi组件PutHDFS的一些注意事项
之前的这篇blog NiFi 入门：Kakfa 数据同步到关系数据库(PostgreSQL) 只说了写到数据库. 写到HDFS或Mongo都可能有这个需要.先说一下把数据存储到, HDFS，按日期的文件名存储， 数据源还是Kafka。总的流程如下图： 使用PutHDFS process 大数据存储到HDFSPutHDFS设置Hadoop Configure +Resouroes参数就可以使用...
0
推荐
2019
阅读
参加2018百度ABCSUMMIT有感
今天上午参加了百度的 2018 ABC SUMMIT，上午主会场的演进还是很有感染力的。 具体内容可以看图片直播：http://vphotos.cn/7eDq百度的ABC专有概念还是要先理解下,不然不明白。现场还演示了一个,天津联通的智能客服, 也就是在特定场景下的语音识别, 当场演示的效果很不错.事后也打了一个电话测试了下, 有2个问题1....
0
推荐
3963
阅读
SparkStreaming下Python报net.jpountz.lz4.LZ4BlockInputStream的解决
这几天在测试SparkStreaming,连接Kafka一直报这个错, 18/08/30 21:09:00 ERROR Utils: Uncaught exception in thread stdout writer for python
java.lang.NoSuchMethodError: net.jpountz.lz4.LZ4BlockInputStream.<init>(Ljava/io/InputStream;Z)V
at org.apache.sp...
1
推荐
8253
阅读
Kafka中topic状态Leader:none的问题解决
昨天需要使用HDF的Schema registry, 不过先前NiFi加了kerberos认证,不能访问,参考这个文档后还不行,就把NiFi的认证功能去掉了.去除后要修改下Kafka参数,不然权限有问题(TOPIC_AUTHORIZATION_FAILED),最简单就是删除在装^-^不过还是出现问题了: Kafka新建的topic不能访问,察看了 topic信息发现这个topic的Leader: nonebin...
1
推荐
2934
阅读
Nifi对不同版本的Kafka提供了不同的process
Nifi对不同版本的Kafka提供了不同的process,还是很好判断的,GetKafka是Kafka0.8的版本,ConsumeKafka是0.9的版本, 针对后面的Kafka版本使用了的相同规则,ConsumeKafka_版本号.Record模式从0.10版本开始, 规则就是ConsumeKafkaRecord_版本号.
1
推荐
1943
阅读
屏蔽NiFi启动后自动恢复运行的job
NiFi启动后,开启的运行job会自动起来,这个对正常的环境很有帮助,不然一个个启动要忙死了^-^不过在测试环境,有时候就要屏蔽下.今天在测试CaptureChangeMySQL,发现启动这个组件后,一个cpu被全部占用了,然后NiFi的UI就挂掉了.重新启动NiFi,发现系统还是这样: 系统不能访问,cpu被完全占用.判断是这个process还是被开启成运行...
1
推荐
2743
阅读
NiFi cluster默认运行GenerateFlowFile生成了大于一个的 Flowfile
这几天在测试NiFi的环境，正式环境准备使用一个3个节点的集群。测试了一个从单节点环境迁移过去的模板，发生了一个没想到的问题，GenerateFlowFile生成了大于一个的 Flowfile。模拟流程很简单，我只是把GenerateFlowFile作为一个定时器用.查了一下文档，发现在cluster环境下process可以运行在primary node或all nodes上,...
1
推荐
3354
阅读
NiFi 入门：Kafka 数据同步到关系数据库(PostgreSQL)--Part3
Part1和Part2把如何使用EvaluateJsonPath获取属性值,SplitJson 拆分行数据说清楚了,还差Kafka源的部分.Kafka源的设置:NiFi中对应Kafka有不同版本, 分队对应0.9,0.10,0.11和1.0的不同Kafka版本,低版本的process可以处理高版本的KafkaHDP用的Kafka0.10的版本,我使用了ConsumeKafka_0_10,注意groupid不用和其他用的process...
1
推荐
2373
阅读
pyenv升级更新支持Python版本报错
以前一台安装的pyenv只支持Python3.5的版本,按照文档向升级下,操作见https://github.com/pyenv/pyenv#upgrading具体命令:$ cd $(pyenv root)
$ git pull没想到报错了error: while accessing https://github.com/yyuu/pyenv.git/info/refs发现这篇文档又解决(http://www.cnblogs.com/orcsir/p/8467978.html) NSS的版...
2
推荐
1945
阅读
xmlking/nifi-examples中com.crossbusiness.nifi.processors.ExecuteJavaScript的替换
在Apache NiFi的一些学习资源提到了xmlking/nifi-examples,不过里面很多template用到了他自己的组件com.crossbusiness.nifi.processors.ExecuteJavaScript,在引入模板的时候会出错开始怀疑NiFi版本问题. 由于这些模板比较老了, 我从0.5测试到0.7,还是不行.还尝试过按说明使用gradle部署,报了这个错: What went wron...
0
推荐
2186
阅读
Kafka集群某台机器ip未开放导致连接失败
这几天在测试goldengate输出到Kafka的CDC,由于Kafka集群设置了ip限制, 由于新部署的NiFi机器申请权限的时候, j集群中某台机器ip忘了放开了.然后就悲剧了.开始那台机器有Kafkas是0.11的版本, 使用bin/kafka-console-consumer.sh 没连通了.开始估计是Kafka版本的问题, OGG输出的Kafka使用了0.10的版本,测试了0....