seng的博客

从事BI、大数据、数据分析工作

0
推荐
132
阅读

推荐一本书<清单革命>

前几天看了一本书<清单革命>,是一个外科医生写的,  看完对自己很有些启发,我对这本书的理解基本是这样的.在一个需要自我决策并且多变的场景下, 需要一份清单列出必须得注意事项,帮助自己避免错误. 没有列出清单的具体模板,但是概念还是很好的.推荐大家看看.

发表了文章 • 2019-02-11 14:30 • 0 条评论

0
推荐
144
阅读

2018年前的seng的blog备份

数了一下在天善有199篇blog了,很有成就感.不过为了防止意外,生成了一个备份,防止丢失.^-^

发表了文章 • 2019-01-11 20:32 • 2 条评论

0
推荐
213
阅读

Oracle OpenWorld 2018的一些文档link

Oracle OpenWorld 2018在10月就举行了,现在采取看了下资料。链接是这个:   https://oracle.rainfocus.com/widget/oracle/oow18/catalogoow18就把相关文档下了些, 还没怎么看。当然云相关内容是重头戏。感觉关于OracleDB功能又扩展了, 运维、AI都有不少内容。目录如下, 具体大家自己看吧。

发表了文章 • 2018-12-24 14:04 • 0 条评论

1
推荐
253
阅读

通过jdbc读取OBIEE数据--Spark示例

最近在用Spark同步数据的时候想到,是否可以直接从已有的OBIEE读取数据,OBIEE上面有完整的语义层,读取数据就比较方便了.想到以前Rittmanmead有篇blog提到,如何使用jdbc驱动清除缓存的功能(https://www.rittmanmead.com/blog/2015/09/managing-the-obiee-bi-server-cache-from-odi-12c/),里面提到参考这个https://blogs.o...

发表了文章 • 2018-12-06 17:01 • 0 条评论

0
推荐
300
阅读

NiFi内存配置不足导致服务crash

最近在测试 NiFi稳定性,发现服务在大批量数据下不定时挂修改了内存参数解决了这个问题,具体是是修改bootstrap.confjava.arg.2=-Xms8gjava.arg.3=-Xmx8g具体可以参考这篇文档HDF/NIFI Best practices for setting up a high performance NiFi installation.

发表了文章 • 2018-11-16 09:11 • 0 条评论

1
推荐
361
阅读

Spark Structured Streaming的一些link

最近在测试相关内容, 以下列了一些我觉得有用的link官方文档Spark Structured Streaming Programming Guide https://spark.apache.org/docs/latest/structured-streaming-programming-guide.html https://spark.apache.org/docs/latest/structured-streaming-kafka-integration.html databricks Structured Streaming h...

发表了文章 • 2018-11-09 15:06 • 0 条评论

0
推荐
309
阅读

Nifi1.5升级到Nifi1.7

最近由于HDF版本的更新,Nifi的开发环境需要从Nifi1.5升级到Nifi1.7。Nifi的内容都存储到nifi安装目录下的这些目录,按Nifi的最佳实践把这些目录单独隔离出来,假设放到yourfolder/nifi_repository下,然后修改conf/nifi.propertiesnifi.flow.configuration.file=yourfolder/nifi_repository/flow_config/flow.xml.gz ni...

发表了文章 • 2018-11-09 09:25 • 0 条评论

1
推荐
450
阅读

Zeppelin基本介绍-配置Livy接口

Zeppelin的安装和如何使用本地Spark可以参考前一个文档要使用远程的Spark就需要使用Livy接口。由于开始准备使用zeppelin-0.8.0-bin-netinst的,没有配置成功,还是使用的完全版,说明以完全版为例。Spark的Livy服务我使用HDP,在Ambari查一下Livy 服务如果不存在可以通过host/spark client所在机器增加Zeppelin Livy Inte...

发表了文章 • 2018-10-22 17:08 • 0 条评论

1
推荐
278
阅读

如何删除Nifi中含template的group

今天在Nifi的开发环境发现一个group不用了, 就先把 group里面的组件,然后执行删除group操作,系统提示group含有template, 不能删除。开发环境上具体使用那个template也忘了,还好template上有对应的groupid 根据所在的group的groupid查找即可。

发表了文章 • 2018-10-19 11:35 • 0 条评论

1
推荐
361
阅读

NiFi 1.5和1.7版本的Schema Registriey不兼容

最近使用了HDF的最新版本,这个版本的Nifi从1.5升级到了1.7, 原来有个 NiFi 1.5的环境, 上面有用到Schema Registry.原来想偷一下懒,直接使用1.7对应的Schema Registry, 没想到报错了.查了下日志,发现可能新版本增加了一个字段:schemaMetadataIdCaused by: java.io.IOException: Failed to retrieve schema with name 'crm...

发表了文章 • 2018-10-11 14:24 • 0 条评论

2
推荐
342
阅读

如何做门店服装零售计划?-节假日的考虑

总的前提:又到年底了,又要开始做每年的预算,里面由于农历假期的特殊性,需要特殊考虑。当然这个主要是在节前考虑要多一点,涉及到备货和奖惩。一年的预算区间比较大,可以粗一点。先说一个前提,是在门店销量比较大的前提下的计划,如果按需或者短期 货品不在这个讨论中。主要是由于在当前的技术条件下,量大以后,供应链...

发表了文章 • 2018-10-10 11:53 • 0 条评论

0
推荐
396
阅读

Zeppelin基本介绍-安装

最近在使用Zeppelin,我理解Zeppelin是一个交互式数据分析工具,像Jupter一样,可以直接执行SQL,Python和Spark等接口, 具体支持哪些可以看interprete的介绍(https://zeppelin.apache.org/docs/0.8.0/usage/interpreter/overview.html)官网是https://zeppelin.apache.org/下载准备http://zeppelin.apache.org/download.h...

发表了文章 • 2018-10-10 11:50 • 0 条评论

0
推荐
673
阅读

NiFi组件PutHDFS的一些注意事项

之前的这篇blog NiFi 入门:Kakfa 数据同步到关系数据库(PostgreSQL)  只说了写到数据库. 写到HDFS或Mongo都可能有这个需要.先说一下把数据存储到, HDFS,按日期的文件名存储, 数据源还是Kafka。总的流程如下图: 使用PutHDFS process 大数据存储到HDFSPutHDFS设置Hadoop Configure +Resouroes参数就可以使用...

发表了文章 • 2018-09-08 17:12 • 0 条评论

0
推荐
389
阅读

参加2018百度ABCSUMMIT有感

今天上午参加了百度的 2018 ABC SUMMIT,上午主会场的演进还是很有感染力的。 具体内容可以看图片直播:http://vphotos.cn/7eDq百度的ABC专有概念还是要先理解下,不然不明白。现场还演示了一个,天津联通的智能客服,  也就是在特定场景下的语音识别, 当场演示的效果很不错.事后也打了一个电话测试了下, 有2个问题1....

发表了文章 • 2018-09-04 22:15 • 0 条评论

0
推荐
750
阅读

SparkStreaming下Python报net.jpountz.lz4.LZ4BlockInputStream的解决

这几天在测试SparkStreaming,连接Kafka一直报这个错, 18/08/30 21:09:00 ERROR Utils: Uncaught exception in thread stdout writer for python java.lang.NoSuchMethodError: net.jpountz.lz4.LZ4BlockInputStream.<init>(Ljava/io/InputStream;Z)V         at org.apache.sp...

发表了文章 • 2018-08-30 21:30 • 0 条评论