seng的博客

从事BI、大数据、数据分析工作

1
推荐
2258
阅读

PipelineDB-Kafka删除配置的broker

前几天在添加broker时候,配置错了,需要删除,add命令很简单,类似这样的SELECT pipeline_kafka.add_broker('localhost:9092');不过文档里没看到删掉的命令,文档里也没有,后来在 https://githubcom/pipelinedb/pipeline_kafka/pipeline_kafka--0.9.3.sql找到如下定义CREATE FUNCTION pipeline_kafka.remove_broker ( ...

发表了文章 • 2017-03-28 17:22 • 0 条评论

1
推荐
3818
阅读

基于PostgreSQL的流式计算数据库PipelineDB-Kafka应用的实时零售小票实例

这是PipelineDB这个工具介绍的最后一篇了,其他基础内容可以看一下前面的我的几个博客。验证工作完成后接下来的工作,主要是在稳定性的具体功能的应用上了,那部分需要使用一阵再给大家介绍了,希望能够达到预期,不要像Oracle 物化视图一样^-^。具体以一张零售小票的流的流转为示例 ,应用系统将数据以json格式传递到Kaf...

发表了文章 • 2017-02-10 16:11 • 0 条评论

4
推荐
2069
阅读

关于open source的BIDW相关工具的思考

实际上我最近也有些迷茫, 主要还是在技术层面上,我做BIDW这行时间也不短了,传统的BIDW的工具现在还是那么些,10多年前的技术还是这些.关系数据库最好用的还是Oracle,ETL工具还是Informatica,前端倒有些变化,最近说的比较多的是敏捷BI,我主要还在用OBIEE,感觉却别最大还是可视化的差距,易上手\开发快\这些特性原来的BI工...

发表了文章 • 2017-01-26 23:19 • 2 条评论

0
推荐
2200
阅读

基于PostgreSQL的流式计算数据库PipelineDB--可能存在的问题

PipelineDB的基本测试都做完了,下一步就要看看是否能应用到正式环境上去了。要测试的几个点:性能、稳定性、具体问题的使用性不过最大的问题还是可能存在的问题的问题:1. stream view的稳定性和时效性   Oracle materizlized view 刚出来的时候, 特性的都想用,不过这个问题和刷新性能真的都很成问题 2.str...

发表了文章 • 2017-01-26 10:22 • 2 条评论

1
推荐
2387
阅读

基于PostgreSQL的流式计算数据库PipelineDB--一些重要的功能

PipelineDB一些重要功能,这里接列一下:SQL的一些高级应用:基于PostgreSQL的流式计算数据库PipelineDB--Output Streams 基于汇总的前后比较CREATE CONTINUOUS VIEW v_sum AS SELECT sum(x) FROM stream; CREATE CONTINUOUS VIEW v_deltas AS SELECT abs((new).sum - (old).sum) AS delta   FROM output_of('v_sum...

发表了文章 • 2017-01-25 17:46 • 0 条评论

1
推荐
3284
阅读

基于PostgreSQL的流式计算数据库PipelineDB--以Kafka为实时消息源

PipelineDB可以把Kafka作为流的源,当然也可以通过SQL传消息给Kafka.不过PipelineDB默认没有安装Kafka的接口,需要装extension,extension是Postgre的扩展,很多功能都可以通过扩展实现1准备Kafka按Kafka quick start 开始,见http://kafka.apache.org/quickstart#安装 cd /postgre/Kafka tar -xzf kafka_2.11-0.10.1.0.t...

发表了文章 • 2017-01-24 11:58 • 0 条评论

1
推荐
4024
阅读

Kafka Confluent Platform-Kafka的完整流处理解决方案

前几天都在测试PipelineDB的内容,看到可以PipelineDB把Kafka当做流的来源,就像测试一下。发现手上的版本还是0.8.2.2,就下了一个新版本0.10.1, 同时看了一下文档,发现Kafka核心的周边多了好多东西。最主要的就是kafka-connect和kafka-stream,把实时ETL和流计算都完成了,对我这等不会编程的人可是重大利好。Kafka周...

发表了文章 • 2017-01-22 17:02 • 6 条评论

1
推荐
3332
阅读

基于PostgreSQL的流式计算数据库PipelineDB--基本测试

昨天的博客介绍了一下所有的技术场景基于PostgreSQL的流式计算数据库PipelineDB--技术应用场景今天主要测试一下,continuous view和基本的流数据复制功能。注意PipelineDB是没有事务概念的,这个一定要记住。如果用其他工具去连可能不要选择autocommit选项,我用dbvisualizer就不能选这个。准备表和streamcreate stream ...

发表了文章 • 2017-01-20 18:05 • 0 条评论

1
推荐
3439
阅读

基于PostgreSQL的流式计算数据库PipelineDB--技术应用场景

昨天的博客介绍了一下PipelineDB的安装今天本来想做一些实际的应用测试,不过想想还是先需要技术场景,然后围绕这个做些测试没就花了这个图。 明天会围绕这个做功能测试。

发表了文章 • 2017-01-19 17:00 • 0 条评论

3
推荐
3959
阅读

基于PostgreSQL的流式计算数据库PipelineDB--安装

PipelineDB是基于PostgreSQL的一个流式计算数据库,看一下官方文档的定义:PipelineDB is built to run SQL queries continuously on streaming data. The output of these continuous queries is stored in regular tables which can be queried like any other table or view. Thus continuous queries can be thought...

发表了文章 • 2017-01-18 11:59 • 2 条评论

5
推荐
1804
阅读

如何根据地址获取地图的坐标?

上一篇博客<通过百度地图缩放功能显示不同层级的数据 >提到了如何实现具体的地图缩放,但现实上还有个问题,拿到的数据只有地址,没有坐标, 这个就有点问题了.找了一下,百度地图别人已经有人做了一个现成示例, 可以按地址一个一个去查,可以参考这篇文档:http://www.cnblogs.com/jianglan/archive/2013/05/31/3108646....

发表了文章 • 2017-01-17 23:21 • 1 条评论

1
推荐
4059
阅读

通过百度地图缩放功能显示不同层级的数据

原来使用百度地图显示门店和分公司的业绩信息,近有一个需求,需要在原来的地图上实现缩放切换的功能,比例大的地图就显示城市,比例小的地图就显示门店。查了一下,可以注册zoomend事件,根据map.getViewport().zoom获取当前比例值,然后根据不同要求更新显示。示例:城市级别:门店级别:代码:<script type="text/j...

发表了文章 • 2017-01-16 17:45 • 2 条评论

2
推荐
2370
阅读

转一篇OBIEE12C使用web界面下载/上传rpd文件的探索

原文 发表于 Web-Based RPD Upload and Download for OBIEE 12c我还没尝试过 ,不过 rittmanmead blog上的东西 都比较靠谱的,有兴趣的同学可以尝试下。我也会尽快测试一下,不过注意这个是非官方功能,一定要有备份,包括安装的目录。

发表了文章 • 2017-01-15 22:43 • 6 条评论

2
推荐
4740
阅读

黑苹果在HP笔记本上的安装

我最近买了一台HP 8470P的翻新机,本来也没想要装黑苹果.不过在网上看到一篇<iOS开发有救了!13级神机8470p安装黑苹果El Capitan>(http://tieba.baidu.com/p/4167453122),简单看了一下,觉得不难,就尝试装了一下.经过几天的努力,终于在上把黑苹果10.11装上了,这就把过程中遇到的坑和步骤写下来,供参考.目前已知的2种...

发表了文章 • 2017-01-15 00:31 • 0 条评论

1
推荐
1902
阅读

装黑苹果的准备工作

最近弄了一台HP8470p的二手本,最早看了一篇< iOS开发有救了!13级神机8470p安装黑苹果El Capitan教程>感觉很有意思,就准备装一下,不了尝试了一下,还有有些困难,不过总算把安装界面弄出来,不过安装还没成功。然后好好查了一下相关文档,先记录一下,等装好在具体介绍。Guide To Install Yosemite on HP Laptops...

发表了文章 • 2017-01-08 23:47 • 0 条评论