kafka
0
推荐
2586
浏览
Windows本地安装zk&kafka环境
一、下载zookeeper、kafka安装包：1、 zookeeper: http://zookeeper.apache.org/releases.html(下载：apache-zookeeper-3.5.5.tar.gz)2、 kafka: http://kafka.apache.org/downloads.html(下载：kafka_2.11-2.2.1...
brucelu 发表了文章 • 2019-09-05 09:24
1
推荐
2179
浏览
DataPipeline |《Apache Kafka实战》作者胡夕：Apache Kafka监控与调优
胡夕，《Apache Kafka实战》作者，北航计算机硕士毕业，现任某互金公司计算平台总监，曾就职于IBM、搜狗、微博等公司。国内活跃的Kafka代码贡献者。前言虽然目前Apache Kafka已经全面进化成一个流处理平台，但大...
DataPipeline 发表了文章 • 2018-09-04 17:35
1
推荐
8265
浏览
Kafka中topic状态Leader:none的问题解决
昨天需要使用HDF的Schema registry, 不过先前NiFi加了kerberos认证,不能访问,参考这个文档后还不行,就把NiFi的认证功能去掉了.去除后要修改下Kafka参数,不然权限有问题(TOPIC_AUTHORIZATION_FAILED),最简单就是删...
seng 发表了文章 • 2018-08-30 15:34
0
推荐
1688
浏览
【老贝伏枥】3.Kafka之分区与副本
1、Partition（分区） 为了使得kafka吞吐量线性提高，物理上把topic分成一个或者多个分区（一般小于等于集群的个数），每一个分区是一个有序的队列。且每一个分区在物理上都对应着一个文件夹，该文...
贝克汉姆 发表了文章 • 2018-06-05 20:38
1
推荐
2167
浏览
【老贝伏枥】-2.kafka单机实践-实时WordCount
2.3、实现一个实时词频统计 Kafka Streams是用于构建关键任务实时应用程序和微服务的客户端库，输入或输出数据存储在Kafka集群中。它结合了在客户端编写和部署标准Java和Scala应用程序的简单性，以及Kafka...
贝克汉姆 发表了文章 • 2018-05-19 16:35
1
推荐
1693
浏览
【老贝伏枥】-2.kafka单机实践-文件监控
2.2、Connector组件 要实现文件监控功能，首先必须了解Connector组件的功能特点。Connector方便的从控制台写入数据并将其写入控制台，它可以导入来自其他来源的数据，或导出数据到其他外部系统。Kafka Conn...
贝克汉姆 发表了文章 • 2018-05-17 23:26
2
推荐
1790
浏览
【老贝伏枥】-2.kafka单机实践-单机
2.1 安装 1)、下载安装组件 首先准备虚拟机，CentOs/Redhat，按自己喜好来。 下载安装介质：https://www.apache.org/dyn/closer.cgi?path=/kafka/1.1.0/kafka_2.11-1....
贝克汉姆 发表了文章 • 2018-05-16 12:00
3
推荐
2741
浏览
虚拟机安装CentOS系统,并在系统里安装python、spark、kafka，建立postgreSQL数据库
虚拟机直接网上下载后，按照流程一键安装就行，这个比较简单就不多叙述一、安装linux系统1.1 安装好虚拟机后，直接去官网下载CentOS7，链接http://mirrors.shu.edu.cn/centos/7/isos/x86_64/CentOS-7-x86_6...
走马兰台 发表了文章 • 2018-05-16 00:08
3
推荐
2399
浏览
【老贝伏枥】-1.入门自学kafka
上周一位做前端的‘小鲜肉’前来应聘，刚毕业三年。他到‘果小美’工作不足月就突遇转型风波，研发部除核心之外的‘码农’全体失业了。作为一位架构师的条件反射，除前端技术之外，还细问了所做项目的整体框架，...
贝克汉姆 发表了文章 • 2018-05-14 21:00
3
推荐
3205
浏览
【大数据】KSQL初体验
8月28日，Kafka的作者Neha Narkhede在Confluent上发表了名为《Introducing KSQL: Open Source Streaming SQL for Apache Kafka》的博文，介绍了Kafka新引入的KSQL引擎——一个基于kafka数据的...
w卫东 发表了文章 • 2017-09-13 15:47
0
投票
0
回答
1141
浏览
kafka数据从线上导到本地 大家一般都怎么做的啊 如果能直接用kafka的文件是最好的了
athoschen 发起了问题 • 2017-03-06 10:16
1
推荐
3823
浏览
基于PostgreSQL的流式计算数据库PipelineDB-Kafka应用的实时零售小票实例
这是PipelineDB这个工具介绍的最后一篇了，其他基础内容可以看一下前面的我的几个博客。验证工作完成后接下来的工作,主要是在稳定性的具体功能的应用上了，那部分需要使用一阵再给大家介绍了，希望能够达到预期，...
seng 发表了文章 • 2017-02-10 16:11
1
推荐
4026
浏览
Kafka Confluent Platform-Kafka的完整流处理解决方案
前几天都在测试PipelineDB的内容，看到可以PipelineDB把Kafka当做流的来源，就像测试一下。发现手上的版本还是0.8.2.2，就下了一个新版本0.10.1， 同时看了一下文档，发现Kafka核心的周边多了好多东西。最主要的...
seng 发表了文章 • 2017-01-22 17:02
0
投票
1
已解决
2525
浏览
能问一下kafka的作用是干嘛？和zookeeper有什么区别？不是很了解
kamil 回复了问题 • 2017-01-13 13:40
2
推荐
9301
浏览
基于Flume -> Kafka -> Stream(Spark)的架构日志收集demo搭建（part1）
最近在做日志收集方面工作，在此之上也需要实现实时计算，由于以前也没做过这方面工作，从基础开始搭建demo，真实环境估计会有很大不同，可以先做测试验证。计划搭建Flume -> Kafka -> Storm(Spark)的架构...
seng 发表了文章 • 2015-10-20 23:26
kafka是消息队列服务
zookeeperba保证集群环境应用数据的一致性
zookeeperba保证集群环境应用数据的一致性
kafka是消息队列服务
zookeeperba保证集群环境应用数据的一致性
zookeeperba保证集群环境应用数据的一致性
0
投票
0
回答
1141
浏览
kafka数据从线上导到本地 大家一般都怎么做的啊 如果能直接用kafka的文件是最好的了
athoschen 发起了问题 • 2017-03-06 10:16
0
投票
1
已解决
2525
浏览
能问一下kafka的作用是干嘛？和zookeeper有什么区别？不是很了解
kamil 回复了问题 • 2017-01-13 13:40
0
推荐
2586
浏览
Windows本地安装zk&kafka环境
一、下载zookeeper、kafka安装包：1、 zookeeper: http://zookeeper.apache.org/releases.html(下载：apache-zookeeper-3.5.5.tar.gz)2、 kafka: http://kafka.apache.org/downloads.html(下载：kafka_2.11-2.2.1...
brucelu 发表了文章 • 2019-09-05 09:24
1
推荐
2179
浏览
DataPipeline |《Apache Kafka实战》作者胡夕：Apache Kafka监控与调优
胡夕，《Apache Kafka实战》作者，北航计算机硕士毕业，现任某互金公司计算平台总监，曾就职于IBM、搜狗、微博等公司。国内活跃的Kafka代码贡献者。前言虽然目前Apache Kafka已经全面进化成一个流处理平台，但大...
DataPipeline 发表了文章 • 2018-09-04 17:35
1
推荐
8265
浏览
Kafka中topic状态Leader:none的问题解决
昨天需要使用HDF的Schema registry, 不过先前NiFi加了kerberos认证,不能访问,参考这个文档后还不行,就把NiFi的认证功能去掉了.去除后要修改下Kafka参数,不然权限有问题(TOPIC_AUTHORIZATION_FAILED),最简单就是删...
seng 发表了文章 • 2018-08-30 15:34
0
推荐
1688
浏览
【老贝伏枥】3.Kafka之分区与副本
1、Partition（分区） 为了使得kafka吞吐量线性提高，物理上把topic分成一个或者多个分区（一般小于等于集群的个数），每一个分区是一个有序的队列。且每一个分区在物理上都对应着一个文件夹，该文...
贝克汉姆 发表了文章 • 2018-06-05 20:38
1
推荐
2167
浏览
【老贝伏枥】-2.kafka单机实践-实时WordCount
2.3、实现一个实时词频统计 Kafka Streams是用于构建关键任务实时应用程序和微服务的客户端库，输入或输出数据存储在Kafka集群中。它结合了在客户端编写和部署标准Java和Scala应用程序的简单性，以及Kafka...
贝克汉姆 发表了文章 • 2018-05-19 16:35
1
推荐
1693
浏览
【老贝伏枥】-2.kafka单机实践-文件监控
2.2、Connector组件 要实现文件监控功能，首先必须了解Connector组件的功能特点。Connector方便的从控制台写入数据并将其写入控制台，它可以导入来自其他来源的数据，或导出数据到其他外部系统。Kafka Conn...
贝克汉姆 发表了文章 • 2018-05-17 23:26
2
推荐
1790
浏览
【老贝伏枥】-2.kafka单机实践-单机
2.1 安装 1)、下载安装组件 首先准备虚拟机，CentOs/Redhat，按自己喜好来。 下载安装介质：https://www.apache.org/dyn/closer.cgi?path=/kafka/1.1.0/kafka_2.11-1....
贝克汉姆 发表了文章 • 2018-05-16 12:00
3
推荐
2741
浏览
虚拟机安装CentOS系统,并在系统里安装python、spark、kafka，建立postgreSQL数据库
虚拟机直接网上下载后，按照流程一键安装就行，这个比较简单就不多叙述一、安装linux系统1.1 安装好虚拟机后，直接去官网下载CentOS7，链接http://mirrors.shu.edu.cn/centos/7/isos/x86_64/CentOS-7-x86_6...
走马兰台 发表了文章 • 2018-05-16 00:08
3
推荐
2399
浏览
【老贝伏枥】-1.入门自学kafka
上周一位做前端的‘小鲜肉’前来应聘，刚毕业三年。他到‘果小美’工作不足月就突遇转型风波，研发部除核心之外的‘码农’全体失业了。作为一位架构师的条件反射，除前端技术之外，还细问了所做项目的整体框架，...
贝克汉姆 发表了文章 • 2018-05-14 21:00
3
推荐
3205
浏览
【大数据】KSQL初体验
8月28日，Kafka的作者Neha Narkhede在Confluent上发表了名为《Introducing KSQL: Open Source Streaming SQL for Apache Kafka》的博文，介绍了Kafka新引入的KSQL引擎——一个基于kafka数据的...
w卫东 发表了文章 • 2017-09-13 15:47
1
推荐
3823
浏览
基于PostgreSQL的流式计算数据库PipelineDB-Kafka应用的实时零售小票实例
这是PipelineDB这个工具介绍的最后一篇了，其他基础内容可以看一下前面的我的几个博客。验证工作完成后接下来的工作,主要是在稳定性的具体功能的应用上了，那部分需要使用一阵再给大家介绍了，希望能够达到预期，...
seng 发表了文章 • 2017-02-10 16:11
1
推荐
4026
浏览
Kafka Confluent Platform-Kafka的完整流处理解决方案
前几天都在测试PipelineDB的内容，看到可以PipelineDB把Kafka当做流的来源，就像测试一下。发现手上的版本还是0.8.2.2，就下了一个新版本0.10.1， 同时看了一下文档，发现Kafka核心的周边多了好多东西。最主要的...
seng 发表了文章 • 2017-01-22 17:02
2
推荐
9301
浏览
基于Flume -> Kafka -> Stream(Spark)的架构日志收集demo搭建（part1）
最近在做日志收集方面工作，在此之上也需要实现实时计算，由于以前也没做过这方面工作，从基础开始搭建demo，真实环境估计会有很大不同，可以先做测试验证。计划搭建Flume -> Kafka -> Storm(Spark)的架构...
seng 发表了文章 • 2015-10-20 23:26
