flink

一、下载zookeeper、kafka安装包：1、 zookeeper: http://zookeeper.apache.org/releases.html(下载：apache-zookeeper-3.5.5.tar.gz)2、 kafka: http://kafka.apache.org/downloads.html(下载：kafka_2.11-2.2.1.tgz)如果找不到zookeeper下载地方，也可以直接进入：http://us.mirrors.quenda.co/apache/进行下载。二、...

如果我们有一个kafka-topic写了不同的数据，我们需要根据这个输入数据进行不同的处理逻辑，但是最终结果需要合并在一个流里面，那么这个时候即可用这么一波操作。1、使用split方法进行数据分流,把分流信息存到新建的OutputSelector对象里面2、调用split stream的select方法把 split stream 转成 data stream3、调用...

flink最简单的程序就是wordcount，即对单词进行计次计算。flink分流处理和批处理，流处理调用DataStream-api进行处理，批处理调用DataSet-api进行处理，DataSet、DataStream都是是flink底层的api。一、流式处理：新建一个数据流，使用StreamExecutionEnvironment的方法创建一个数据流：package flink;import org.apache....

一、基础开发环境准备：idea、maven、kafka本地环境安装配置好了即可。idea配置pom.xml文件，flink的主要依赖包加上 <!-- https://mvnrepository.com/artifact/org.apache.flink/flink-streaming-java --> <dependency> <groupId>org.apache.flink</groupId> ...

基础机器配置：MacBook Pro 其他机器可以搞个linux的虚拟机也一样。1、下载flink安装文件：路径：https://flink.apache.org/downloads.html一种是下载与hadoop匹配的版本，一种是下载纯净的flink版本，下面的是hadoop的全部版本，该案例下的是纯净版本：flink-1.5.2-src，没有使用hadoop绑定的版本，如果需要的话可以自...