0
推荐
3963
阅读
SparkStreaming下Python报net.jpountz.lz4.LZ4BlockInputStream的解决
这几天在测试SparkStreaming,连接Kafka一直报这个错, 18/08/30 21:09:00 ERROR Utils: Uncaught exception in thread stdout writer for python
java.lang.NoSuchMethodError: net.jpountz.lz4.LZ4BlockInputStream.<init>(Ljava/io/InputStream;Z)V
at org.apache.sp...
2
推荐
2513
阅读
HDP 平台oozie上sqoop节点的使用
1. sqoop import基本原理a.读取db数据到临时目录 b.临时目录 load到hive表(LOAD DATA INPATH '/sparktest/ooziedata/sparktest00/' OVERWRITE INTO TABLE spark_test03;)sqoop import --connect jdbc:postgresql://bigdatamster:5432/public --username user --password pwd -m1 --table spark_test --hive-import...
3
推荐
3631
阅读
HDP 平台oozie上spark2节点的使用
HDP 上oozie默认使用spark1,不是spark2,需要自己准备，这个可以参考bk_spark-component-guide.pdf p49日志看起来也有些麻烦，具体执行的内容可能需要查看History Server的日志1.准备lib按照说明文当作就可以了，测试下来如果不要要使用hive,应该可以不用hive-site.xml1. Create a spark2 ShareLib directory...
1
推荐
2528
阅读
HDP中oozie hive2节点总结
HDP的workflow manager使用还是蛮方便的，不过oozie的配置和依赖还是有点麻烦的。先聊一下oozie hive2节点的操作，这个一般不会有什么问题，按正确流程配好就可以了。1.正确配好lib可能出现类似这样的错误：Error starting action [hive2_1]. ErrorType [FAILED], ErrorCode [EJ001], Message [Could not locate Oozie s...
2
推荐
1952
阅读
Hortonworks HDP中oozie的一些问题
HDP上的ooize可以使用Workflow Manager配置使用。不过Hortonworks相关的内容分散在好几个文档里， 而且其中不同组件的设置也不在一起，这个很让人头痛。主要是这几个文档：workflow-management
bk_data-movement-and-integration
比要使用如spark2就要参考 bk_spark-component-guide具体使用下来，目前碰到最大的问题是...
1
推荐
2185
阅读
Hortonworks HDP默认配置HIve2 view执行sql出错
这几天使用HDP Hive 2 view又碰到一些问题，视图可以打开，但是不能执行SQL语句。按HDP Apache Ambari Views文档检查了一下，这样配置1. In Ambari Web, browse to
2. Under the Advanced tab, browse to the Custom core-site section.
3. Click Add Property… to add the following custom properties:
hadoop.proxyus...
0
推荐
1692
阅读
Hortonworks HDP中Kafka访问报错
HDP里面Kafka部署完后，使用java程序给kafka发送数据会报错，具体的错误信息如下，WARN kafka.producer.async.DefaultEventHandler:89 - Failed to send producer request with correlation id 2 to broker 1002 with data for partitions [test,0]注意id=2这个是不定的，等于其他值也有可能。具体解决从这个link找到htt...
0
推荐
2387
阅读
Hortonworks HDP安装过程的一些问题
最后还是决定安装Hortonworks 2.6.4.0,使用ambari自动安装模式具体参考https://docs.hortonworks.com/HDPDocuments/Ambari-2.6.2.0/bk_ambari-installation/content/download_the_ambari_repo_lnx7.html具体流程0.检查和准备就是一些常规内容,按照文档做就可以了注意主机点和其他机器的免密登陆还有每台机器时间同步如果...