3
推荐
3130
阅读

Datastage 配置Odbc 连接Hive (内含实现作业)

版本:IBM InfoSphere DataStage V11.5.1操作系统:linux redhat 6.4平台:Apache Hadoop 2.6.0-cdh5.9.0场景:需要将数仓的表数据,加载到Hive 数据库供 Spark 分发数据。虽然测试成功,但是经过测试效率太慢。最后将数据存放到Hdfs  Hive 做外部映射表实现。另外DS11.5版本已经提供链接Hive 接口,同时支持链接Hi...

发表了文章 • 2017-03-20 20:35 • 4 条评论

2
推荐
2465
阅读

利用Datastage 对 Hadoop HDFS 文件 执行读写(内含实现作业)

版本:IBM InfoSphere DataStage V11.5.1操作系统:linux redhat 6.4平台:Apache Hadoop 2.6.0-cdh5.9.0介绍:在DataStage中,可通过File Connector组件或Big Data File组件来连接Hadoop平台,从而将传统RDBMS数据库或本地文件中的数据加载到HDFS。比较而言,Big Data File组件支持IBM BigInsights,提供更佳的读写性能...

发表了文章 • 2016-11-25 10:35 • 1 条评论