关于Sqoop1.99.6实现从oracle到hive的数据表导入任务的问题!

0
各位好,
   已经搭建hadoop2.6.1的平台,使用Sqoop1.99.6目标是从oracle到hive的数据表导入。已经通过create link --cid 1方式成功建立oracle连接,但hive的连接如何建立呢? 另外如何创建这个导入的任务。 
   据在网上的资料查询,sqoop1.4.4在hadoop低版本上可以实现,这个没问题,通过命令的方式可以完成(./sqoop import --connect "jdbc:oracle:thin:@(DESCRIPTION = (ADDRESS_LIST = (ADDRESS = (PROTOCOL = TCP)(HOST = *.*.*.*)(PORT = 1521))) (CONNECT_DATA = (SERVER = DEDICATED) (sid = GZEDUDB))) " --username user --password password --table  ZGW_TEMP --hive-import -m 4 --split-by flow_code --hive-import --hive-table ZGW_TEMP --where 'flow_code>=02034074943'),但sqoop-1.99.6-bin-hadoop200这个怎样通过建立,hive连接,job,启动Job实现类似的功能呢?
已邀请:
0

reeb2000 - china telecom 2015-12-03 回答

使用sqoop1.99.6从oracle到hdfs,不停的出现
 
repository.JdbcRepositoryTransaction [org.apache.sqoop.repository.JdbcRepositoryTransaction.close(JdbcRepositoryTransaction.java:111)] Attempting transaction commit
 
这个怎么解决?
0

牟瑞 - 大数据 Hadoop 讲师 Hadoop入门课程地址:http://www.hellobi.com/course/39 有架构师,技术总监,CTO的职位请联系我! 2015-12-03 回答

不好意思,通过oracle与hive导数据没有实施过,能不能换种思路。比如从oracle导出txt,然后通过hive的load命令load进去?
0

andre_xuxu 2016-06-21 回答

请问你这个问题解决没?
0

MarsJ - 大数据玩家~DS 2016-06-21 回答

你好,Sqoop 1.4.6的版本也可以在Hadoop 2.7.2上实现,并且 除了直接的sqoop import 命令外,还可以create sqoop job test ……,这个与sqoop 1.99.6中的create link --cid 1这种方式是一样的,然后在执行qoop job --exec test
这个在我的博客里有写明具体的操作步骤,仅供参考,https://ask.hellobi.com/blog/marsj/4114
 
--------------------------分割----------------------
中午看到另一个问题关于如何利用Sqoop2从MySQL导入HDFS(https://ask.hellobi.com/question/19802),特意找了下以前的笔记,回答了那个问题,主要是如何创建JOB,该问题是从MySQL导入,其实与Oracle一样,只需要把Connector换成对应Oracle的ojdbc.jar,Connection信息也换一下,就可以了。
 

要回复问题请先登录注册