关于Sqoop1.99.6实现从oracle到hive的数据表导入任务的问题!
0
各位好,
已经搭建hadoop2.6.1的平台,使用Sqoop1.99.6目标是从oracle到hive的数据表导入。已经通过create link --cid 1方式成功建立oracle连接,但hive的连接如何建立呢? 另外如何创建这个导入的任务。
据在网上的资料查询,sqoop1.4.4在hadoop低版本上可以实现,这个没问题,通过命令的方式可以完成(./sqoop import --connect "jdbc:oracle:thin:@(DESCRIPTION = (ADDRESS_LIST = (ADDRESS = (PROTOCOL = TCP)(HOST = *.*.*.*)(PORT = 1521))) (CONNECT_DATA = (SERVER = DEDICATED) (sid = GZEDUDB))) " --username user --password password --table ZGW_TEMP --hive-import -m 4 --split-by flow_code --hive-import --hive-table ZGW_TEMP --where 'flow_code>=02034074943'),但sqoop-1.99.6-bin-hadoop200这个怎样通过建立,hive连接,job,启动Job实现类似的功能呢?
已经搭建hadoop2.6.1的平台,使用Sqoop1.99.6目标是从oracle到hive的数据表导入。已经通过create link --cid 1方式成功建立oracle连接,但hive的连接如何建立呢? 另外如何创建这个导入的任务。
据在网上的资料查询,sqoop1.4.4在hadoop低版本上可以实现,这个没问题,通过命令的方式可以完成(./sqoop import --connect "jdbc:oracle:thin:@(DESCRIPTION = (ADDRESS_LIST = (ADDRESS = (PROTOCOL = TCP)(HOST = *.*.*.*)(PORT = 1521))) (CONNECT_DATA = (SERVER = DEDICATED) (sid = GZEDUDB))) " --username user --password password --table ZGW_TEMP --hive-import -m 4 --split-by flow_code --hive-import --hive-table ZGW_TEMP --where 'flow_code>=02034074943'),但sqoop-1.99.6-bin-hadoop200这个怎样通过建立,hive连接,job,启动Job实现类似的功能呢?
没有找到相关结果
重要提示:提问者不能发表回复,可以通过评论与回答者沟通,沟通后可以通过编辑功能完善问题描述,以便后续其他人能够更容易理解问题.
4 个回复
reeb2000 - china telecom 2015-12-03 回答
赞同来自:
repository.JdbcRepositoryTransaction [org.apache.sqoop.repository.JdbcRepositoryTransaction.close(JdbcRepositoryTransaction.java:111)] Attempting transaction commit
这个怎么解决?
牟瑞 - 大数据 Hadoop 讲师 Hadoop入门课程地址:http://www.hellobi.com/course/39 有架构师,技术总监,CTO的职位请联系我! 2015-12-03 回答
赞同来自:
andre_xuxu 2016-06-21 回答
赞同来自:
MarsJ - 大数据玩家~DS 2016-06-21 回答
赞同来自:
这个在我的博客里有写明具体的操作步骤,仅供参考,https://ask.hellobi.com/blog/marsj/4114
--------------------------分割----------------------
中午看到另一个问题关于如何利用Sqoop2从MySQL导入HDFS(https://ask.hellobi.com/question/19802),特意找了下以前的笔记,回答了那个问题,主要是如何创建JOB,该问题是从MySQL导入,其实与Oracle一样,只需要把Connector换成对应Oracle的ojdbc.jar,Connection信息也换一下,就可以了。