sqoop在导入数据到mysql时,如何让数据不重复导入?若存在数据问题,sqoop如何处理?

0
已邀请:
0

MarsJ - 大数据玩家~DS 2016-08-30 回答

Sqoop从Hadoop或Hive或HBase将数据导出到MySQL,是导出,你可以查看一下Sqoop的增量导出。
如果Sqoop的导出你没有设置增量导出,则如果数据表没有设置主键,那么数据重复的时候不会报错,但是如果数据表设置了主键,当数据重复时,将导出不成功。
0

shiyuan 2016-12-09 回答

在sqoop脚本中前先清除分区表数据,然后再导入
 
 
 

要回复问题请先登录注册