sqoop在导入数据到mysql时,如何让数据不重复导入?若存在数据问题,sqoop如何处理

0
已邀请:
0

Bob - 同程旅游大数据+BI 架构师 2016-04-08 回答

你反馈的是指将hdfs的数据使用sqoop导出到mysql?如果是的话,那数据去重可安排在mysql端处理,也可安排在hdfs上进行处理
A:
1.使用hive对hdfs上的数据进行去重
2.使用sqoop进行数据导出
 
B:
1.使用sqoop进行数据daoc
2.在mysql上写存储过程进行数据的去重
 
 
0

babyxingqing - 一句话介绍 2016-04-06 回答

增量导入
0

MarsJ - 大数据玩家~DS 2016-04-08 回答

增量导入或更新导入,增量更新时指定增量或更新的键

要回复问题请先登录注册