ODI 数据如何去重

0
ODS层中的A表,存在完全一样的重复数据。将A表数据抽取到DM层B表里,因为重复数据导致出错。咨询一下大家在抽取过程中如何去除重复数据。
已邀请:
0

li052468 2016-06-06 回答

用sql去重,或者先把重复数据利用etl工具的某些功能把重复数据先处理到其他地方再去重导入目标表(数据量大,但重复数据少),如ssis的重定向

要回复问题请先登录注册