海量数据比对
0
我每天要接受第三方提供的一个execl表格，里面的数据有上百万，然后和我的数据库里面的一个表比对（比对某个字段）。如果不一样，记录下来。有什么好的办法嘛？
没有找到相关结果
重要提示：提问者不能发表回复，可以通过评论与回答者沟通，沟通后可以通过编辑功能完善问题描述，以便后续其他人能够更容易理解问题.
2 个回复
BIWORK - 热衷于微软BI技术,技术架构和解决方案！ 2013-11-26 回答
赞同来自: 天涯浪子 、梁勇
a. 每次定时把这个 Excel 表格放到一个指定的磁盘或者文件夹里, 并且保持按日期或者固定格式命名.
b. 最好使用C#编程或者 SSIS Package 完成从 Excel 数据到数据库数据的导入, 因为百万条数据首先在 Excel 里面打开就很不现实，就别谈比较数据了，因此全部加载到数据库，在数据库中比较还是一个比较靠谱的办法。
c. 不建议在 SSIS Package 中通过 Look up 查找等对比，因为有的时候客户可能对数据不放心，需要看一下 Excel 中的数据，因此加载到表里并且可以适当保留3天左右的历史数据，以防有时需要重新检查.
d. 表与表之间的数据对比可以通过 CheckSum, Except 等多种查询形式搞定。
BIWORK - 热衷于微软BI技术,技术架构和解决方案！ 2013-11-26 回答
赞同来自: