开篇语
这是我以前做过一个汽车金融项目中的数据处理案例，从原业务系统中抽取业务数据然后按照规则计算出每一个ID对应的时间周期。原数据结构和我这里描述的大同小异，业务规则也比较接近，我整理一个数据原型，大家有时间可以做的试一下。可以用 SQL 的方式，也可以用 ETL 工具，要做的事情就是将很不规则的原数据按照要求清洗成规范的数据，最后得到每一个 ID 的 DURATION 值，我们的报表要呈现的就是这些值。
测试数据
最左侧是测试数据，中间的是我当时清洗数据的时候创建的中间表，用来后续记录并检查数据逻辑的，最左侧是最终每一个 ID 的有效时间天数。
对应的规则解释与清洗过程逻辑描述，规则见最下方。
清洗规则
如果要说 ETL 处理的是什么样的数据，处理场景是怎么样的，这个案例就可以算一个。
补充
上述的只是测试数据涉及到 7 个 ID，实际上我们处理的数据量有几千万，覆盖 20 多个场景，所以也可以自行补充一些数据测试来验证程序的正确性。
PS：感谢@要选就选S型的提醒，数据源的中数据 ID=1005中 其中原 0034 更正为 0022。
16 个评论
展现是否应该是这样？
Start_date End_date DURATION
2015-01-18 2015-01-22 4
2015-01-23 2015-01-24 1
jjzhangfre 回复 BAO胖子
清洗规则的描述中是0036，测试数据中也没有0046编码。
