0
推荐
3331
阅读
微软BI 之SSIS 系列 - 使用 Script Component Transformation 异步转换不规则文件
开篇介绍在数据流中， Script Component 中的 Transformation 类型不仅可以实现同步转换功能，并且还可以实现异步转换功能。所谓同步转换，即在从上游数据行传递给 Script Component 的时候，是每传入一行处理一行再往下输出一行。异步转换一般是需要接受到来自上游的所有行，处理之后再往下输出。但是，异步转换也分为...
0
推荐
4443
阅读
微软BI 之SSIS 系列 - 初步使用 Script Component 记录数据流行数
开篇介绍 在 ETL 项目中，很多时候情况下是需要通过编程的手段来解决一些问题的。比如说在控制流中对参数的验证，文件路径的验证，文件的移动拷贝归档等等，包括在数据流中需要通过编程处理一些比如特殊不规则文件的读取，复杂的分支流程处理，包括对数据库的访问等等。在控制流中我们可以使用到 Script Task，同样...
0
推荐
9455
阅读
微软BI 之SSIS 系列 - Lookup 缓存
开篇介绍关于 Lookup 的缓存其实在之前的一篇文章中已经提到了 微软BI 之SSIS 系列 - Lookup 组件的使用与它的几种缓存模式 - Full Cache, Partial Cache, NO Cache 但是还是可能遗漏的部分内容，因此在这里重新总结并补充一下。这是第一篇，还是从理论的角度来讨论 Lookup 缓存的问题；后面有空还会再写一篇...
0
推荐
3366
阅读
微软BI 之SSIS 系列 - XML Task 之 Validate 文件验证，XSLT 样式转换，XPath 元素查找三大功能
开篇介绍在 ETL 项目中处理 XML 大概有这么几种常见情况：上游程序或者第三方返回程序传递给 BI 程序就是 XML 格式的文件，通常情况下这种文件格式双方约定好了就不会更改，那么我们需要在加载 XML 文件的数据之前验证一下这个 XML 格式的数据文件是否符合我们之前的定义。如果满足验证，我们就处理，不满足那么我们就不...
0
推荐
18466
阅读
微软BI 之SSIS 系列 - 使用 Send Mail Task 邮件通知错误
开篇介绍大多数情况下我们的 SSIS 包都会配置在 SQL Agent Job 中周期性的按计划执行，比如每天晚上调用 SSIS 包刷新数据，处理 Cube 等。一旦 SSIS 包中出现任何异常，报错，那么配置在 SQL Agent Job 中的通知，邮件提醒就会把这些错误信息发邮件到指定的用户或者系统维护者，这样就起到了一个错误监控的作用。但是有...
0
推荐
3177
阅读
微软BI 之SSIS 系列 - XML Task 之 Merge 文件合并，Diff 差异对比，Patch 差异还原
开篇介绍在上一篇文章中提到了 XML Task 的三种操作方法，分别是 Validate 验证，XSLT 样式表转换，XPath 查询。今天我们继续 XML Task 中剩下的几种操作方法 - Merge，Diff 和 Patch。Merge 的使用 Merge 操作在 XML 中的用法主要是合并两个 XML 文件的内容到第三个新的文件，或者将第二个 XML 文件的...
0
推荐
6433
阅读
微软BI 之SSIS 系列 - 在 SSIS Script 中读写用户自定义变量与断点调试
开篇介绍在 ETL 的设计与开发过程中，我们经常需要通过一些编程的方式来解决一些比较复杂的需求，比如通过 C# 的代码来完成一些复杂逻辑的操作。那么在 SSIS 中有两个基本的控件可以让我们通过 C# 或者 VB 的语法进行自定义编程，一个是控制流中的 Script Task ，一个是数据流中的 Script Component。如果要学习和掌握 S...
13
推荐
9116
阅读
挑战一个 ETL 数据清洗的小案例
开篇语这是我以前做过一个汽车金融项目中的数据处理案例，从原业务系统中抽取业务数据然后按照规则计算出每一个ID对应的时间周期。原数据结构和我这里描述的大同小异，业务规则也比较接近，我整理一个数据原型，大家有时间可以做的试一下。可以用 SQL 的方式，也可以用 ETL 工具，要做的事情就是将很不规则的原数据按照...
2
推荐
3680
阅读
微软BI 之SSIS 系列 - 理解Data Flow Task 中的同步与异步, 阻塞,半阻塞和全阻塞以及Buffer 缓存概念
开篇介绍在 SSIS Dataflow 数据流中的组件可以分为 Synchronous 同步和 Asynchronous 异步这两种类型。同步与异步 Synchronous and AsynchronousSynchronous 同步组件同步组件有一个非常重要的特征 - 同步组件的输出和它的输入共享同一个缓存，即输入多少行数据输出就多少行数据。在同步转换的过程中，输入一行，输出一...
1
推荐
4628
阅读
微软BI 之SSIS 系列 - Merge, Merge Join, Union All 合并组件的使用以及Sort 排序组件同步异步的问题
开篇介绍SSIS Data Flow 中有几个组件可以实现不同数据源的数据合并功能，比如 Merger, Merge Join 和 Union All。它们的功能比较类似，同时也比较容易混淆，下面是对它们之间的区别的对比总结。 下面通过三个 Data Flow 来演示这三个组件的使用以及相关的配置。测试数据源第一个数...
3
推荐
4218
阅读
微软BI 之SSIS 系列 - 数据仓库中实现 Slowly Changing Dimension 缓慢渐变维度的三种方式
开篇介绍关于 Slowly Changing Dimension 缓慢渐变维度的理论概念请参看 数据仓库系列 - 缓慢渐变维度 (Slowly Changing Dimension) 常见的三种类型及原型设计本篇文章总结了实现缓慢渐变维度的几种方式，并且分析了 Changing Attribute 和 Historical Attribute 输出的逻辑过程。示例一：SSIS 中使用 Slowly Chang...
0
推荐
4141
阅读
微软BI 之SSIS 系列 - 再谈Lookup 缓存
开篇介绍关于 Lookup 的缓存其实在之前的一篇文章中已经提到了 微软BI 之SSIS 系列 - Lookup 组件的使用与它的几种缓存模式 - Full Cache, Partial Cache, NO Cache 但是还是可能遗漏的部分内容，因此在这里重新总结并补充一下。这是第一篇，还是从理论的角度来讨论 Lookup 缓存的问题；后面有空还会再写一篇...
0
推荐
4036
阅读
微软BI 之SSIS 系列 - 通过设置 CheckPoints 检查点来增强 SSIS Package 流程的重用性
开篇介绍通常一个 ETL Package 是由多个控制流和数据流共同组成，有的时候 ETL 的步骤可能会比较多，整个流程执行下来的时间可能比较长。假设在 ETL Package 中包含5个Task，前3个Task执行超过1个小时，到了第4个Task的时候发生失败。如果下次执行的时候重新从第1个任务开始执行，那么又要花费1个小时等待 1-3 任务执行...
0
推荐
4755
阅读
微软BI 之SSIS 系列 - 使用 Script Task 访问非 Windows 验证下的 SMTP 服务器发送邮件
开篇介绍大多数情况下我们的 SSIS 包都会配置在 SQL Agent Job 中周期性的按计划执行，比如每天晚上调用 SSIS 包刷新数据，处理 Cube 等。一旦 SSIS 包中出现任何异常，报错，那么配置在 SQL Agent Job 中的通知，邮件提醒就会把这些错误信息发邮件到指定的用户或者系统维护者，这样就起到了一个错误监控的作用。但是在...
0
推荐
3800
阅读
微软BI 之SSIS 系列 - Lookup 中的字符串比较大小写处理 Case Sensitive or Insensitive
开篇介绍前几天碰到这样的一个问题，在 Lookup 中如何设置大小写不敏感比较，即如何在 Lookup 中的字符串比较时不区分大小写？实际上就这个问题已经有很多人提给微软了，但是得到的结果就是 Closed and Won’t fix。 说白了，这个就是 By Design，包括到现在的 2012 也没有这个配置选项。https://connect.microsoft.com/S...