0
推荐
3489
阅读
微软BI 之SSIS 系列 - Expression Task 的使用与变量赋值的三个阶段
开篇介绍在 SQL Server 2012 之前的版本中，在包启动之后，如果我们想改变一个变量的值的话，我们是需要通过 Script Task 去完成赋值，或者使用 Execute SQL Task 的 Output 或者 ReturnValue 方式给一个变量来赋值。但是现在在 SQL Server 2012 版本中我们现在直接有了一个新的控件 Expression Task，我们直接可以通过 ...
0
推荐
4104
阅读
微软BI 之SSIS 系列 - SSIS Script 中的参数验证
开篇介绍在 ETL 项目中的SSIS 包中的参数是可配置的，为了更好的控制人为传入的参数的正确性，或者为了确保 SSIS 程序的健壮性，那么在包执行之初会对 SSIS 包参数进行验证。包参数通过验证，则说明参数是可靠的，ETL 逻辑可以继续执行。如果不能通过验证，那么就需要格外的进行逻辑处理或者包将主动报错，这样就不会后...
0
推荐
7092
阅读
微软BI 之SSIS 系列 - ErrorOutput 错误输出与处理
开篇介绍在实际项目中，特别是从某数据源抽取数据到目标表的时候，我相信大家经常碰到的几种情况有：加载数据的时候在数据源端控件出现错误。数据源端的错误解决了，但是在数据目标控件位置又出现了错误。通过增加 Data Conversion 进行数据类型转换可能解决了错误使得整个流程成功了，但是为什么？数据源端出现的错误。...
0
推荐
4602
阅读
微软BI 之SSIS 系列 - 使用 Script Component Transformation 转换不规则文件
开篇介绍在 微软BI 之SSIS 系列 - 使用 Script Component Source (脚本任务-源) 解析不规则文件 这篇文章中我们使用到了 Script Component Source 来解决不规则文件的加载与解析操作，同样的我们也完全可以使用 Script Component Transformation 来解决这个问题。所用的源文件，表结构都和 微软BI 之SSIS 系列 - 使用 Sc...
0
推荐
3343
阅读
微软BI 之SSIS 系列 - 使用 Script Component Transformation 异步转换不规则文件
开篇介绍在数据流中， Script Component 中的 Transformation 类型不仅可以实现同步转换功能，并且还可以实现异步转换功能。所谓同步转换，即在从上游数据行传递给 Script Component 的时候，是每传入一行处理一行再往下输出一行。异步转换一般是需要接受到来自上游的所有行，处理之后再往下输出。但是，异步转换也分为...
0
推荐
4448
阅读
微软BI 之SSIS 系列 - 初步使用 Script Component 记录数据流行数
开篇介绍 在 ETL 项目中，很多时候情况下是需要通过编程的手段来解决一些问题的。比如说在控制流中对参数的验证，文件路径的验证，文件的移动拷贝归档等等，包括在数据流中需要通过编程处理一些比如特殊不规则文件的读取，复杂的分支流程处理，包括对数据库的访问等等。在控制流中我们可以使用到 Script Task，同样...
0
推荐
2800
阅读
微软BI 之SSIS 系列 - UNPIVOT
开篇介绍在上一篇文章中讲解了在 SQL 和 SSIS 中使用 PIVOT 进行行列转换，在这一篇文章中讲解逆向的 UNPIVOT 操作。注：本文都是 SQL Server 2012 版本，2008 R2 在 SSIS 中配置不同。SQL UNPIVOT 操作测试的源数据要求转换之后的结果。在 SQL 语句中，需要掌握这样的一个转换语法规则就可以非常容易的解决这个问...
0
推荐
3562
阅读
微软BI 之SSIS 系列 - 使用 Row Count 记录从数据源写入目标表的条数
开篇介绍假设在业务中也有这样的一个需求，再从数据源抽取数据到目标表比如 Staging 表时，需要记录每次抽取的条数改如何实现？实际上，实现的方式也很多种，这取决于你的日志系统的设计与架构。这个案例只是简单的用到 SSIS 中的一个可以记录行数的控件 Row Count 来实现一下这个需求。Row Count 的使用首先我们有一张...
0
推荐
3398
阅读
微软BI 之SSIS 系列 - Merge Join 的特征
开篇介绍除了在上一篇介绍到了数据合并的 Merge 控件以及排序控件 Sort 之外，我们还有两个另外的数据流合并组件 Merge Join 和 Union All。 今天这篇文章主要是讲解 Merge Join 控件在 SSIS 中的使用以及它的特点。Merge Join Merge Join 的首要特点是 Join，想到 Join 我们就完全可以想象到我们在 SQL Serve...
0
推荐
2635
阅读
微软BI 之SSIS 系列 - Union All 的使用
开篇介绍在前两篇中讲解到了 Merge 和 Merge Join 的操作，今天这篇文章讲解的是关于 Union All 的操作。Union All 首先在什么时候需要使用到 Union All？与 Merge 和 Merge Join 不同，使用 Union All 的最显著的特点就是：两个或者两个以上的输入源。不需要排序，输出结果也不需要排序。 测试数据-- Merge d...
0
推荐
3817
阅读
微软BI 之SSIS 系列 - 在 Lookup 中使用 Cache Transform 缓存转换的运行时缓存与文件缓存
开篇介绍 在之前的文章中我介绍到了 Lookup 查找转换控件中在 OLE DB 模式下 Lookup 的几种缓存模式： Full Cache 完全缓存，Partial Cache 部分缓存，No Cache 无缓存。这几种缓存模式可以满足我们的绝大部分需要，但是自 SQL Server 2008 R2 开始，SSIS 对 Lookup 的缓存模式做了加强，出现了另外的一种缓存模式 ...
0
推荐
3763
阅读
微软BI 之SSIS 系列 - Merge 合并操作与 Sort 排序
开篇介绍在数据仓库项目中，我们的数据源可能来源不一，比如关于客户的信息可能就有好几个数据源，旧系统导出的文本文件，新系统的数据库表的信息等等。在正式统一处理这些信息之前，有的时候是需要做一些合并操作的，需要先将两部分的数据合并起来统一的存储到一个临时表中，然后再来做去重，筛选等处理。在 SQL Server...
0
推荐
9458
阅读
微软BI 之SSIS 系列 - Lookup 缓存
开篇介绍关于 Lookup 的缓存其实在之前的一篇文章中已经提到了 微软BI 之SSIS 系列 - Lookup 组件的使用与它的几种缓存模式 - Full Cache, Partial Cache, NO Cache 但是还是可能遗漏的部分内容，因此在这里重新总结并补充一下。这是第一篇，还是从理论的角度来讨论 Lookup 缓存的问题；后面有空还会再写一篇...
0
推荐
5130
阅读
微软BI 之SSIS 系列 - Conditional Split 条件拆分任务的使用
开篇介绍在 ETL 项目中，SSIS 控制流控件 Conditional Split (条件拆分) 的使用实际上还是比较频繁的。特别出现一个源需要将数据按条件输出到不同的目标表，文件这种情况，条件拆分 Conditional Split 控件就可以派上用场了。Conditional Split 的使用比如说，我们要把订单中在订单时间 OrderDate 和 ShipDate 之间 5 天...
10
推荐
12223
阅读
民生银行十五年的数据体系建设，深入解读阿拉丁大数据生态圈、人人BI 是如何养成的？
早在今年的上半年我应邀参加了由 Smartbi 主办的一个小型数据分析交流活动，在活动现场第一次了解到了民生银行的阿拉丁项目。由于时间关系，嘉宾现场分享的内容非常有限。凭着多年对行业研究和对解决方案的嗅觉与敏感性，意识到这个阿拉丁项目的完整性和独特性超出了以往我所接触过的所有 BI 领域的项目案例，很值得再次...