0
推荐
5067
阅读
微软BI 之SSIS 系列 - MultiCast 多播输出到多个目标文件
开篇介绍MultiCast 多播转换可以将一个输入转换成一个或者多个向下的输出，但是它没有错误输出。简单总结，即一个输入多个输出无错误输出。它主要用在的场景就是需要将一个输入流中的数据创建成不同的逻辑数据副本，对不同的多个目标表文件的时候，不同的文件或者目标表可以选择数据源中的不同列输出。比如有一个 Excel ...
0
推荐
5871
阅读
微软BI 之SSIS 系列 - For Loop 循环时间 和 Foreach Loop 循环处理文件
开篇介绍几乎所有的编程语言中都有循环这样的一个概念，最常见的就是 for，while 等循环语句，在有的编程语言中也有 foreach 这样的遍历语法。在 SSIS 中，也有这样的循环控件，它们本身不执行具体的操作，只是用来提供一个循环处理的逻辑空间供其它的任务流控件循环调用。这里我们要学习的就是 For Loop Container 与 F...
0
推荐
11853
阅读
微软BI 之SSIS 系列 - Execute SQL Task
开篇介绍在 BI 项目中，有一个非常常用的控制流控件 - Execute SQL Task，在数据从数据源加载到目标表之前它经常会被用来执行一些清空表的操作。除此之外，它的在项目中的常用的情形还包括：执行插入，更新，Merge 等数据操作，包括可能的删除一些 Working table 和创建 Working table 等操作。SSIS 日志中调用存储过程...
0
推荐
3538
阅读
微软BI 之SSIS 系列 - SSIS 时间参数验证脚本
项目中也经常使用到时间参数的验证,例如根据某一时间范围来从Source中过滤一些数据. 在运行Package之前需要配置这些时间格式的参数,因此需要验证这些参数是否是正确的时间格式. 并且通常还有时间大小的验证,例如起始时间要小于结束时间./*
Microsoft SQL Server Integration Services Script Task
Write scripts u...
0
推荐
3489
阅读
微软BI 之SSIS 系列 - 在 SQL 和 SSIS 中实现行转列的 PIVOT 透视操作
开篇介绍记得我在 2006年左右刚开始学习 SQL Server 2000 的时候，遇到一个面试题就是行转列，列转行的操作，当时写了很长时间的 SQL 语句最终还是以失败而告终。后来即使能写出来，也是磕磕碰碰的。虽然很能锻炼 SQL 功底，每次都要挣扎一番，溺水的感觉。记得SQL Server 2005 以后就有了 PIVOT 和 UNPIVOT 这两个函数...
1
推荐
3356
阅读
微软BI 之SSIS 系列 - 在 SQL 和 SSIS 中实现行转列的 PIVOT 透视操作
开篇介绍记得笔者在 2006年左右刚开始学习 SQL Server 2000 的时候，遇到一个面试题就是行转列，列转行的操作，当时写了很长时间的 SQL 语句最终还是以失败而告终。后来即使能写出来，也是磕磕碰碰的，虽然很能锻炼 SQL 功底，每次都要挣扎一番，溺水的感觉。记得SQL Server 2005 以后就有了 PIVOT 和 UNPIVOT 这两个函...
1
推荐
3406
阅读
微软BI 之SSIS 系列 - Precedence Constraint 详解优先约束的使用
开篇介绍Precedence Constraint 优先约束 - 在控制流中使用，用来链接控制流中各种 Task，Container，并且要求满足一定的条件才能执行相关联的 Task 或者 Container。 比如下图中，第一个 Execute SQL Task 叫做 Precedence-Executable 优先可执行任务，而Script Task 由于在关联箭头的下游，所以它叫做 Constrained-Exe...
1
推荐
3510
阅读
微软BI 之SSIS 系列 - 使用 Multicast Task 将数据同时写入多个目标表，以及写入Audit 与增量处理信息
开篇介绍在 SSIS Data Flow 中有一个 Multicast 组件，它的作用和 Merge, Merge Join 或者 Union All 等合并数据流组件对比起来作用正好相反。非常直观，它可以将一个数据流平行分开成为多个数据流供下游其它 Data Flow 组件使用。 使用 Multicast Task 的几种情形第一种，从同一个数据源中取出一部分数据直接放到 ...
0
推荐
3208
阅读
微软BI 之SSIS 系列 - 变量查询语句引起列输出顺序不一致的解决方法
开篇介绍这个问题来自于 天善BI社区，看了一下比较有意思，因为我自己认为在 SSIS中处理各种类型文件的经验还比较丰富(有一年的时间几乎所有ETL都跟文件相关)，但是这个问题确实之前没有特别考虑过。研究了一下，找到了解决的方法，赶紧记录下来。简单描述一下这个问题，如果我们的 SOURCE 是直接从表里面查询，然...
0
推荐
4228
阅读
微软BI 之SSIS 系列 - 利用 SSIS 模板快速开发 SSIS Package
开篇介绍在做 ETL 项目的时候，往往很多 Package 的开发都是基于相同的模型和流程。比如在 Package 开始运行时需要向 Process Log 表中插入记录，在 Package 运行结束的时候更新运行状态。 在错误处理阶段同一个项目中的所有 Package 也是相同的处理方式，除此之外还有设计到 Package 的配置还有一些参数和验证流程...
0
推荐
3623
阅读
微软BI 之SSIS 系列 - 在 SSIS 中读取 SharePoint List
开篇介绍由于项目需要我们会从SharePoint 上读取一些配置数据，同时也有可能执行一些回写操作去更新SharePoint 的数据。之前没有做过这样的操作，有的也应该是通过 C# 编程去获取或者写入一些数据。查阅了一些相关的文章，自己也动手测试了一下如何在 SSIS Package 中访问SharePoint List 并将数据写入 SharePoint List...
0
推荐
3487
阅读
微软BI 之SSIS 系列 - Expression Task 的使用与变量赋值的三个阶段
开篇介绍在 SQL Server 2012 之前的版本中，在包启动之后，如果我们想改变一个变量的值的话，我们是需要通过 Script Task 去完成赋值，或者使用 Execute SQL Task 的 Output 或者 ReturnValue 方式给一个变量来赋值。但是现在在 SQL Server 2012 版本中我们现在直接有了一个新的控件 Expression Task，我们直接可以通过 ...
0
推荐
4096
阅读
微软BI 之SSIS 系列 - SSIS Script 中的参数验证
开篇介绍在 ETL 项目中的SSIS 包中的参数是可配置的，为了更好的控制人为传入的参数的正确性，或者为了确保 SSIS 程序的健壮性，那么在包执行之初会对 SSIS 包参数进行验证。包参数通过验证，则说明参数是可靠的，ETL 逻辑可以继续执行。如果不能通过验证，那么就需要格外的进行逻辑处理或者包将主动报错，这样就不会后...
0
推荐
7087
阅读
微软BI 之SSIS 系列 - ErrorOutput 错误输出与处理
开篇介绍在实际项目中，特别是从某数据源抽取数据到目标表的时候，我相信大家经常碰到的几种情况有：加载数据的时候在数据源端控件出现错误。数据源端的错误解决了，但是在数据目标控件位置又出现了错误。通过增加 Data Conversion 进行数据类型转换可能解决了错误使得整个流程成功了，但是为什么？数据源端出现的错误。...
0
推荐
4600
阅读
微软BI 之SSIS 系列 - 使用 Script Component Transformation 转换不规则文件
开篇介绍在 微软BI 之SSIS 系列 - 使用 Script Component Source (脚本任务-源) 解析不规则文件 这篇文章中我们使用到了 Script Component Source 来解决不规则文件的加载与解析操作，同样的我们也完全可以使用 Script Component Transformation 来解决这个问题。所用的源文件，表结构都和 微软BI 之SSIS 系列 - 使用 Sc...