1
推荐
3638
阅读
微软BI 之SSIS 系列 - 对于平面文件中 NULL 值处理过程中容易极易混淆的几个细节
开篇介绍最近有人问我有关文件处理中空值处理的相关问题： OLE DB Destination 中的 Keep Nulls 如何控制 NULL 值的显示？为什么选中了 Keep Nulls 但是数据库中没有 NULL 值？ 为什么在 Flat File Source 中勾选上了 Retain null values..但目标表上显示的是一个当前日期，而不是 NULL ？单开此文来解释这些非常容易混...
1
推荐
3183
阅读
微软BI 之SSIS 系列 - 在 SSIS 输出平面文件时根据运行日期生成不同的文件名称
开篇介绍在 SSIS 中操作文件的输入和输出是非常方便的，这个例子讲解一个最简单的需求：比如每天从数据库中查询一批数据要输出到文件，每天产生一个文件，那么文件的名称按照"文件名+日期"的格式加以区别，比如 Employee20131225.txt 。测试案例我的测试数据非常简单，就是一个查询语句，要将这些查出来的数据...
0
推荐
3160
阅读
微软BI 之SSIS 系列 - 在 SSIS 中将指定目录下的所有文件分类输出到不同文件夹
开篇介绍比如有这样的一个需求，旧的一个业务系统通常将产出的文件输出到同一个指定的目录下的不同子目录，输出的文件类型有 XML，EXCEL, TXT 这些不同后缀的文件。现在需要在 SSIS 中将它们分类整理到不同的文件夹下，比如 XML 的全部拷贝到 A 文件夹， EXCEL 全部拷贝到 B 文件夹。 案例分析其实文件操作在 C# 中...
0
推荐
2954
阅读
微软BI 之SSIS 系列 - XML Task 中XSLT 样式表转换错误记录
开篇介绍此文章专门记录 XSLT 样式表转换过程中的语法问题错误一 值与属性的倒置修改了几次样式表，但还是一如既往的报错，报错信息如下：[XML Task] Error: An error occurred with the following error message: "Attribute and namespace nodes cannot be added to the parent element after a text, comment, pi, or...
1
推荐
3659
阅读
微软BI 之SSIS 系列 - 两种将 SQL Server 数据库数据输出成 XML 文件的方法
开篇介绍在 SSIS 中并没有直接提供从数据源到 XML 的转换输出，Destination 的输出对象有 Excel File, Flat File, Database 等，但是并没有直接提供 XML 文件输出的配置。但是我们仍然可以通过下面这些方法来实现：方法一：在数据流中使用平面文件对字符串 XML 转换输出方法二：在控制流中使用 Script Task 输出 XML 文...
0
推荐
4330
阅读
微软BI 之SSIS 系列 - CSV 文件的导入与导出操作
开篇介绍在 ETL 项目中还有一种比较常见的文件经常会被处理 - CSV 文件，全称 Comma-Separated Values - 字符分隔值文件。实际上它本身就是以纯文本形式存储数据的，逗号分隔，所以在 SSIS 中也完全可以按照平面文件的方式来处理这种类型的文件。右键打开 CSV 文件，可以看到它和平常的平面文件没有什么区别，就是以半角...
0
推荐
3370
阅读
微软BI 之SSIS 系列 - 使用 File System Task 处理文件与目录
开篇介绍在 ETL 项目中，我们经常碰到这样的场景 - 数据源来自于文件，一个或者很多个文件。这些文件有可能是每日或者每周从其它应用程序中传送过来作为 ETL 项目的数据源。我们在 SSIS 中可以从这些文件数据源中加载数据，之后再进行转换入库等过程。但是有一个很重要的问题，就是源文件被处理之后不断在硬盘上累加累加...
0
推荐
4651
阅读
微软BI 之SSIS 系列 - 利用 Execute Process Task 压缩和解压缩数据文件
开篇介绍Execute Process Task 从字面意思上理解就是一个可以执行应用程序的任务，在 SSIS 中可以使用 Execute Process Task 调用应用程序 .exe 或者 .bat 批处理文件，包括使用 JAVA 命令调用 JAVA 应用程序。在实际的 ETL 项目中，考虑到磁盘空间问题，一般使用 Execute Process Task 来归档文件，进行压缩或者解压缩...
2
推荐
5109
阅读
微软BI 之SSIS 系列 - 如何使用 SSIS 同步指定目录下各种文档的状态（英文版）
开篇介绍这篇文章是我在2012年5月份写在 Google Blog 上的一篇英文博客 http://simonlv.blogspot.com/2012/05/ssis-step-by-step.html ，当然这篇博客在国内其实是无法访问的。也忘记当时为什么要用英文写博客的原因了，大概齐当时可能正好在美国出差心里有那么点小九九，可能觉得把技术博客写牛一点以后到美国可能找个...
0
推荐
3234
阅读
微软BI 之SSIS 系列 - 文件路径验证
之前项目中经常有文件的读取或者输出操作,其中最重要的就是在处理文件输入/输出之前验证文件的路径是否存在,如果不存在就输出错误./*
Microsoft SQL Server Integration Services Script Task
Write scripts using Microsoft Visual C# 2008.
The ScriptMain is the entry point class of the script.
*/
usi...
0
推荐
3274
阅读
微软BI 之SSIS 系列 - 使用 Script Component Destination 和 ADO.NET 解析不规则文件并插入数据
开篇介绍这一篇文章是 微软BI 之SSIS 系列 - 带有 Header 和 Trailer 的不规则的平面文件输出处理技巧 的续篇，在上篇文章中介绍到了对于这种不规则文件输出的处理方式。比如下图中的这种不规则文件，第一行，第二行 Header 部分，第三行的内容 Content 部分，最后一行的 Trailer 部分。在前几个课程 微软BI ...
1
推荐
3756
阅读
微软BI 之SSIS 系列 - 导出数据到 Excel 2013 的实现
开篇介绍碰到有几个朋友问到这个问题，比较共性，就特意写了这篇小文章说明一下如何实现在 SSIS 中导出数据到 Office Excel 2013 中。通常情况下 2013 以前的版本大多没有问题，但是到 2013 就可能在建立连接管理器的时候出现链接失败。建议在看这一篇文章之前，如果有导出数据到 Excel 2013 的需求，请先参看我的另外一...
0
推荐
3683
阅读
微软BI 之SSIS 系列 - 平面文件格式的区别(Delimited,Fixed width,Ragged Right, Fixed width ...)
开篇介绍SSIS 中处理文件，一般在描述输出平面文件格式的时候通常会出现以下几种选项:Delimited - 默认输出列使用逗号分隔，也可以选择其它的诸如 | ，或者 Tab 等。Fixed Width - 列定长输出，固定长度，但不换行。Fixed Width with row delimiters - 其实就相当于 Ragged right，只不过换行符 CR+LF 的位置不同，这个...
0
推荐
3223
阅读
微软BI 之SSIS 系列 - 在 SSIS 中使用 Web Service 以及 XML 解析
开篇介绍Web Service 的用途非常广几乎无处不在，像各大门户网站上的天气预报使用到的第三方 Web Service API，像手机客户端和服务器端的交互等都可以通过事先设计好的 Web Service 接口来实现两个不同平台的信息沟通。记得第一次做 IPhone 手机客户端与服务器端交互的 Web Service 接口的时候，由于我们在客户端开发和...
0
推荐
6169
阅读
微软BI 之SSIS 系列 - 通过 OLE DB 连接访问 Excel 2013 以及对不同 Sheet 页的数据处理
文章更新历史2014年9月7日 - 加入了部分更新内容，在文章最后提到了关于不同 Office Excel 版本间的连接问题。开篇介绍这篇文章主要总结在 SSIS 中访问和处理 Excel 数据的四个方面的主题内容 (都是处理以 .xlsx 结尾的 Excel 文件) -如何在 SSIS 中集成对 Microsoft Excel 的访问支持以及注意事项。如何在 SSIS 中...