0
推荐
3232
阅读
微软BI 之SSIS 系列 - 从 XML 文件中导入数据
在这篇文章中 微软BI 之SSIS 系列 - 两种将 SQL Server 数据库数据输出成 XML 文件的方法，讲解了 XML 的输出操作 - 控制流中的输出和数据流中的输出。尽管在 SSIS 中没有 XML Destination，但是 XML Source 还是有的。具体实现步骤新建一个包，在数据流中添加一个 XML Source。双击并编辑 XML Source，我们的测试...
0
推荐
4331
阅读
微软BI 之SSIS 系列 - CSV 文件的导入与导出操作
开篇介绍在 ETL 项目中还有一种比较常见的文件经常会被处理 - CSV 文件，全称 Comma-Separated Values - 字符分隔值文件。实际上它本身就是以纯文本形式存储数据的，逗号分隔，所以在 SSIS 中也完全可以按照平面文件的方式来处理这种类型的文件。右键打开 CSV 文件，可以看到它和平常的平面文件没有什么区别，就是以半角...
0
推荐
13116
阅读
微软BI 之SSIS 系列 - 父子包及参数传递处理
开篇介绍在比较大的 ETL 项目中，父子包的使用频率非常的高。包括在一些自定义的 ETL 包调度框架中，父子包的使用构成了这些框架的基础。在 ETL 项目中使用父子包主要处于以下几点考虑：ETL 项目的并行开发 - 可以多人同时开发 ETL 子模块，最后统一集成到父包中。业务模块的划分 - 不同的业务模块需要拆分到各个子包，...
0
推荐
3371
阅读
微软BI 之SSIS 系列 - 使用 File System Task 处理文件与目录
开篇介绍在 ETL 项目中，我们经常碰到这样的场景 - 数据源来自于文件，一个或者很多个文件。这些文件有可能是每日或者每周从其它应用程序中传送过来作为 ETL 项目的数据源。我们在 SSIS 中可以从这些文件数据源中加载数据，之后再进行转换入库等过程。但是有一个很重要的问题，就是源文件被处理之后不断在硬盘上累加累加...
3
推荐
4657
阅读
深入分析 BI 数据可视化市场 SaaS 模式
开篇介绍最近碰到很多社区朋友都在关心 BI 领域有关 SaaS 应用的话题，这是一个很好的现象，因为 SaaS 尽管在 BI 领域起步的不算非常早，但它是一个趋势，很值得大家关注。我最近也参加了一些厂商举办的关于大数据行业、产品类的话题交流，对于 BI 数据可视化分析领域的 SaaS 发展情况简单总结了一些个人看法，在这里与...
0
推荐
3376
阅读
微软BI 之SSIS 系列 - XML Task 之 Validate 文件验证，XSLT 样式转换，XPath 元素查找三大功能
开篇介绍在 ETL 项目中处理 XML 大概有这么几种常见情况：上游程序或者第三方返回程序传递给 BI 程序就是 XML 格式的文件，通常情况下这种文件格式双方约定好了就不会更改，那么我们需要在加载 XML 文件的数据之前验证一下这个 XML 格式的数据文件是否符合我们之前的定义。如果满足验证，我们就处理，不满足那么我们就不...
11
推荐
5604
阅读
微软你是不是招了一个 Tableau 的卧底！还能不能让人好好研究 Power BI 了？
搞笑的链接：http://advertise.bingads.microsoft.com/en-us/cl/33620/ad-scheduling-trends 原以为被忽悠今天在朋友圈里看到几个 Tableau 的朋友同时发了一张非常有意思的截图，作为微软的铁杆粉丝，以为是坏坏的Tableau 朋友在不怀好意的调戏我软，这图….肯定是PS 的。事实是惊呆了后来顺着地址查了一下，惊呆了...
0
推荐
18483
阅读
微软BI 之SSIS 系列 - 使用 Send Mail Task 邮件通知错误
开篇介绍大多数情况下我们的 SSIS 包都会配置在 SQL Agent Job 中周期性的按计划执行，比如每天晚上调用 SSIS 包刷新数据，处理 Cube 等。一旦 SSIS 包中出现任何异常，报错，那么配置在 SQL Agent Job 中的通知，邮件提醒就会把这些错误信息发邮件到指定的用户或者系统维护者，这样就起到了一个错误监控的作用。但是有...
0
推荐
3194
阅读
微软BI 之SSIS 系列 - XML Task 之 Merge 文件合并，Diff 差异对比，Patch 差异还原
开篇介绍在上一篇文章中提到了 XML Task 的三种操作方法，分别是 Validate 验证，XSLT 样式表转换，XPath 查询。今天我们继续 XML Task 中剩下的几种操作方法 - Merge，Diff 和 Patch。Merge 的使用 Merge 操作在 XML 中的用法主要是合并两个 XML 文件的内容到第三个新的文件，或者将第二个 XML 文件的...
0
推荐
6437
阅读
微软BI 之SSIS 系列 - 在 SSIS Script 中读写用户自定义变量与断点调试
开篇介绍在 ETL 的设计与开发过程中，我们经常需要通过一些编程的方式来解决一些比较复杂的需求，比如通过 C# 的代码来完成一些复杂逻辑的操作。那么在 SSIS 中有两个基本的控件可以让我们通过 C# 或者 VB 的语法进行自定义编程，一个是控制流中的 Script Task ，一个是数据流中的 Script Component。如果要学习和掌握 S...
0
推荐
4655
阅读
微软BI 之SSIS 系列 - 利用 Execute Process Task 压缩和解压缩数据文件
开篇介绍Execute Process Task 从字面意思上理解就是一个可以执行应用程序的任务，在 SSIS 中可以使用 Execute Process Task 调用应用程序 .exe 或者 .bat 批处理文件，包括使用 JAVA 命令调用 JAVA 应用程序。在实际的 ETL 项目中，考虑到磁盘空间问题，一般使用 Execute Process Task 来归档文件，进行压缩或者解压缩...
19
推荐
7869
阅读
大数据时代，又如何向身边的人解释什么是商业智能 BI？
开篇介绍我发现一个问题，当和一些不熟悉我们这个领域的朋友们来说，解释大数据的概念比起解释商业智能 BI 要容易的多。举个例子，我们问“你知道什么是商业智能 BI”吗？通常情况会一脸茫然的回答到：“不知道！”。但是当我们问：“你知道什么是大数据吗？”，通常情况下大部分人都会很直接的回答：“大数据，我知道啊！”.......
0
推荐
3060
阅读
SSRS 小技巧 - Pie Chart 自动计算百分比的标签
通常情况下，实现一个饼图默认的效果就是 -一般都是直接显示数字结果 -那么如果需要显示成百分比，通常的做法可能选择先在后台 SQL 查询的时候计算好百分比，但是这里有一种更简单的技巧。编辑 Label data, 我们自己给它一个格式化效果。=FormatCurrency(Sum(Fields!ResellerSales.Value) / 1000, 0) & " (#PERCENT{...
16
推荐
12930
阅读
如何看懂 Gartner 魔力象限？再度解析 Gartner 2016年商业智能与分析平台魔力象限
如何看懂魔力象限Magic Quadrant 魔力象限以二维模型来阐述各个厂商、供应商的实力与差异，基于两个分析指标方向。横轴：前瞻性（Completeness of Vision），包括厂商或供应商提供的产品底层技术基础的能力、市场领导能力、创新能力和外部投资等等。纵轴：执行能力（Ability to Execute），包括产品的使用难度、市场服务...
13
推荐
9128
阅读
挑战一个 ETL 数据清洗的小案例
开篇语这是我以前做过一个汽车金融项目中的数据处理案例，从原业务系统中抽取业务数据然后按照规则计算出每一个ID对应的时间周期。原数据结构和我这里描述的大同小异，业务规则也比较接近，我整理一个数据原型，大家有时间可以做的试一下。可以用 SQL 的方式，也可以用 ETL 工具，要做的事情就是将很不规则的原数据按照...