0
推荐
3911
阅读
2014年市场需求排名前10的编程语言 - 生命的延续是 BI
开篇介绍2014年就快收尾了，Team 内部每人都会准备一些 Tech Talk 的内容，技术方面的，咨询方面的都可以。我就准备了一些有关 BI 排名，BI 报表排名，包括各种技术编程语言等相关排名的信息。摘选一部分有关编程技术相关的拿出来分享给大家看一下，或许对大家年终写写总结，内部技术分享时有所帮助。以社交与工作需求相...
1
推荐
6127
阅读
看了让人笑了很多很多次的NB的痔疮经历
前言这篇杂记其实是去年也就是 2013年9月30日转载的，后来在整理博客分类时七弄八弄误删掉了好多文章，就包括这一篇。今天，2014年9月29日，恰好恰好一年的时候居然在好久未登陆的 OneNote 中又找到了这篇文章，超级搞笑！记录一下，时不时看看，笑笑更年轻！个人经历以前得过痔疮，被一家专科医院的医生给忽悠开刀动了...
0
推荐
6634
阅读
2014年新一代的报表利器 Qlik Sense Desktop 初步体验
开篇介绍点击进入 QlikView/QlikSense 社区 交流群：432998033我估计很多人都听说过 QlikView，并且可以从 2014 BI 开发工具排名上看到 Qlik 产品已经排到第二的位置，排名第一是 Tableau，排名第三的是 Microsoft。当然前两者都主要是在报表开发方面有非常独特的优势，大数据量的加载，秒级处理，交互性极强...
0
推荐
3185
阅读
QlikView ETL - 分隔字符串的方法 SubField
开篇介绍今天在使用 QV 加载数据的时候会碰到列中的一些状态，信息是通过；或者 / 等符号分隔的，这样不利于做数据分析，因为字符串中的内容本身就是维度。上网搜了一下找到了解决的方法，记录一下。比如第一幅图中 S200,M250,R35 都是 Invoice 的类型，这时都需要取出来作为分析的维度 DIMENSION。可以通过下面的代码来...
0
推荐
4144
阅读
微软BI 之SSIS 系列 - 再谈Lookup 缓存
开篇介绍关于 Lookup 的缓存其实在之前的一篇文章中已经提到了 微软BI 之SSIS 系列 - Lookup 组件的使用与它的几种缓存模式 - Full Cache, Partial Cache, NO Cache 但是还是可能遗漏的部分内容，因此在这里重新总结并补充一下。这是第一篇，还是从理论的角度来讨论 Lookup 缓存的问题；后面有空还会再写一篇...
1
推荐
5824
阅读
微软BI 之SSIS 系列 - ETL 转换时关于 Code Page (1252 and 936) 转换错误的原因和解决方法
开篇介绍最近经常碰到在 ETL 练习中出现这种转换失败的问题，试了多种方式，同样的代码同样的源结构和表结构但是一直不能成功执行，包报错。一般有这么几种错误：Error at DST_LOAD_DATA_FROM_FILE [OLE_DST_EMPLOYEE[109]]: The column "FirstName" cannot be processed because more than one code page (1252 and 936...
2
推荐
3789
阅读
微软BI 之SSIS 系列 - Execute SQL Task 中的 Single Row 与 Full Result Set 的处理技巧
开篇介绍Execute SQL Task 这个控件在微软BI ETL 项目中使用的频率还是非常高的，也是大部分入门 SSIS 初学者最早接触到的几个控制流控件。我们通常使用 Execute SQL Task 的场景包含但不止于以下几类：在从源端加载数据到 Staging 表之前使用 Execute SQL Task 执行一些 Truncate 操作。执行一些 Log 的插入，更新操作...
2
推荐
3538
阅读
微软BI 之SSIS 系列 - 通过 ROW_NUMBER 或 Script Component 为数据流输出添加行号的方法
开篇介绍上午在天善回答看到这个问题 - SSIS 导出数据文件,能否在第一列增加一个行号，很快就帮助解决了，方法就是在 SQL 查询的时候加一个 ROW_NUMBER() 就可以了。后来想起在两年前我的第一个 BI 项目上也有类似的文件输出需求，但是比这个要复杂的多，因为涉及到多个输入列...
0
推荐
4048
阅读
微软BI 之SSIS 系列 - 通过设置 CheckPoints 检查点来增强 SSIS Package 流程的重用性
开篇介绍通常一个 ETL Package 是由多个控制流和数据流共同组成，有的时候 ETL 的步骤可能会比较多，整个流程执行下来的时间可能比较长。假设在 ETL Package 中包含5个Task，前3个Task执行超过1个小时，到了第4个Task的时候发生失败。如果下次执行的时候重新从第1个任务开始执行，那么又要花费1个小时等待 1-3 任务执行...
0
推荐
3227
阅读
微软BI 之SSIS 系列 - 在 SSIS 中使用 Web Service 以及 XML 解析
开篇介绍Web Service 的用途非常广几乎无处不在，像各大门户网站上的天气预报使用到的第三方 Web Service API，像手机客户端和服务器端的交互等都可以通过事先设计好的 Web Service 接口来实现两个不同平台的信息沟通。记得第一次做 IPhone 手机客户端与服务器端交互的 Web Service 接口的时候，由于我们在客户端开发和...
0
推荐
6174
阅读
微软BI 之SSIS 系列 - 通过 OLE DB 连接访问 Excel 2013 以及对不同 Sheet 页的数据处理
文章更新历史2014年9月7日 - 加入了部分更新内容，在文章最后提到了关于不同 Office Excel 版本间的连接问题。开篇介绍这篇文章主要总结在 SSIS 中访问和处理 Excel 数据的四个方面的主题内容 (都是处理以 .xlsx 结尾的 Excel 文件) -如何在 SSIS 中集成对 Microsoft Excel 的访问支持以及注意事项。如何在 SSIS 中...
0
推荐
3630
阅读
微软BI 之SSIS 系列 - 带有 Header 和 Trailer 的不规则的平面文件输出处理技巧
开篇介绍之前做过一个美国的医疗保险的项目，保险提供商有大量的文件需要发送给比如像银行，医疗协会，第三方服务商等。比如像与银行交互的 ACH 文件，传送给协会的 ACH Credit 等文件。这些文件格式在美国都是开放的，通用的，可以直接到相关网站下载。也就是说像银行，协会等他们接受这种固定格式的文件，读取数据，读...
8
推荐
8667
阅读
如何在 ETL 项目中统一管理上百个 SSIS ETL 包的日志和包配置框架
开篇介绍一直准备写这么一篇有关 SSIS 日志系统的文章，但是发现很难一次写的很完整。因为这篇文章的内容可扩展的性太强，每多扩展一部分就意味着需要更多代码，示例和理论支撑。因此，我选择我觉得比较通用的 LOG 部分，在这里分享一下给大家，希望对大家在设计 ETL 的日志系统时有所启发和帮助。当然在这里要区分 Logg...
0
推荐
4456
阅读
杂记- 3W互联网的圈子，大数据敏捷BI与微软BI的前端痛点
开篇介绍上周末参加了一次永洪科技在中关村 3W 咖啡举行的一次线下沙龙活动 - 关于它们的产品大数据敏捷 BI 工具的介绍。由此活动，我想到了三个话题 - 3W 互联网的圈子，永洪科技的大数据敏捷 BI 工具，微软 BI 工具的路应该如何去走。3W 互联网的圈子其实之前在中关村工作过很长的一段时间，每天吃饭的点基本上就...
4
推荐
5139
阅读
有感于三个50岁的美国程序员的生活状态与IT职业杂想
前言这篇杂记其实是去年也就是 2013年9月30日写的，还上过博客园十日推荐的首页，后来在整理博客分类时七弄八弄误删掉了好多文章，就包括这一篇。今天，2014年9月29日，恰好恰好一年的时候居然在好久未登陆的 OneNote 中看到了去年这个时候写的这篇文章，真是大巧合！PS：今天从博客园将文章挪到商业智能BI社区，正好也...