1
推荐
1674
阅读
【数据蒋堂】第9期：报表应用的三层结构
在传统的报表应用结构中，报表工具一般都是与数据源直接连接，并没有一个中间的数据计算层。确实，大部分情况下的报表开发并不需要这一层，相关的数据计算在数据源和呈现环节分别处理就够了。不过，在开发过程中，我们发现，有一部分报表的计算即不适合在数据源也不适合在呈现环节实现，这类报表在数量上并不占多数，但...
3
推荐
1518
阅读
【数据蒋堂】第8期：列式存储的另一面
列存是常见的数据存储技术，在许多场景下也确实很有效，因而也被不少数据仓库类产品采用，在业内列存也常常就意味着高性能。可是，列存真有这么好吗？搜索一下，容易找到的列存缺点一般是针对数据修改的，而对于只读的分析计算任务，却很少能见到较详细的讨论。我们在这里来研究一下这个问题。对内存计算意义不大列存的...
2
推荐
1615
阅读
【数据蒋堂】第7期：硬盘的性能特征
我们都知道内存比硬盘要快得多，大概能快出一两个数量级（价格也要贵这么多）。不过，硬盘的问题并不只是访问速度慢。硬盘不适合做频繁小量访问所谓频繁小量访问，是指运算过程中每次获取的数据量很小，而读取的次数很多。对于内存，每次取10字节、取1000万次、总共访问1亿字节；和每次取1000万字段、取10次、也访问1亿...
2
推荐
2170
阅读
【数据蒋堂】第6期：我们需要怎样的OLAP？
被狭义化的OLAPOLAP是商业智能应用中重要的组成部分，这个词从字面上理解是在线分析的意思，也就是由用户，特别是业务人员，面对数据进行各种分析操作。但是，现在的OLAP概念被严重狭义化了。说到OLAP，基本上仅指多维分析，也就是针对一个事先建设好的数据立方体，按指定维度层次进行汇总并呈现成表格或图形，再辅以钻...
2
推荐
1734
阅读
【数据蒋堂】第5期：1T数据到底有多大？
一英里不是个很长的距离，一立方英里相对于地球也不会让人觉得是个很大的空间。然后我说，这个空间内能装下全世界所有人，你会不会觉到很惊讶？不过这话不是我说的，是美国作家房龙在一本书里写的。业内有个著名的数据仓库产品，叫Teradata，20多年前起这个名字，显然是想给人能处理海量数据的感觉。可现在，论用户还是...
1
推荐
1701
阅读
【数据蒋堂】第4期：索引的本质是排序
索引是经常用到的技术，但有些程序员对索引的原理了解不深，发现数据查询性能有问题立刻就想起建索引，但效果常常也不尽人意。那么到底什么时候该用索引以及该怎么用？我们来分析索引清理背后的技术原理就知道了。基本原理索引技术的初衷是为了快速从一个大数据集中找出某个字段等于确定值（比如按身份证号找出某个人）...
3
推荐
1856
阅读
【数据蒋堂】第3期：功夫都在报表外-漫谈报表性能优化
应用系统中的报表，作为面向业务用户的窗口，其性能一直被高度关注。用户输入参数后都希望立即就能看到统计查询结果，等个十几二十秒还能接受，等到三五分钟的用户体验就非常恶劣了。那么，报表为什么会慢，又应当从哪里入手进行性能调优呢？数据准备当前应用中的报表大都用报表工具开发，当报表响应太慢时，不明就里的...
1
推荐
2012
阅读
【数据蒋堂】第2期：非结构化数据分析技术是忽悠
大数据概念兴起的同时也带热了非结构化数据分析。传说一个企业中80%的数据都是非结构化数据，如果按占据空间来算，这个比例大体不假，毕竟音视频这类数据真地很大。有这么大的数据量，需要进行分析是很自然的事了，而要分析当然就要有相应的技术手段了。那为什么说非结构化数据分析技术是忽悠呢？不存在通用的非结构化数...
1
推荐
1923
阅读
【数据蒋堂】第1期：多维分析的后台性能优化手段
多维分析就是针对一个事先准备好的数据立方体实施旋转、切片（切块）、钻取等交互操作的过程，经常也被直接称为OLAP。它的后台运算在结构上很简单，如果用SQL语法描述，大体形式为：SELECT D,..., SUM(M), ... FROM C WHERE D'=d' AND ... GROUP BY D,...即对立方体按某些维度分组汇总某些测度。其中C是数据立方体，D,.....