性能优化技巧 - 遍历

浏览: 1377

【摘要】
数据分析场景中,充斥着聚合运算,常见的有求和、计数、均值、最大最小值等等,想要得到正确的结果值,遍历技术必不可少,如何更加高效地对数据进行遍历?点击:性能优化技巧 - 遍历,来乾学院一探究竟!

1. 存储方案

集文件是行存方式,组表有行存和列存两种方式。两种格式都有一定压缩效果。

首先,我们来建立一个的普通的文本文件,并在该文件中生成一些数据,代码如下:

image.png

代码1.1

代码 1.1,生成一个 txt 文件,总记录数为 1000 万,其中部分数据如图 1.1 所示。

图1.1

 

image.png

代码1.2

 

image.png

代码1.3

 

image.png

代码1.4

代码 1.2、1.3、1.4 分别使用代码 1.1 建立的 txt 文件,转为集文件 employee.btx、列存组表文件employee.ctx和行存组表文件employee@r.ctx,各文件大小如图 1.2 所示。

 

图1.2

按照文件占用的硬盘空间大小排序可以得到:txt> 行存组表 > 集文件 > 列存组表。可见,同样的数据,在不同的文件存储格式下,所占用的硬盘空间大小也不同,而文件的大小又会直接影响遍历的效率。

 

排序能有效提高列存组表压缩效率,重复次数多的字段排到前面。

image.png

代码1.5

代码1.5对原组表文件的level,height,weight,city列依次进行排序。

排序后的组表文件 employee_sort.ctx与原始文件employee.ctx相比,明显变小,如图1.3所示。

图1.3

 

2. 并行遍历

序表过滤时用 select@m 可以并行计算。

image.png

代码2.1

代码2.1 中:

A2、A5 分别是外存的串行和并行情况,耗时分别为 2742 毫秒和 828 毫秒。

A9、A12 分别是内存的串行和并行情况,耗时分别为 1162 毫秒和 470 毫秒。

 

集文件和组表上都可以定义多路游标实现并行遍历。列存 + 机械硬盘 + 取用列过多时多路游标不一定会更快。

image.png

代码2.2

代码2.2中:

前 3 行是集文件的并行遍历,耗时 1861 毫秒。

后 5 行是相同数据的列存组表多路游标并行遍历。耗时 2282 毫秒。

 

使用 fork 语句并行时,不要返回游标。游标只是定义并没有实际取数,这种并行没有意义。要在 fork 代码块中做 fetch 或 groups 等实质取数的动作才有意义。

image.png

代码2.3

代码2.3,前6行在fork代码块中完成fetch取数,然后合并结果,查询耗时865毫秒。第7行至12 行,fork 返回游标后,合并再进行 fetch 动作,耗时 1709 毫秒。

 

3. 过滤条件

多个条件 && 时注意书写次序,如果前面的子项为假时,后面就不会再计算了,这样把容易为假的条件项写到前面,会减少后面条件项的计算次数。

image.png

代码3.1

代码3.1:

A3 中的条件为salary < 10010 && like(name,"*d*"),前面的子项返回结果集较小,查询耗时748 毫秒。

A6 中的条件为like(name,"*d*") && salary < 10010,前面的子项返回结果集较大,查询耗时1814毫秒。

 

在集合中找成员时(IN 判断),避免在过滤条件中临时计算这个集合。集合成员较多时要先排序,然后用 pos@b 或 contain@b 去判断,将使用二分法。

image.png

代码3.2

在代码3.2中:

A1:取 100 个范围在 1 至 1000000 中的随机数;

A2:为确保后续测试的数据一致,将这 100 个随机数存到文件 keys.txt 中。

 

image.png

代码3.3

在代码3.3中:

A2:将预先准备的每个键值都乘以 10。

A5:使用 pos 函数在组表文件 employee.ctx 中找满足 A2 的成员并取出,耗时 15060 毫秒。

 

image.png

代码3.4

在代码3.4中:

与代码3.3 的区别在于,把代码 3.3 中 A2 的集合搬到了代码 3.4 中 A4 的 cursor 过滤条件中临时计算这个集合,执行耗时 32105 毫秒。相比代码 3.3,虽然结果一致,但耗时多了一倍,应当避免这种写法。

 

image.png

代码3.5

代码3.5,基于代码3.3,我们还可以再进行一些优化。

将代码3.3 的 A2 排序,得到了有序键值。

在A5 中的 pos 函数采用选项 @b,使用二分法。执行耗时 7854 毫秒,相比代码 3.3 快了将近一倍。

 

switch@i@d 可用于快速实现键值过滤,hash 索引常常会比二分法更有效。

image.png

代码3.6

代码3.6 中:

A5:使用switch@i过滤出满足序列A2中的数据,结果与代码3.3、代码 3.4、代码 3.5 一致,耗时为 7104 毫秒。switch函数时会自动建索引@d选项也可以实现过滤效果,这里不再单独例举。

 

4. 预先过滤

组表游标在创建时即可写入一些过滤条件。集算器会识别这些条件,利用组表本身的排序信息快速跳到相应的数据位置。另外,这些条件不满足时取出字段就不会被读出,可以减少对象产生次数。而已经产生了游标后再做过滤就没有这些效果了。我们来看这样一个例子。

image.png

代码4.1

代码 4.1 中:

A3 在组表游标创建时写入过滤条件 level=="one" && height<180 并且只取 city 和 sex 两列数据。

A7 在组表游标创建后,再通过 select 中的过滤条件筛选数据。

随后两者进行了相同的分组聚合运算,结果前者耗时1206 毫秒,后者耗时 4740 毫秒。

 

5. 游标取数

游标取数性能和每次取出的记录数相关,要做些测试,一般最好是几万行,不要一次只取一行。

image.png

代码5.1

代码 5.1 中:

代码通过遍历组表游标,获取结果,并累计每次结果的记录数。

前6行遍历过程中每次取10条记录,最终累计耗时7823毫秒。

后6行遍历过程中每次取50000条记录,最终累计耗时3923毫秒。

 

还可以使用 skip 函数计数,这样不必把游标数据读出产生成 java 对象。

image.png

代码5.2

代码 5.2 中:

A3 在创建组表游标时取第一列,然后取出该列数据后取得其长度。

A6 对组表游标使用 skip 函数,获取该组表记录数。

这两个单元格计算后的值都为 10000000,但前者耗时 9676 毫秒,后者耗时 6473 毫秒。

 

6. 遍历复用

使用管道技术可以对基于同一次遍历计算出多个结果,减少硬盘的访问。

image.png

代码6.1

代码 6.1 中:

A2、B2、C2 分别是组表游标 A1 上建立的管道,A3、B3、C3 为这三个管道定义不同筛选条件并定义取数,A6 中遍历组表游标,每次取 100000 条。A6、B6、C6 返回按前文定义的筛选条件返回的结果集。耗时 5182 毫秒。

第9 行的三个单元格没有使用管道,分别三次建立组表游标再按前文三个相同的筛选条件取出结果。耗时 12901 毫秒。(关于管道的使用,新版本中还有更优写法,代码简洁明了,欢迎各位读者自行体验集算器语法的优雅之处。)

推荐 0
本文由 润乾软件 创作,采用 知识共享署名-相同方式共享 3.0 中国大陆许可协议 进行许可。
转载、引用前需联系作者,并署名作者且注明文章出处。
本站文章版权归原作者及原出处所有 。内容为作者个人观点, 并不代表本站赞同其观点和对其真实性负责。本站是一个个人学习交流的平台,并不用于任何商业目的,如果有任何问题,请及时联系我们,我们将根据著作权人的要求,立即更正或者删除有关内容。本站拥有对此声明的最终解释权。

0 个评论

要回复文章请先登录注册