集算器实现外部数据并行计算

浏览: 1379

文本并行

SPL可将文本文件按体积大致分为N段,只读取其中一段。比如cardInfo.txt存储着一千万条人口信息,将其分为十份,取第二份,代码可以写作:

image.png

按体积大致分段,而不是按行数精确分段,目的是提高分段性能。比如在IDE中观察A2或A3的前几个字段,可以看到行数并非精确的100万(与具体数据有关):

image.png

分段读取可应用于多线程计算,从而提高读取性能。比如用2个线程分别读取cardInfo.txt,各线程计算本段行数,最后合并为总行数,可用如下代码:

image.png

语句fork语句适合算法较复杂的情况,当算法比较简单时,可用cursor@m直接分段读取。比如前面的代码可以改写如下:

image.png

上述代码指定了线程数,如果省略线程数,则用配置文件中的“parallet limit”当做默认线程数。假设parallet limit=2,则上述代码可以改写成:

image.png

 

为了验证分段读取前后的性能差异,下面设计一个算法,分别用单线程和2线程计算cardInfo.txt的总行数,可以看到性能显著提升:

image.png

 

  JDBC 并行

通过JDBC取数时,有时会遇到数据库负载虽然不重,但取数性能仍然较差的情况,这种情况下可以用并行取数提高性能。

比如Oracle数据库有一张通话记录表callrecord,记录数100万条,索引字段是callTime,且数据基本按该字段平均分布。采用非并行取数时,可以发现性能不够理想,代码如下:

image.png

改为2线程并行取数后,可以看到性能提升明显,代码如下:

image.png

既然要并行取数,就要把源数据分成多个区间,使每区间的数据量大致相等。在这个例子中,索引字段是时间类型callTime,所以先用A7求出callTime的数据范围,再用A8将该范围平均分成2个时间区间。之后在A9进行并行计算,每个线程以各自的时间区间为参数执行SQL,取数结果将大致相等。最后合并多线程的取数结果,作为最终结果。

函数range非常适合对数据分段。该函数可将某范围平均分为N个区间,获得第i个区间,且可根据范围的数据类型自动调整区间的数据类型。本例的范围类型是datetime,则函数range将范围按秒均分,返回类型也是datetime。如果范围类型是date,则函数range按天均分;如果范围类型是整数,则函数range按整数均分。

上面例子中,分段字段是索引,如果没有建立索引,则查询性能会出现下降。在这种情况下,并行取数仍然可以带来明显的性能提升,所以可以用相同的方法。

上面例子中,源数据基本按callTime平均分布,因此容易使各区间的数据量大致相等,如果源数据分布很不平均,可以考虑按行号分段。每种数据库都有生成行号的方法,比如oralce可用rownum。

 

除了单表单SQL并行取数,SPL也支持多表多SQL并行取数。比如某报表格式较复杂,需要SPL执行多个SQL,并按一定的格式拼出结果集。当采用非并行取数时,可以发现性能不够理想,代码如下:

image.png

改为4线程并行取数后,可以看到性能提升明显,代码如下:

image.png

需要注意的是,并行取数时任务数可大于并行数。比如上面代码共8个任务,但同时执行的任务只有4个,其他待执行的任务排在队列中,如果某个小任务先执行完成,SPL会从队列中取下一个任务并执行它。可以看到,当任务数较多时,即使各任务负载相差较大,也能充分发挥硬件性能。

 

  混合并行

当数据量太大时,除了分库计算,还可以进行混合数据源并行计算,后者性能更高。具体做法是:把数据分为两部分(或多部分),一部分存储在数据库中,通常是当前实时数据,一部分存储在组文件,通常是历史数据,再对两种数据源进行并行计算,从而获得更高性能。

比如历史订单存储在orders.ctx中,当前订单存储在数据库orcl中,请按年、月分组,对各组数据的amount字段求和。SPL代码如下:

image.png

注意fork……fork……的用法。如果fork语句块下接非fork语句块,则两者顺序执行,如果fork语句块下接fork语句块,则两者并行执行。

推荐 0
本文由 润乾软件 创作,采用 知识共享署名-相同方式共享 3.0 中国大陆许可协议 进行许可。
转载、引用前需联系作者,并署名作者且注明文章出处。
本站文章版权归原作者及原出处所有 。内容为作者个人观点, 并不代表本站赞同其观点和对其真实性负责。本站是一个个人学习交流的平台,并不用于任何商业目的,如果有任何问题,请及时联系我们,我们将根据著作权人的要求,立即更正或者删除有关内容。本站拥有对此声明的最终解释权。

0 个评论

要回复文章请先登录注册