0
推荐
1179
阅读
利用集算器实现分库汇总
当单台数据库的数据量太大而影响性能时，可以把数据拆分到多台服务器上，每台服务器只承担部分计算压力，再由SPL合并计算结果。特殊地，数据可拆分为历史数据库和当前实时数据库，由SPL实现T+0计算。下面用几个典型例子来说明分库汇总的用法。 过滤 订单表orders分库存储在两个Oracle数据库中，数据源名分别为orclA、orc...
0
推荐
1418
阅读
SPL 简化 SQL 案例详解：多层固定分组
在数据库应用开发中，我们经常需要面对各种复杂的SQL计算，多层固定分组就是其中一种。实现该算法的思路是用left join语句将源数据按照固定的依据对齐，但由于该算法往往涉及分组汇总、行间计算、填补缺失数据，而且层次较多，因此相应的SQL语句会非常复杂。 本文将介绍一种相对简单易懂的方法，也就是用SPL实现多层固定...
0
推荐
1240
阅读
esproc vs python 6
本节在数据量比较大的情况下，对比esproc和python。 数据量：7000多条万记录，5个字段分别是orderid，clientid，sellerid，amount，date。总大小超过3G。 1. 筛选8月份的交易记录 esproc A2：f.cursor() 根据文件f创建游标并返回，数据扫描完将自动关闭游标。@t, f中第一行记录作为字段名,不使用本选项时默认...
0
推荐
1346
阅读
新一代内存计算引擎
【摘要】内存计算的本质就是为了高性能 (包括一定的高并发)，以此应对实时查询等问题！当前技术手段要么太贵、要么体系沉重；而集算器不仅算的更快，且体积更小、更轻！同时具备高度的集成性与灵活性！赶快去乾学院看个究竟吧！新一代内存计算引擎 【下载附件】新一代内存计算引擎
0
推荐
1440
阅读
从 TPCH 测试看 SPL 性能优化技巧 1
测试环境说明 CPU：4颗，主频2.6G，每个CPU内核数8个。 硬盘：800G，15000转SAS硬盘，理论读写速度150m/s。 内存：64G。 操作系统：Linux cent os 6 SQL1 select
l_returnflag,
l_linestatus, ...
0
推荐
1382
阅读
集算器实现外部数据并行计算
文本并行 SPL可将文本文件按体积大致分为N段，只读取其中一段。比如cardInfo.txt存储着一千万条人口信息，将其分为十份，取第二份，代码可以写作： 按体积大致分段，而不是按行数精确分段，目的是提高分段性能。比如在IDE中观察A2或A3的前几个字段，可以看到行数并非精确的100万（与具体数据有关）： ...
0
推荐
1369
阅读
SPL 代码优化技巧
SPL是一种面向结构化数据计算的程序设计语言，集算器是SPL语言的java实现，采用网格式编程形式提供了编码和调试的IDE环境，语法比Java和SQL更为简单易懂，开发效率更高。本文将从集算器的实现原理出发列举一些可以提升计算性能的小技巧。 1数据类型 1.1 数值 SPL里的数...
0
推荐
1491
阅读
esproc vs python 5
1. 列出分期贷款明细 题目介绍：loan 表存储着贷款信息，包括贷款 ID，贷款总额、按月分期数、年利率。数据如下： 我们的目的是列出各期明细，包括：当期还款额、当期利息、当期本金、剩余本金。 esproc A3：T.derive()新增两列月利率mRate=年利率/12,每期还款数mPayment=总利息/((1+月利率)的期数次幂)-1 A...
0
推荐
1374
阅读
海量账户大并发实时查询解决方案
【摘要】手机银行查流水、网上银行查收入、游戏账号查明细、手机营业厅查充值记录等等都属于海量账户查询场景。此场景的特点是：访问人数特别多，全量数据超大，而且不能让用户等待！点击海量账户大并发实时查询解决方案，去乾学院看看在大并发海量账户查询场景中，如何用集算器实现秒级的查询速度! 方案文件下载
0
推荐
1211
阅读
集算器与微服务
引言 为了应对业务需求的快速变化和发展，软件开发的理论和框架也在不断发展。在这个背景下，微服务近年来收到了越来越多的关注，大量企业已经或正在计划采用微服务架构，而数据应用也是其中一环。如何才能高效地开发出符合微服务架构要求的数据应用？润乾集算器将会助你一臂之力。 方案介绍 方案文档下载：集...
0
推荐
1235
阅读
esproc vs python 4
1.计算每年同月份增长比 esproc A3：用ORDERDATE的年份和月份分组，并将该列命名为y，m，同时计算该组的销售量 group()函数分组但不汇总，groups分组同时汇总。 A4：按照月份m进行排序 A5:新增一列，如果月份等于前一行的月份，则计算增长比并赋值，否则赋值null，将该列命名为yoy。 python： import time
...
0
推荐
1389
阅读
SPL 关联优化技巧
1. 小维表 用SPL进行关联，当维表不大时可以读入内存。 1.1 单字段主键 如果维表是单字段主键，可以使用switch做连接。例如有订单、客户、雇员三个表存储在集文件中，表结构如下： ...
0
推荐
1111
阅读
性能优化技巧 - 组表数据更新
组表是集算器提供的高性能存储格式，其原理在于将数据事先排序并以压缩方式紧致存储，好处是占用空间更小，可利用有序进行快速定位。 但这种存储方式在数据更新时会遇到麻烦，这是因为新数据也要和历史数据一起排序并压缩，常常会要求重写整个组表，重写操作非常耗时，但又不得不做。 不过，有些场景下却有高性能的数据...
0
推荐
1249
阅读
用集算器更新数据库的技巧
对数据库进行批量更新时，使用update函数要比execute函数性能更好。 比如，source和target是两个不同的数据源，callrecordA是source中的物理表，有1万条记录，callrecordB是target中的物理表，无记录，现在需要将callrecordA中的数据同步到callrecordB中。 当使用execute函数进行批量更新，可以发现性能不够理想，代码...
0
推荐
1362
阅读
趣味集算：数独
数独是一种老少皆宜的数学游戏，大家用零散的时间就可以玩上几局数独，有助于人们缓解压力，培养观察力和耐力，锻炼大脑。 数独游戏的规则也很简单，只需一支铅笔就能游戏，如： 在9*9的格子中，已经填入了一些数，你所要做的就是把其余的格子中全部填入1~9的数，使得每一横行，每一竖行，以及...