性能优化

性能优化

0
推荐
24
浏览

SPL组表进一步优化 JOIN 性能

【摘要】介绍了如何使用集算器的组表进一步优化 JOIN 运算的方法。SPL 组表进一步优化 JOIN 性能 上一篇《优化 Join 运算的系列方法》介绍了如何使用集算器优化JOIN性能,其中数据存储使用的是集文件。如果想进一...

润乾软件 发表了文章 • 2 天前

0
推荐
108
浏览

SPL 分组优化技巧

1.      常规分组 当分组聚合的结果集不大时,可以使用groups。例如有学生成绩表存储在集文件中,表结构如下:   现在计算每个学生的总分数: A1:成绩表的数据...

润乾软件 发表了文章 • 2019-06-24 09:28

0
推荐
206
浏览

SAP 系统大数据量资产负债表的性能优化案例

【摘要】有了固定报表工具之后,这类格式复杂、指标参数任意组合的需求并不难实现,只是原始数据量一大,查询就会非常慢,用户体验变的极差,当多并发请求时,甚至还会对正常业务产生影响!而集算器面对这类问题...

润乾软件 发表了文章 • 2019-06-03 17:16

0
推荐
193
浏览

性能优化技巧 - 遍历

【摘要】数据分析场景中,充斥着聚合运算,常见的有求和、计数、均值、最大最小值等等,想要得到正确的结果值,遍历技术必不可少,如何更加高效地对数据进行遍历?点击:性能优化技巧 - 遍历,来乾学院一探究竟!...

润乾软件 发表了文章 • 2019-06-03 16:49

0
推荐
128
浏览

新一代内存计算引擎

【摘要】内存计算的本质就是为了高性能 (包括一定的高并发),以此应对实时查询等问题!当前技术手段要么太贵、要么体系沉重;而集算器不仅算的更快,且体积更小、更轻!同时具备高度的集成性与灵活性!赶快去乾学...

润乾软件 发表了文章 • 2019-05-22 10:14

0
推荐
148
浏览

从 TPCH 测试看 SPL 性能优化技巧 1

测试环境说明 CPU:4颗,主频2.6G,每个CPU内核数8个。 硬盘:800G,15000转SAS硬盘,理论读写速度150m/s。 内存:64G。 操作系统:Linux cent os 6 SQL1 select      ...

润乾软件 发表了文章 • 2019-05-17 11:10

0
推荐
175
浏览

集算器实现外部数据并行计算

文本并行 SPL可将文本文件按体积大致分为N段,只读取其中一段。比如cardInfo.txt存储着一千万条人口信息,将其分为十份,取第二份,代码可以写作: 按体积大致分段,而不是按行数精确分段,目的是提高...

润乾软件 发表了文章 • 2019-05-17 10:59

0
推荐
191
浏览

SPL 代码优化技巧

SPL是一种面向结构化数据计算的程序设计语言,集算器是SPL语言的java实现,采用网格式编程形式提供了编码和调试的IDE环境,语法比Java和SQL更为简单易懂,开发效率更高。本文将从集算器的实现原理出发列举一些可...

润乾软件 发表了文章 • 2019-05-05 17:12

0
推荐
174
浏览

SPL 关联优化技巧

1.          小维表 用SPL进行关联,当维表不大时可以读入内存。 1.1           单字段主键 如果维表是单字段...

润乾软件 发表了文章 • 2019-05-05 16:04

0
推荐
199
浏览

性能优化技巧 - 组表数据更新

组表是集算器提供的高性能存储格式,其原理在于将数据事先排序并以压缩方式紧致存储,好处是占用空间更小,可利用有序进行快速定位。 但这种存储方式在数据更新时会遇到麻烦,这是因为新数据也要和历史数据一起排...

润乾软件 发表了文章 • 2019-05-05 15:53

0
推荐
235
浏览

用集算器更新数据库的技巧

对数据库进行批量更新时,使用update函数要比execute函数性能更好。 比如,source和target是两个不同的数据源,callrecordA是source中的物理表,有1万条记录,callrecordB是target中的物理表,无记录,现在需要将...

润乾软件 发表了文章 • 2019-04-17 17:17

0
推荐
242
浏览

性能优化技巧 - 查找

【摘要】日常生活中,我们会遇到各种各样的数据,小到公司通讯录,大到互联网用户行为分析。在进行数据分析处理的过程中,查询是必不可少的环节,如何更加高效地进行数据查询。点击:性能优化技巧 - 查询,来乾学...

润乾软件 发表了文章 • 2019-04-17 16:48

0
推荐
229
浏览

性能优化技巧 - 多层排号键

排号键是SPL独特的数据类型,适合替代多层次、各层不连续的键值,比如身份证号、合同编号、产品编号、组织机构代码等。排号键定位速度快,常用于优化内存索引查询和外键关联计算。 内存索引查询 cardNormal.btx是...

润乾软件 发表了文章 • 2019-04-17 16:26

0
推荐
213
浏览

性能优化技巧 - 集群维表

事实表和维表进行关联计算时,需要对维表进行频繁的随机访问,因此维表要尽量放在内存中,才能提高关联计算的性能。如果维表较大,单机内存放不下,就应该考虑用集群方式,将维表分段读入多台机器的内存。下面举...

润乾软件 发表了文章 • 2019-04-17 16:11

0
推荐
284
浏览

性能优化技巧 - 内存关联计算

关联动作会严重影响性能,SPL支持内存预关联,可以加快关联动作,从而提升性能。 为了理解关联动作对性能的影响,下面设计一套Oracle关联表,以及无关联的宽表,并执行同样的计算。 关联表的结构和关系如下: &nb...

润乾软件 发表了文章 • 2019-04-01 16:22

条新动态, 点击查看
梁勇

梁勇 回答了问题 • 2013-09-10 12:09 • 2 个回复 不感兴趣

Oracle数据库优化主要从哪几方面入手?

赞同来自:

Oracle数据库优化可以从以下几个方面入手:

1、引起数据库性能问题的因素 (包括软件代码、系统架构、数据库设计、SQL查询等)

2、锁和阻塞 Oracle 数据库当中锁的起因以及由锁引起的性能问题-阻塞 比较常见

3、优化器 ... 显示全部 »
Oracle数据库优化可以从以下几个方面入手:

1、引起数据库性能问题的因素 (包括软件代码、系统架构、数据库设计、SQL查询等)

2、锁和阻塞 Oracle 数据库当中锁的起因以及由锁引起的性能问题-阻塞 比较常见

3、优化器 如果要分析SQL 的性能,就要了解Oracle优化器的机制

4、执行计划 当我们分析一条SQL 的性能时,最先做的事情的大概就是要分析它的执行计划了。

5、Hints(提示) 通过人为的方式来约束SQL 的执行计划,让它按照我们希望的方式来执行,以达到我们需要的目的---改善性能或者仅仅是试验以对比SQL 的执行性能

6、从表,表分区,索引等方面入手

7、可以把业务系统和报表系统分离开,即OLTP 和 OLAP 放到不同的服务器上去实现
戴俊青

戴俊青 回答了问题 • 2013-09-10 09:42 • 4 个回复 不感兴趣

SQLSERVER数据库优化主要从哪几方面入手?

赞同来自:

我觉得,可以从这几方面入手:
1:数据库设计是否好不好
2:查询语句写的效率高不高
3:索引设计的怎么样
4:索引碎片多不多
5:统计是不是最新的
6:阻塞和死锁的情况有没有
7:有没有用到游标,尽量使用集合操作
8:执行计划是不是频繁重编译
我觉得,可以从这几方面入手:
1:数据库设计是否好不好
2:查询语句写的效率高不高
3:索引设计的怎么样
4:索引碎片多不多
5:统计是不是最新的
6:阻塞和死锁的情况有没有
7:有没有用到游标,尽量使用集合操作
8:执行计划是不是频繁重编译
梁勇

梁勇 回答了问题 • 2015-04-13 12:23 • 4 个回复 不感兴趣

sql优化

赞同来自:

日期字段建个聚集索引,其他的建立成组合索引的方式
日期字段建个聚集索引,其他的建立成组合索引的方式
GeorgeYao

GeorgeYao 回答了问题 • 2015-09-08 16:56 • 1 个回复 不感兴趣

Oracle的性能优化的思路有哪些?

赞同来自:

1.百亿的数据量在同一台Server上,并发的去访问那肯定是非常缓慢的,建议双机(在备份库上做BI展示和查询);
2.Oracle原本的性能就不是很差,故此需要合理运用数据库自带的功能(数据库的设计和架构与其吻合);
3.如果要迁移建议使用HTFS架构,也就是... 显示全部 »
1.百亿的数据量在同一台Server上,并发的去访问那肯定是非常缓慢的,建议双机(在备份库上做BI展示和查询);
2.Oracle原本的性能就不是很差,故此需要合理运用数据库自带的功能(数据库的设计和架构与其吻合);
3.如果要迁移建议使用HTFS架构,也就是所谓的大数据平台了;
4.如果不迁移的话,那就需要去搭建BI平台的ADS层和DOS层的工作--ETL,其次考虑公司的业务需求是否需要搭建数据仓库,以及开发数据集市等。
 
不知道,以上的回答是否对你有所帮助?如果回答的有误还望指出。
将in里面的数据存到一张临时表中,然后将更新的表和临时表关联起来限制条件;批量update,这样效率会有所提升。(建议使用merge语句,将以下语句写到存储过程,定时执行即可。)
 
eg:insert into t1 select t.id from tab... 显示全部 »
将in里面的数据存到一张临时表中,然后将更新的表和临时表关联起来限制条件;批量update,这样效率会有所提升。(建议使用merge语句,将以下语句写到存储过程,定时执行即可。)
 
eg:insert into t1 select t.id from tables t where .......;
 
  merge into t2 t
  using t1 s on(t.id = s.id)
  when matched then
  update set 某个字段 = '';
 
 
21
推荐
3428
浏览

《Oracle SQL优化基础》之索引

最首先我想还是先百度下索引的定义:索引,使用索引可快速访问数据库表中的特定信息。索引是对数据库表中一列或多列的值进行排序的一种结构。好的,就是因为这样一种朦胧两可的定义,导致现在绝大部分初学者甚至...

老头子 发表了文章 • 2015-10-12 16:07

0
投票
4
已解决
3857
浏览
0
投票
4
已解决
1610
浏览
0
投票
2
已解决
3494
浏览
0
投票
4
已解决
1829
浏览

sql优化

郑大鹏 回复了问题 • 2015-10-09 17:47
0
投票
1
已解决
1373
浏览
0
投票
1
回答
3922
浏览
0
投票
2
回答
2020
浏览

海量数据比对

BIWORK 回复了问题 • 2013-11-26 11:01
0
推荐
24
浏览

SPL组表进一步优化 JOIN 性能

【摘要】介绍了如何使用集算器的组表进一步优化 JOIN 运算的方法。SPL 组表进一步优化 JOIN 性能 上一篇《优化 Join 运算的系列方法》介绍了如何使用集算器优化JOIN性能,其中数据存储使用的是集文件。如果想进一...

润乾软件 发表了文章 • 2 天前

0
推荐
108
浏览

SPL 分组优化技巧

1.      常规分组 当分组聚合的结果集不大时,可以使用groups。例如有学生成绩表存储在集文件中,表结构如下:   现在计算每个学生的总分数: A1:成绩表的数据...

润乾软件 发表了文章 • 2019-06-24 09:28

0
推荐
206
浏览

SAP 系统大数据量资产负债表的性能优化案例

【摘要】有了固定报表工具之后,这类格式复杂、指标参数任意组合的需求并不难实现,只是原始数据量一大,查询就会非常慢,用户体验变的极差,当多并发请求时,甚至还会对正常业务产生影响!而集算器面对这类问题...

润乾软件 发表了文章 • 2019-06-03 17:16

0
推荐
193
浏览

性能优化技巧 - 遍历

【摘要】数据分析场景中,充斥着聚合运算,常见的有求和、计数、均值、最大最小值等等,想要得到正确的结果值,遍历技术必不可少,如何更加高效地对数据进行遍历?点击:性能优化技巧 - 遍历,来乾学院一探究竟!...

润乾软件 发表了文章 • 2019-06-03 16:49

0
推荐
128
浏览

新一代内存计算引擎

【摘要】内存计算的本质就是为了高性能 (包括一定的高并发),以此应对实时查询等问题!当前技术手段要么太贵、要么体系沉重;而集算器不仅算的更快,且体积更小、更轻!同时具备高度的集成性与灵活性!赶快去乾学...

润乾软件 发表了文章 • 2019-05-22 10:14

0
推荐
148
浏览

从 TPCH 测试看 SPL 性能优化技巧 1

测试环境说明 CPU:4颗,主频2.6G,每个CPU内核数8个。 硬盘:800G,15000转SAS硬盘,理论读写速度150m/s。 内存:64G。 操作系统:Linux cent os 6 SQL1 select      ...

润乾软件 发表了文章 • 2019-05-17 11:10

0
推荐
175
浏览

集算器实现外部数据并行计算

文本并行 SPL可将文本文件按体积大致分为N段,只读取其中一段。比如cardInfo.txt存储着一千万条人口信息,将其分为十份,取第二份,代码可以写作: 按体积大致分段,而不是按行数精确分段,目的是提高...

润乾软件 发表了文章 • 2019-05-17 10:59

0
推荐
191
浏览

SPL 代码优化技巧

SPL是一种面向结构化数据计算的程序设计语言,集算器是SPL语言的java实现,采用网格式编程形式提供了编码和调试的IDE环境,语法比Java和SQL更为简单易懂,开发效率更高。本文将从集算器的实现原理出发列举一些可...

润乾软件 发表了文章 • 2019-05-05 17:12

0
推荐
174
浏览

SPL 关联优化技巧

1.          小维表 用SPL进行关联,当维表不大时可以读入内存。 1.1           单字段主键 如果维表是单字段...

润乾软件 发表了文章 • 2019-05-05 16:04

0
推荐
199
浏览

性能优化技巧 - 组表数据更新

组表是集算器提供的高性能存储格式,其原理在于将数据事先排序并以压缩方式紧致存储,好处是占用空间更小,可利用有序进行快速定位。 但这种存储方式在数据更新时会遇到麻烦,这是因为新数据也要和历史数据一起排...

润乾软件 发表了文章 • 2019-05-05 15:53

0
推荐
235
浏览

用集算器更新数据库的技巧

对数据库进行批量更新时,使用update函数要比execute函数性能更好。 比如,source和target是两个不同的数据源,callrecordA是source中的物理表,有1万条记录,callrecordB是target中的物理表,无记录,现在需要将...

润乾软件 发表了文章 • 2019-04-17 17:17

0
推荐
242
浏览

性能优化技巧 - 查找

【摘要】日常生活中,我们会遇到各种各样的数据,小到公司通讯录,大到互联网用户行为分析。在进行数据分析处理的过程中,查询是必不可少的环节,如何更加高效地进行数据查询。点击:性能优化技巧 - 查询,来乾学...

润乾软件 发表了文章 • 2019-04-17 16:48

0
推荐
229
浏览

性能优化技巧 - 多层排号键

排号键是SPL独特的数据类型,适合替代多层次、各层不连续的键值,比如身份证号、合同编号、产品编号、组织机构代码等。排号键定位速度快,常用于优化内存索引查询和外键关联计算。 内存索引查询 cardNormal.btx是...

润乾软件 发表了文章 • 2019-04-17 16:26

0
推荐
213
浏览

性能优化技巧 - 集群维表

事实表和维表进行关联计算时,需要对维表进行频繁的随机访问,因此维表要尽量放在内存中,才能提高关联计算的性能。如果维表较大,单机内存放不下,就应该考虑用集群方式,将维表分段读入多台机器的内存。下面举...

润乾软件 发表了文章 • 2019-04-17 16:11

0
推荐
284
浏览

性能优化技巧 - 内存关联计算

关联动作会严重影响性能,SPL支持内存预关联,可以加快关联动作,从而提升性能。 为了理解关联动作对性能的影响,下面设计一套Oracle关联表,以及无关联的宽表,并执行同样的计算。 关联表的结构和关系如下: &nb...

润乾软件 发表了文章 • 2019-04-01 16:22