性能优化

性能优化

0
推荐
25
浏览

从 TPCH 测试看 SPL 性能优化技巧 1

测试环境说明 CPU:4颗,主频2.6G,每个CPU内核数8个。 硬盘:800G,15000转SAS硬盘,理论读写速度150m/s。 内存:64G。 操作系统:Linux cent os 6 SQL1 select      ...

润乾软件 发表了文章 • 3 天前

0
推荐
30
浏览

集算器实现外部数据并行计算

文本并行 SPL可将文本文件按体积大致分为N段,只读取其中一段。比如cardInfo.txt存储着一千万条人口信息,将其分为十份,取第二份,代码可以写作: 按体积大致分段,而不是按行数精确分段,目的是提高...

润乾软件 发表了文章 • 3 天前

0
推荐
80
浏览

SPL 代码优化技巧

SPL是一种面向结构化数据计算的程序设计语言,集算器是SPL语言的java实现,采用网格式编程形式提供了编码和调试的IDE环境,语法比Java和SQL更为简单易懂,开发效率更高。本文将从集算器的实现原理出发列举一些可...

润乾软件 发表了文章 • 2019-05-05 17:12

0
推荐
76
浏览

SPL 关联优化技巧

1.          小维表 用SPL进行关联,当维表不大时可以读入内存。 1.1           单字段主键 如果维表是单字段...

润乾软件 发表了文章 • 2019-05-05 16:04

0
推荐
81
浏览

性能优化技巧 - 组表数据更新

组表是集算器提供的高性能存储格式,其原理在于将数据事先排序并以压缩方式紧致存储,好处是占用空间更小,可利用有序进行快速定位。 但这种存储方式在数据更新时会遇到麻烦,这是因为新数据也要和历史数据一起排...

润乾软件 发表了文章 • 2019-05-05 15:53

0
推荐
124
浏览

用集算器更新数据库的技巧

对数据库进行批量更新时,使用update函数要比execute函数性能更好。 比如,source和target是两个不同的数据源,callrecordA是source中的物理表,有1万条记录,callrecordB是target中的物理表,无记录,现在需要将...

润乾软件 发表了文章 • 2019-04-17 17:17

0
推荐
118
浏览

性能优化技巧 - 查找

【摘要】日常生活中,我们会遇到各种各样的数据,小到公司通讯录,大到互联网用户行为分析。在进行数据分析处理的过程中,查询是必不可少的环节,如何更加高效地进行数据查询。点击:性能优化技巧 - 查询,来乾学...

润乾软件 发表了文章 • 2019-04-17 16:48

0
推荐
111
浏览

性能优化技巧 - 多层排号键

排号键是SPL独特的数据类型,适合替代多层次、各层不连续的键值,比如身份证号、合同编号、产品编号、组织机构代码等。排号键定位速度快,常用于优化内存索引查询和外键关联计算。 内存索引查询 cardNormal.btx是...

润乾软件 发表了文章 • 2019-04-17 16:26

0
推荐
99
浏览

性能优化技巧 - 集群维表

事实表和维表进行关联计算时,需要对维表进行频繁的随机访问,因此维表要尽量放在内存中,才能提高关联计算的性能。如果维表较大,单机内存放不下,就应该考虑用集群方式,将维表分段读入多台机器的内存。下面举...

润乾软件 发表了文章 • 2019-04-17 16:11

0
推荐
176
浏览

性能优化技巧 - 内存关联计算

关联动作会严重影响性能,SPL支持内存预关联,可以加快关联动作,从而提升性能。 为了理解关联动作对性能的影响,下面设计一套Oracle关联表,以及无关联的宽表,并执行同样的计算。 关联表的结构和关系如下: &nb...

润乾软件 发表了文章 • 2019-04-01 16:22

0
推荐
189
浏览

性能优化技巧 - 程序游标

很多算法都会产生落地的中间结果,从而影响性能,尤其是数据量较大的时候。这种情况下通常可用程序游标来避免数据落地,下面举例说明。 前半排序 计算目标:订单表原来已按时间排序,需要将数据按日期、产品去除...

润乾软件 发表了文章 • 2019-04-01 16:05

0
推荐
174
浏览

性能优化技巧 - 位置利用

SPL的特征之一是数据有序,适当地利用位置,可以显著提高性能。让我们先从一个典型场景开始,逐步掌握利用位置的各种技巧。 快速查询 对排序后的数据进行二分查找,可以获得较高的性能,但有些算法需用到原始顺序...

润乾软件 发表了文章 • 2019-04-01 15:56

0
推荐
178
浏览

银行业多用户大数据量自助分析提速方案

【摘要】银行自助分析系统用户多,数据量大,系统速度还要求飞快。与此同时,后台数据仓库却已经负担了太多的应用,无法为大量连接提供高性能查询。点击银行业多用户大数据量自助分析提速方案,去乾学院看看集算...

润乾软件 发表了文章 • 2019-03-05 16:35

0
推荐
178
浏览

SPL 排序优化技巧

【摘要】        排序计算是一个非常消耗资源的操作,特别是对于大数据排序,如果内存无法装下数据,常规的做法就需要借助外存,不过因此也会增加对数据的读写操作,而...

润乾软件 发表了文章 • 2019-03-05 16:14

0
推荐
225
浏览

报表性能优化

【摘要】报表性能对用户的影响十分恶劣,所有用户查报表时都希望立等可取,超过 5 秒钟用户就会很不满意,更别提要求毫秒级响应的情况了。引起报表性能的原因有很多(数据量大、计算复杂、报表格式混乱),绝大部...

润乾软件 发表了文章 • 2019-02-01 15:02

条新动态, 点击查看
梁勇

梁勇 回答了问题 • 2013-09-10 12:09 • 2 个回复 不感兴趣

Oracle数据库优化主要从哪几方面入手?

赞同来自:

Oracle数据库优化可以从以下几个方面入手:

1、引起数据库性能问题的因素 (包括软件代码、系统架构、数据库设计、SQL查询等)

2、锁和阻塞 Oracle 数据库当中锁的起因以及由锁引起的性能问题-阻塞 比较常见

3、优化器 ... 显示全部 »
Oracle数据库优化可以从以下几个方面入手:

1、引起数据库性能问题的因素 (包括软件代码、系统架构、数据库设计、SQL查询等)

2、锁和阻塞 Oracle 数据库当中锁的起因以及由锁引起的性能问题-阻塞 比较常见

3、优化器 如果要分析SQL 的性能,就要了解Oracle优化器的机制

4、执行计划 当我们分析一条SQL 的性能时,最先做的事情的大概就是要分析它的执行计划了。

5、Hints(提示) 通过人为的方式来约束SQL 的执行计划,让它按照我们希望的方式来执行,以达到我们需要的目的---改善性能或者仅仅是试验以对比SQL 的执行性能

6、从表,表分区,索引等方面入手

7、可以把业务系统和报表系统分离开,即OLTP 和 OLAP 放到不同的服务器上去实现
戴俊青

戴俊青 回答了问题 • 2013-09-10 09:42 • 4 个回复 不感兴趣

SQLSERVER数据库优化主要从哪几方面入手?

赞同来自:

我觉得,可以从这几方面入手:
1:数据库设计是否好不好
2:查询语句写的效率高不高
3:索引设计的怎么样
4:索引碎片多不多
5:统计是不是最新的
6:阻塞和死锁的情况有没有
7:有没有用到游标,尽量使用集合操作
8:执行计划是不是频繁重编译
我觉得,可以从这几方面入手:
1:数据库设计是否好不好
2:查询语句写的效率高不高
3:索引设计的怎么样
4:索引碎片多不多
5:统计是不是最新的
6:阻塞和死锁的情况有没有
7:有没有用到游标,尽量使用集合操作
8:执行计划是不是频繁重编译
梁勇

梁勇 回答了问题 • 2015-04-13 12:23 • 4 个回复 不感兴趣

sql优化

赞同来自:

日期字段建个聚集索引,其他的建立成组合索引的方式
日期字段建个聚集索引,其他的建立成组合索引的方式
GeorgeYao

GeorgeYao 回答了问题 • 2015-09-08 16:56 • 1 个回复 不感兴趣

Oracle的性能优化的思路有哪些?

赞同来自:

1.百亿的数据量在同一台Server上,并发的去访问那肯定是非常缓慢的,建议双机(在备份库上做BI展示和查询);
2.Oracle原本的性能就不是很差,故此需要合理运用数据库自带的功能(数据库的设计和架构与其吻合);
3.如果要迁移建议使用HTFS架构,也就是... 显示全部 »
1.百亿的数据量在同一台Server上,并发的去访问那肯定是非常缓慢的,建议双机(在备份库上做BI展示和查询);
2.Oracle原本的性能就不是很差,故此需要合理运用数据库自带的功能(数据库的设计和架构与其吻合);
3.如果要迁移建议使用HTFS架构,也就是所谓的大数据平台了;
4.如果不迁移的话,那就需要去搭建BI平台的ADS层和DOS层的工作--ETL,其次考虑公司的业务需求是否需要搭建数据仓库,以及开发数据集市等。
 
不知道,以上的回答是否对你有所帮助?如果回答的有误还望指出。
将in里面的数据存到一张临时表中,然后将更新的表和临时表关联起来限制条件;批量update,这样效率会有所提升。(建议使用merge语句,将以下语句写到存储过程,定时执行即可。)
 
eg:insert into t1 select t.id from tab... 显示全部 »
将in里面的数据存到一张临时表中,然后将更新的表和临时表关联起来限制条件;批量update,这样效率会有所提升。(建议使用merge语句,将以下语句写到存储过程,定时执行即可。)
 
eg:insert into t1 select t.id from tables t where .......;
 
  merge into t2 t
  using t1 s on(t.id = s.id)
  when matched then
  update set 某个字段 = '';
 
 
21
推荐
3267
浏览

《Oracle SQL优化基础》之索引

最首先我想还是先百度下索引的定义:索引,使用索引可快速访问数据库表中的特定信息。索引是对数据库表中一列或多列的值进行排序的一种结构。好的,就是因为这样一种朦胧两可的定义,导致现在绝大部分初学者甚至...

老头子 发表了文章 • 2015-10-12 16:07

0
投票
4
已解决
3743
浏览
0
投票
4
已解决
1556
浏览
0
投票
2
已解决
3406
浏览
0
投票
4
已解决
1753
浏览

sql优化

郑大鹏 回复了问题 • 2015-10-09 17:47
0
投票
1
已解决
1326
浏览
0
投票
1
回答
3785
浏览
0
投票
2
回答
1933
浏览

海量数据比对

BIWORK 回复了问题 • 2013-11-26 11:01
0
推荐
25
浏览

从 TPCH 测试看 SPL 性能优化技巧 1

测试环境说明 CPU:4颗,主频2.6G,每个CPU内核数8个。 硬盘:800G,15000转SAS硬盘,理论读写速度150m/s。 内存:64G。 操作系统:Linux cent os 6 SQL1 select      ...

润乾软件 发表了文章 • 3 天前

0
推荐
30
浏览

集算器实现外部数据并行计算

文本并行 SPL可将文本文件按体积大致分为N段,只读取其中一段。比如cardInfo.txt存储着一千万条人口信息,将其分为十份,取第二份,代码可以写作: 按体积大致分段,而不是按行数精确分段,目的是提高...

润乾软件 发表了文章 • 3 天前

0
推荐
80
浏览

SPL 代码优化技巧

SPL是一种面向结构化数据计算的程序设计语言,集算器是SPL语言的java实现,采用网格式编程形式提供了编码和调试的IDE环境,语法比Java和SQL更为简单易懂,开发效率更高。本文将从集算器的实现原理出发列举一些可...

润乾软件 发表了文章 • 2019-05-05 17:12

0
推荐
76
浏览

SPL 关联优化技巧

1.          小维表 用SPL进行关联,当维表不大时可以读入内存。 1.1           单字段主键 如果维表是单字段...

润乾软件 发表了文章 • 2019-05-05 16:04

0
推荐
81
浏览

性能优化技巧 - 组表数据更新

组表是集算器提供的高性能存储格式,其原理在于将数据事先排序并以压缩方式紧致存储,好处是占用空间更小,可利用有序进行快速定位。 但这种存储方式在数据更新时会遇到麻烦,这是因为新数据也要和历史数据一起排...

润乾软件 发表了文章 • 2019-05-05 15:53

0
推荐
124
浏览

用集算器更新数据库的技巧

对数据库进行批量更新时,使用update函数要比execute函数性能更好。 比如,source和target是两个不同的数据源,callrecordA是source中的物理表,有1万条记录,callrecordB是target中的物理表,无记录,现在需要将...

润乾软件 发表了文章 • 2019-04-17 17:17

0
推荐
118
浏览

性能优化技巧 - 查找

【摘要】日常生活中,我们会遇到各种各样的数据,小到公司通讯录,大到互联网用户行为分析。在进行数据分析处理的过程中,查询是必不可少的环节,如何更加高效地进行数据查询。点击:性能优化技巧 - 查询,来乾学...

润乾软件 发表了文章 • 2019-04-17 16:48

0
推荐
111
浏览

性能优化技巧 - 多层排号键

排号键是SPL独特的数据类型,适合替代多层次、各层不连续的键值,比如身份证号、合同编号、产品编号、组织机构代码等。排号键定位速度快,常用于优化内存索引查询和外键关联计算。 内存索引查询 cardNormal.btx是...

润乾软件 发表了文章 • 2019-04-17 16:26

0
推荐
99
浏览

性能优化技巧 - 集群维表

事实表和维表进行关联计算时,需要对维表进行频繁的随机访问,因此维表要尽量放在内存中,才能提高关联计算的性能。如果维表较大,单机内存放不下,就应该考虑用集群方式,将维表分段读入多台机器的内存。下面举...

润乾软件 发表了文章 • 2019-04-17 16:11

0
推荐
176
浏览

性能优化技巧 - 内存关联计算

关联动作会严重影响性能,SPL支持内存预关联,可以加快关联动作,从而提升性能。 为了理解关联动作对性能的影响,下面设计一套Oracle关联表,以及无关联的宽表,并执行同样的计算。 关联表的结构和关系如下: &nb...

润乾软件 发表了文章 • 2019-04-01 16:22

0
推荐
189
浏览

性能优化技巧 - 程序游标

很多算法都会产生落地的中间结果,从而影响性能,尤其是数据量较大的时候。这种情况下通常可用程序游标来避免数据落地,下面举例说明。 前半排序 计算目标:订单表原来已按时间排序,需要将数据按日期、产品去除...

润乾软件 发表了文章 • 2019-04-01 16:05

0
推荐
174
浏览

性能优化技巧 - 位置利用

SPL的特征之一是数据有序,适当地利用位置,可以显著提高性能。让我们先从一个典型场景开始,逐步掌握利用位置的各种技巧。 快速查询 对排序后的数据进行二分查找,可以获得较高的性能,但有些算法需用到原始顺序...

润乾软件 发表了文章 • 2019-04-01 15:56

0
推荐
178
浏览

银行业多用户大数据量自助分析提速方案

【摘要】银行自助分析系统用户多,数据量大,系统速度还要求飞快。与此同时,后台数据仓库却已经负担了太多的应用,无法为大量连接提供高性能查询。点击银行业多用户大数据量自助分析提速方案,去乾学院看看集算...

润乾软件 发表了文章 • 2019-03-05 16:35

0
推荐
178
浏览

SPL 排序优化技巧

【摘要】        排序计算是一个非常消耗资源的操作,特别是对于大数据排序,如果内存无法装下数据,常规的做法就需要借助外存,不过因此也会增加对数据的读写操作,而...

润乾软件 发表了文章 • 2019-03-05 16:14

0
推荐
225
浏览

报表性能优化

【摘要】报表性能对用户的影响十分恶劣,所有用户查报表时都希望立等可取,超过 5 秒钟用户就会很不满意,更别提要求毫秒级响应的情况了。引起报表性能的原因有很多(数据量大、计算复杂、报表格式混乱),绝大部...

润乾软件 发表了文章 • 2019-02-01 15:02