大数据系列课程69讲 Kylin 优化笔记
Kylin 的优化
- Hive优化
- HBase优化
- Kylin维度的优化
- 计算引擎的优化
Aggregation Group
聚合组,是可以用来控制那些cuboids需要被计算,一个维度可以出现在多个聚合组里面,但是build时只会计算一次。Cube维度设计中,AGG数量不宜过多
- Mandatory Dim,强制维度,即所有Cuboid都必须包含的维度,不会计算不包含强制维度的Cuboid,适用于“将确定在查询时一定会使用的维度设置为强制维度,例如日期维度”。举例,3个维度ABC,(ABC)(AB-)(-BC)(A-C)(-B-)(–C)(A–)….,若此时把维度A设置为强制维度,则只会计算(ABC)(AB-)(A-C)(A–)四个Cuboids
- Hierachy Dim,具有一定层级关系的维度,如:年月日、国家-省份-城市-街道
- Joint Dim,最好同时出现的维度,如(AB),若gruop by 时,A和B都是同时出现的,即可设置为Joint Dim,假如把AB设置为Joint DIm,但查询时只group byA或B,它会基于Group By A,B的结果去进一步的计算A或B的结果,此时会降低查询速度。
RowKeys
将查询频率越高的维度放在RowKey的前面