咨询Transformer中Cube Group的问题

0
在Cube Group中如果设置了Time-based Partitioning,是不是就不能使用incrementlly updated功能了?如果是这样的话,就要完全更新,大数据量的更新性能上会有很大问题,请问各位实际中使用Time-based Partitioning Cube的情况多吗?是怎么解决大数据量完全更新的性能问题?
已邀请:
0

哈皮萌主 - 只要你深呼吸就会看见奇迹! 2016-03-09 回答

Time-based Partitioning和incrementlly updated是两种增量更新的方式,具体区别这里就不多说了,两种不能同时使用。
我们项目中有用到Time-based Partitioning更新,当时是因为数据量太大,生成的mdc大小已经超过了最大限制,cube没法更新,所以选择了cube时间分区方式。至于性能的问题没太深入研究,反正用这种更新方式后由原来的7、8个小时都跑不完,之后还报错,到现在3个小时内更新完。
 
另外Time-based Partitioning不是全量更新,它会自动生成一个文件夹,里面放各个时间段的小mdc文件,哪儿月或者哪年数据有问题,可以单独删掉对应的mdc文件,然后更新cube的时候它会去更新删掉的时间段数据及新的数据。
 
具体可以参考:http://www.cognoschina.net/Question/65207(随便找的,还请梁总不要介意是别的网站的资料)

要回复问题请先登录注册