关于spark的延迟计算问题?
0
spark的一个特性就是延迟计算,但是这个延迟计算感觉令我对spark代码的执行过程产生了困惑。
譬如,这样的代码:
rdd1.cache()
rdd2 = rdd1.doSomeTransform().cache()
rdd1.unpersist()
save(rdd2)
这样的伪代码,在save(rdd2)使会action,然后去计算rdd2,从而转到rdd1被cache,然后rdd2计算完毕被cache(),那unpersist在什么时候被执行?rdd2被cache之后?还是说我的理解错了。?求教。
譬如,这样的代码:
rdd1.cache()
rdd2 = rdd1.doSomeTransform().cache()
rdd1.unpersist()
save(rdd2)
这样的伪代码,在save(rdd2)使会action,然后去计算rdd2,从而转到rdd1被cache,然后rdd2计算完毕被cache(),那unpersist在什么时候被执行?rdd2被cache之后?还是说我的理解错了。?求教。
没有找到相关结果
重要提示:提问者不能发表回复,可以通过评论与回答者沟通,沟通后可以通过编辑功能完善问题描述,以便后续其他人能够更容易理解问题.
0 个回复