请教一个spark的问题,假如我的一个文档大小是2个G,但是我的cpu内存只有1个G,我用sc.textFile("")能把这个文件读进来吗?

0

内存不会爆掉吗?是怎样的一个机制?
是只读一部分?还是怎么 
 
已邀请:
0

MarsJ - 大数据玩家~DS 2016-09-22 回答

Spark的RDD在出发了真正的执行之后,读文件时会生成一个RDD,这个RDD会根据一些机制被分成一些分区,内存如果只有1G,那只会有一部分分区被加载,然后才加载剩余的分区。
读文件的函数是sc.textFile()

要回复问题请先登录注册