请教一个spark的问题,假如我的一个文档大小是2个G,但是我的cpu内存只有1个G,我用sc.textFile("")能把这个文件读进来吗?
0
内存不会爆掉吗?是怎样的一个机制?
是只读一部分?还是怎么
没有找到相关结果
重要提示:提问者不能发表回复,可以通过评论与回答者沟通,沟通后可以通过编辑功能完善问题描述,以便后续其他人能够更容易理解问题.
没有找到相关结果
1 个回复
MarsJ - 大数据玩家~DS 2016-09-22 回答
赞同来自:
读文件的函数是sc.textFile()