请教各位大神,JAVA语言,自己写个函数,在spark程序中可以调用吗,如果能的话,用的是org.apache.spark.api.java.function这个接口来实现吗?能否提供具体的样例呢?这样实现的函数是并行计算的吗?

0
已邀请:
0

MarsJ - 大数据玩家~DS 2016-09-10 回答

首先,可以在Spark中Java写函数,这样的程序在分布式Spark的环境下是并行计算的。
然后,在Spark中写Java,用到了什么就import什么,例如JavaRDD,那就 
import org.apache.spark.api.java.JavaRDD 
 
建议你多查看Spark的官方文档,其中的代码都有Java版本的。
Spark编程指南的URL :  https://spark.apache.org/docs/ ... .html

要回复问题请先登录注册