Spark 动态UDF

0

Spark 可否通过REPL实现代码动态加载,在REPL里面去生成UDF对应函数,并注册到sqlContext中,然后在REPL外部使用这些UDF?
 
已邀请:
0

regan - run! run! run! happy runner! 我是奔跑的小米~ 2017-04-20 回答

不行的,这个原理是这样的。你自己的写的UDF需要通过udf上的register方法注册到SqlContext上,而SqlContext是在Driver进程启动的时候实例化的,因此每个SqlContext上的UDF彼此独立,不能互相访问使用的。

要回复问题请先登录注册