能否在本地连接到spark集群进行计算,不用将程序打包到hdfs,求方案

0
已邀请:
0

regan - run! run! run! happy runner! 我是奔跑的小米~ 2017-02-28 回答

当然可以,你本地作为Driver节点,任务分发到集群上去执行。程序中指定master就可以了
0

天桥下的郑成功 - Hadoop大数据开发工程师、数仓架构师、熟悉数据仓库设计、Hadoop、Spark、HBase、Hive、SSIS等开发 2017-03-09 回答

能详细的说一下吗? 最近也在考虑这方面的问题。
现在的做法就是要么只在本地跑,要么submit到服务器
从本地提交到集群运行的,还真没跑过

要回复问题请先登录注册