Spark当前的参数配置,是通过用户自己配置,这个要拼接自己的经验来配置才能让应用运行的效果达到最佳。那有没有办法可以实现自动化的配置?谢谢

0
已邀请:
0

regan - run! run! run! happy runner! 我是奔跑的小米~ 2017-03-01 回答

在Spark里面要根据你的作业使用资源的情况,合理的配置资源才行。目前Spark的资源配置还没有这么智能,需要根据经验来合理的进行配置,当然你也可编写程序,根据你集群的情况自动的生成配置,如自动拼装--executor-cors,--executor-memory等,提交作业时将拼接好的参数进行提交。
目前在 这方面flink做得要好些~, 它能达到集群 资源使用的 最优~!

要回复问题请先登录注册