spark 里面,如何并行插入数据到数据库的不同表,表结构一样

0
已邀请:
1

regan - run! run! run! happy runner! 我是奔跑的小米~ 2017-06-16 回答

使用rdd上的randomSplit方法,将一个RDD随机拆分成多个RDD,randomSplit方法返回一个rdd数组,遍历数组,取出每个rdd,toDF后,使用jdbc方法写入数据库,遍历过程中制定一个随机的选库策略,这样就将rdd内容写入到了相同的 数据库不同的表中了。你具体的需求按照这个思路去应该可以实现。

要回复问题请先登录注册