使用kettle向mysql插入数据~ 每秒10条...应该是mysql的问题。有谁知道怎么能提高效率么~

0
已邀请:
1

牟瑞 - 大数据 Hadoop 讲师 Hadoop入门课程地址:http://www.hellobi.com/course/39 有架构师,技术总监,CTO的职位请联系我! 2015-08-26 回答

往数据库里面插入数据最快的方式是采用Load的方式。如果你是从其他的数据源大批量的插入MySQL的数据库,可以采用,在数据库里面建一个与目标数据库一样的临时数据表,该临时表没有主键,没有索引等限制,然后将需要插入的数据利用Kettle导出成文本,然后使用MySQL的Load命令,将文本数据插入到临时表,然后采用SELECT INTO的方式插入到目标数据表中。采用这种方式,百万级的数据量十几分钟,甚至几分钟就能插入完成。

要回复问题请先登录注册