前几天KETTLE 往MYSQL 抽取数据在800/s 速度感觉和理论上相差太多,
网上搜索了很多,有前辈说到了
链接:http://forums.pentaho.com/showthread.php?142217-Table-Output-Performance-MySQL#9
mysql insert cusotomer values(id,name) values(?,?)是这样插入
需要配置连接中,
- useServerPrepStmts=false
- rewriteBatchedStatements=true
- useCompression=true
的确很快,2000/s, 但后面问题到了
业务系统分库分表的,往DW中插入数据的时候,需要追加 哪个SERVER,哪个库,方便后续数据定位,
为了满足这个需求,设置变量,最后几百条的时候插入OK,但上万条的时候FAIL,显示字段多出
国内网站上搜了很多没有,最后到KETTLE 原生网站论坛有solution
每次提交的时候,批处理不能超过1500,于是最终解决了问题,
链接:网址找了好久找不到了
remark: sqlserver,oracle不存在这个问题