ToB企服应用市场:ToB评测及商务社交产业平台

标题: kettle优化解决办法 [打印本页]
作者: 伤心客    时间: 2024-12-27 03:57
标题: kettle优化解决办法
kettle优化解决办法

  1.    说下背景，在公司有9张表，每个表大约25万的数据量的excel表要定时更新到数据库表中，我做了定时任务，但是发现9张表在kettle要跑1个小时，忍受了2个月，实在顶不住这么慢的插入速度 。
  2.    现在网上有很多优化的办法，我觉得最重要的是使用kettle的连接池，连接池的解释如下
  3.    ![在这里插入图片描述](https://i-blog.csdnimg.cn/direct/1b51fa4ce879449490cc1c293ee24603.png)
复制代码

在kettle,打开数据库编辑，毗连池，设置8，-1

方法二:在数据库毗连，选项那设置
rewriteBatchedStatements 为true。
defaultRowPrefetch为200。
defaultFetchSize为500
useCursorFetch为true
useCompression为 true
useServerPrepStmts为false。

这两个利用下来，速度起码提示10倍，


同样的内容，改完之后，1个半以上的跑数时间变成只有7分钟。

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。



欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/) Powered by Discuz! X3.4