ToB企服应用市场:ToB评测及商务社交产业平台

标题: pentaho(keetle)数据同步实践 [打印本页]
作者: tsx81429    时间: 2023-8-10 23:24
标题: pentaho(keetle)数据同步实践
pentaho(keetle)数据同步实践

1 pentaho简介

pentaho可读作“彭塔湖”，在keetle被pentaho公司收购后改名而来。
pentaho是一款开源ETL工具，纯java编写的C/S模式的工具，可绿色免安装，开箱即用。支持Windows、macOS、Linux平台。
pentaho有2个核心设计，即转换和作业。
转换是一个包含输入、逻辑处理、输出的完整过程，即ETL。
作业是一个提供定时执行转换的机制，即定时服务调度。
pentaho官网下载链接：Pentaho Community Edition Download | Hitachi Vantara

pentaho由主要四部分组成
2 pentaho安装

由于是纯java编写，依赖jdk环境。所以需要先配置jdk环境，这里省略。
从官网下载pentaho安装包后，直接解压。

重点目录以及执行文件说明
3 数据同步案例

这里使用sqlserver到postgresql同步。在Windows平台上操作。
3.1 执行Spoon.bat文件，启动图形化界面


可以看到左侧只有作业和转换。
3.2 创建一个转换，右键，新建


左侧是一些转换插件。
3.3 创建一个数据源输入，展开输入，选择表输入


切换到主对象树,选择DB连接,连接数据源。
由于我这里是sqlserver同步到postgresql，所以需要创建sqlserver和postgresql的DB连接。
创建连接前，需要先下载sqlserver的 jdbc驱动mssql-jdbc-12.2.0.jre8.jar 和 postgresql的jdbc驱动postgresql-42.6.0.jar,我这里直接选的最新版。
sqlserver的连接

​        sqlserver的连接，如果选择JNDI则无法连接，目前猜测可能是驱动版本问题
postgresql的连接

点击测试，如果连接成功，则会弹框提示

3.4 编辑表输入


先选择数据库连接

点击获取SQL查询语句，获取数据表

选择一个数据表后，会提示是否选择全部字段，选择是


点击确定，一个表输入就做好了。
3.5 创建一个数据源输出

如果是全表覆盖同步，则选择表输出，因为这里是需要根据主键判断是否重复，重复则更新，否则就插入，因此这里选择 插入/更新
展开输出节点，选择 插入/更新，并将其拖入到右侧图形界面中，然后将表输入连线到当前节点，按住shift+鼠标左键
这里如果不先连线的话，在配置映射字段时，就无法获取源表字段，需要自行输入


双击进行编辑

点击确定后，一个转换就完成了

点击左上角的运行按钮，即可执行同步了。
Q1：这是一个单表转换，那如果需要一次同步多个表呢？
A1：那就继续按此步骤进行配置，多表转换配置完成后如下

Q2：那表数量很多，这么配置很费时间，有什么更好的办法么？
A2：有。可以编写脚本，正在学习中……
Q3: 前面的转换已经配置完成了，但是只能手动点击运行，能否定时自动运行？
A3：可以。继续看第4节。
4 定时服务

选择文件–>新建–>作业，即可创建一个作业。

在作业窗口，选择核心对象,展开通用，选择Start、转换、成功，分别拖入图形界面中，并按顺序连线

双击转换就，进行编辑，选择转换文件
无论转换、还是作业，都是以xml文件形式保存在本地

此时一个作业即配置完成，但是注意，还没达到定时运行的目的，继续配置
双击Start，对作业进行配置

配置完后点击确定，然后点击图形界面的运行按钮，定时服务即启动了

在日志输出窗口，可看到服务运行日志

至此，pentaho的定时数据同步已完成。
Q4: 定时服务开启后，这个程序窗口被关了或者说程序退出了，服务还运行吗？
A4：不会。由于是C/S模式，客户端服务端一体，进程退出即服务停止
Q5：那有类似后台服务的方式，悄悄运行呢，不被这个界面退出所终止服务？
A5：有。请看第5节。
5 以后台方式运行作业

在介绍中提到，有个Kitchen.bat/Kitchen.sh(厨房)的执行文件，它的作用就是用命令方式调用作业。由于是在Windows平台，所以选择Kitchen.bat执行文件。
打开控制台窗口，进入pentaho安装目录，即Kitchen.bat所在目录，执行如下命令
  1. kitchen /file:{job file path} /level:Basic>>{log file path}
复制代码
说明：
/file 参数指定 job文件
/level 参数指定日志级别，并写入指定的文件
指定日志文件后，控制台界面就不会输出日志，否则日志会在控制台输出，像下面这样

Q6：总开着一个控制台黑框，也不太好，窗口被关了，服务不也停止了吗？有什么更好的方式吗？
A6：是的。有。可以隐藏掉黑窗口，那么继续往下看。
5.1 隐藏控制台窗口

在Kitchen.bat同级目录下创建一个txt文本文件，输入如下内容
  1. @echo off
  2. if "%1" == "h" goto begin
  3. mshta vbscript:createobject("wscript.shell").run("%~nx0 h",0)(window.close)&&exit
  4. :begin
  5. kitchen /file:"替换为job文件路径" /level:Basic>>"替换为日志文件路径"
复制代码
然后以ANSI编码方式另存为.bat文件。用ANSI编码，是防止文件路径有中文出现乱码。
至此，一个完成的pentaho定时数据同步作业服务就完成了。

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！



欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/) Powered by Discuz! X3.4