美丽的神话 发表于 2024-12-22 17:16:17

【Kettle的安装与使用】使用Kettle实现mysql和hive的数据传输(使用Kettle

一、安装

Kettle的安装包在文章末端
1、解压

在windows中解压到一个非中文路径下
2、修改字符集

修改 spoon.bat 文件
https://i-blog.csdnimg.cn/direct/9173e6aa421c4212835e870dd6f7556d.png
"-Dfile.encoding=UTF-8"
3、启动

以管理员身份运行 spoon.bat 文件
二、实战

1、将hive数据导入mysql

kettle连接hive前配置:
https://i-blog.csdnimg.cn/direct/fd8cb1e7e441488d991d7255fff53b5e.png
https://i-blog.csdnimg.cn/direct/6f33015104e54b74847bb696a141b749.png
https://i-blog.csdnimg.cn/direct/c396116c1c3d4cc0a1c2208cb6123ef9.png
https://i-blog.csdnimg.cn/direct/40babf11dae24e0ea1a473010463fbde.png
https://i-blog.csdnimg.cn/direct/4cd4f2b4d46a473da20af5b22daea9c0.png
https://i-blog.csdnimg.cn/direct/4dc56391462140c786d3fc090ac632f4.png
https://i-blog.csdnimg.cn/direct/d877a281b8d241b6a83dfb89ea48f95a.png
https://i-blog.csdnimg.cn/direct/0d34666da8504e81ac60f50949fd22d8.png
https://i-blog.csdnimg.cn/direct/f462b3a3ce54450fb806c45e9330b977.png
https://i-blog.csdnimg.cn/direct/9e3a5c00f29b47768cdcfae2e1640700.png
https://i-blog.csdnimg.cn/direct/e3d8dff104fa47f3a783715d9c7828f6.png
https://i-blog.csdnimg.cn/direct/427f5b02d6c642f29bedc3dce33ed36d.png
2、将mysql数据导入到hive

和将hive数据导入mysql一样
偶然候,运行成功,偶然候只能导入 2 条数据,然后报错,可以在 hive 的 conf 下的 .hiverc 下,添加如下:
set hive.stats.column.autogather=false;
然后不需要重启 hiveserver2 以及 kettle,直接运行即可。
通过网盘分享的文件:Kettle
链接: Kettle安装包
提取码: 1234

免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。
页: [1]
查看完整版本: 【Kettle的安装与使用】使用Kettle实现mysql和hive的数据传输(使用Kettle