DataX同步mysql数据报错 无法连接mysql

锦通  金牌会员 | 2023-2-13 22:07:55 | 显示全部楼层 | 阅读模式
打印 上一主题 下一主题
楼主

主题 663|帖子 663|积分 1989

DataX同步Mysql数据报错

错误信息
  1. 2023-02-13 09:58:20.735 [main] WARN  Engine - prioriy set to 0, because NumberFormatException, the value is: null
  2. 2023-02-13 09:58:20.738 [main] INFO  PerfTrace - PerfTrace traceId=job_-1, isEnable=false, priority=0
  3. 2023-02-13 09:58:20.738 [main] INFO  JobContainer - DataX jobContainer starts job.
  4. 2023-02-13 09:58:20.739 [main] INFO  JobContainer - Set jobId = 0
  5. 2023-02-13 09:58:21.033 [job-0] WARN  DBUtil - test connection of [jdbc:mysql://hadoop102:3306/gmall] failed, for Code:[DBUtilErrorCode-10], Description:[连接数据库失败. 请检查您的 账号、密码、数据库名称、IP、Port或者向 DBA 寻求帮助(注意网络环境).].  -  具体错误信息为：com.mysql.jdbc.exceptions.jdbc4.MySQLNonTransientConnectionException: Could not create connection to database server..
  6. 2023-02-13 09:58:21.037 [job-0] ERROR RetryUtil - Exception when calling callable, 异常Msg:DataX无法连接对应的数据库，可能原因是：1) 配置的ip/port/database/jdbc错误，无法连接。2) 配置的username/password错误，鉴权失败。请和DBA确认该数据库的连接信息是否正确。
  7. java.lang.Exception: DataX无法连接对应的数据库，可能原因是：1) 配置的ip/port/database/jdbc错误，无法连接。2) 配置的username/password错误，鉴权失败。请和DBA确认该数据库的连接信息是否正确。
  8.         at com.alibaba.datax.plugin.rdbms.util.DBUtil$2.call(DBUtil.java:71) ~[plugin-rdbms-util-0.0.1-SNAPSHOT.jar:na]
  9.         at com.alibaba.datax.plugin.rdbms.util.DBUtil$2.call(DBUtil.java:51) ~[plugin-rdbms-util-0.0.1-SNAPSHOT.jar:na]
  10.         at com.alibaba.datax.common.util.RetryUtil$Retry.call(RetryUtil.java:164) ~[datax-common-0.0.1-SNAPSHOT.jar:na]
  11.         at com.alibaba.datax.common.util.RetryUtil$Retry.doRetry(RetryUtil.java:111) ~[datax-common-0.0.1-SNAPSHOT.jar:na]
  12.         at com.alibaba.datax.common.util.RetryUtil.executeWithRetry(RetryUtil.java:30) [datax-common-0.0.1-SNAPSHOT.jar:na]
  13.         at com.alibaba.datax.plugin.rdbms.util.DBUtil.chooseJdbcUrl(DBUtil.java:51) [plugin-rdbms-util-0.0.1-SNAPSHOT.jar:na]
  14.         at com.alibaba.datax.plugin.rdbms.reader.util.OriginalConfPretreatmentUtil.dealJdbcAndTable(OriginalConfPretreatmentUtil.java:92) [plugin-rdbms-util-0.0.1-SNAPSHOT.jar:na]
  15.         at com.alibaba.datax.plugin.rdbms.reader.util.OriginalConfPretreatmentUtil.simplifyConf(OriginalConfPretreatmentUtil.java:59) [plugin-rdbms-util-0.0.1-SNAPSHOT.jar:na]
  16.         at com.alibaba.datax.plugin.rdbms.reader.util.OriginalConfPretreatmentUtil.doPretreatment(OriginalConfPretreatmentUtil.java:33) [plugin-rdbms-util-0.0.1-SNAPSHOT.jar:na]
  17.         at com.alibaba.datax.plugin.rdbms.reader.CommonRdbmsReader$Job.init(CommonRdbmsReader.java:55) [plugin-rdbms-util-0.0.1-SNAPSHOT.jar:na]
  18.         at com.alibaba.datax.plugin.reader.mysqlreader.MysqlReader$Job.init(MysqlReader.java:37) [mysqlreader-0.0.1-SNAPSHOT.jar:na]
  19.         at com.alibaba.datax.core.job.JobContainer.initJobReader(JobContainer.java:673) [datax-core-0.0.1-SNAPSHOT.jar:na]
  20.         at com.alibaba.datax.core.job.JobContainer.init(JobContainer.java:303) [datax-core-0.0.1-SNAPSHOT.jar:na]
  21.         at com.alibaba.datax.core.job.JobContainer.start(JobContainer.java:113) [datax-core-0.0.1-SNAPSHOT.jar:na]
  22.         at com.alibaba.datax.core.Engine.start(Engine.java:92) [datax-core-0.0.1-SNAPSHOT.jar:na]
  23.         at com.alibaba.datax.core.Engine.entry(Engine.java:171) [datax-core-0.0.1-SNAPSHOT.jar:na]
  24.         at com.alibaba.datax.core.Engine.main(Engine.java:204) [datax-core-0.0.1-SNAPSHOT.jar:na]
  25. 2023-02-13 09:58:22.038 [job-0] ERROR RetryUtil - Exception when calling callable, 即将尝试执行第1次重试.本次重试计划等待[1000]ms,实际等待[1001]ms, 异常Msg:[DataX无法连接对应的数据库，可能原因是：1) 配置的ip/port/database/jdbc错误，无法连接。2) 配置的username/password错误，鉴权失败。请和DBA确认该数据库的连接信息是否正确。]
  26. 2023-02-13 09:58:22.042 [job-0] WARN  DBUtil - test connection of [jdbc:mysql://hadoop102:3306/gmall] failed, for Code:[DBUtilErrorCode-10], Description:[连接数据库失败. 请检查您的 账号、密码、数据库名称、IP、Port或者向 DBA 寻求帮助(注意网络环境).].  -  具体错误信息为：com.mysql.jdbc.exceptions.jdbc4.MySQLNonTransientConnectionException: Could not create connection to database server..
  27. 2023-02-13 09:58:24.042 [job-0] ERROR RetryUtil - Exception when calling callable, 即将尝试执行第2次重试.本次重试计划等待[2000]ms,实际等待[2000]ms, 异常Msg:[DataX无法连接对应的数据库，可能原因是：1) 配置的ip/port/database/jdbc错误，无法连接。2) 配置的username/password错误，鉴权失败。请和DBA确认该数据库的连接信息是否正确。]
  28. 2023-02-13 09:58:24.048 [job-0] WARN  DBUtil - test connection of [jdbc:mysql://hadoop102:3306/gmall] failed, for Code:[DBUtilErrorCode-10], Description:[连接数据库失败. 请检查您的 账号、密码、数据库名称、IP、Port或者向 DBA 寻求帮助(注意网络环境).].  -  具体错误信息为：com.mysql.jdbc.exceptions.jdbc4.MySQLNonTransientConnectionException: Could not create connection to database server..
  29. 2023-02-13 09:58:28.049 [job-0] ERROR RetryUtil - Exception when calling callable, 即将尝试执行第3次重试.本次重试计划等待[4000]ms,实际等待[4001]ms, 异常Msg:[DataX无法连接对应的数据库，可能原因是：1) 配置的ip/port/database/jdbc错误，无法连接。2) 配置的username/password错误，鉴权失败。请和DBA确认该数据库的连接信息是否正确。]
  30. 2023-02-13 09:58:28.054 [job-0] WARN  DBUtil - test connection of [jdbc:mysql://hadoop102:3306/gmall] failed, for Code:[DBUtilErrorCode-10], Description:[连接数据库失败. 请检查您的 账号、密码、数据库名称、IP、Port或者向 DBA 寻求帮助(注意网络环境).].  -  具体错误信息为：com.mysql.jdbc.exceptions.jdbc4.MySQLNonTransientConnectionException: Could not create connection to database server..
  31. 2023-02-13 09:58:36.055 [job-0] ERROR RetryUtil - Exception when calling callable, 即将尝试执行第4次重试.本次重试计划等待[8000]ms,实际等待[8000]ms, 异常Msg:[DataX无法连接对应的数据库，可能原因是：1) 配置的ip/port/database/jdbc错误，无法连接。2) 配置的username/password错误，鉴权失败。请和DBA确认该数据库的连接信息是否正确。]
  32. 2023-02-13 09:58:36.064 [job-0] WARN  DBUtil - test connection of [jdbc:mysql://hadoop102:3306/gmall] failed, for Code:[DBUtilErrorCode-10], Description:[连接数据库失败. 请检查您的 账号、密码、数据库名称、IP、Port或者向 DBA 寻求帮助(注意网络环境).].  -  具体错误信息为：com.mysql.jdbc.exceptions.jdbc4.MySQLNonTransientConnectionException: Could not create connection to database server..
  33. 2023-02-13 09:58:52.066 [job-0] ERROR RetryUtil - Exception when calling callable, 即将尝试执行第5次重试.本次重试计划等待[16000]ms,实际等待[16001]ms, 异常Msg:[DataX无法连接对应的数据库，可能原因是：1) 配置的ip/port/database/jdbc错误，无法连接。2) 配置的username/password错误，鉴权失败。请和DBA确认该数据库的连接信息是否正确。]
  34. 2023-02-13 09:58:52.069 [job-0] WARN  DBUtil - test connection of [jdbc:mysql://hadoop102:3306/gmall] failed, for Code:[DBUtilErrorCode-10], Description:[连接数据库失败. 请检查您的 账号、密码、数据库名称、IP、Port或者向 DBA 寻求帮助(注意网络环境).].  -  具体错误信息为：com.mysql.jdbc.exceptions.jdbc4.MySQLNonTransientConnectionException: Could not create connection to database server..
  35. ^C[Error] DataX receive unexpected signal 2, starts to suicide.
  36. 2023-02-13 09:59:22
  37. Full thread dump Java HotSpot(TM) 64-Bit Server VM (25.212-b10 mixed mode):
  39. "SIGINT handler" #10 daemon prio=9 os_prio=0 tid=0x00007fc7cc001000 nid=0x62f4 runnable [0x00007fc7d5634000]
  40.    java.lang.Thread.State: RUNNABLE
  41.         at java.lang.Thread.run(Thread.java:747)
  43. "Abandoned connection cleanup thread" #8 daemon prio=5 os_prio=0 tid=0x00007fc7f4585800 nid=0x62e9 in Object.wait() [0x00007fc7d5da9000]
  44.    java.lang.Thread.State: TIMED_WAITING (on object monitor)
  45.         at java.lang.Object.wait(Native Method)
  46.         at java.lang.ref.ReferenceQueue.remove(ReferenceQueue.java:144)
  47.         - locked <0x00000000ec4eb448> (a java.lang.ref.ReferenceQueue$Lock)
  48.         at com.mysql.jdbc.AbandonedConnectionCleanupThread.run(AbandonedConnectionCleanupThread.java:43)
  50. "Service Thread" #7 daemon prio=9 os_prio=0 tid=0x00007fc7f40d5800 nid=0x62e7 runnable [0x0000000000000000]
  51.    java.lang.Thread.State: RUNNABLE
  53. "C1 CompilerThread1" #6 daemon prio=9 os_prio=0 tid=0x00007fc7f40b8800 nid=0x62e6 waiting on condition [0x0000000000000000]
  54.    java.lang.Thread.State: RUNNABLE
  56. "C2 CompilerThread0" #5 daemon prio=9 os_prio=0 tid=0x00007fc7f40b5800 nid=0x62e5 waiting on condition [0x0000000000000000]
  57.    java.lang.Thread.State: RUNNABLE
  59. "Signal Dispatcher" #4 daemon prio=9 os_prio=0 tid=0x00007fc7f40b4000 nid=0x62e4 waiting on condition [0x0000000000000000]
  60.    java.lang.Thread.State: RUNNABLE
  62. "Finalizer" #3 daemon prio=8 os_prio=0 tid=0x00007fc7f4081000 nid=0x62e3 in Object.wait() [0x00007fc7d7efd000]
  63.    java.lang.Thread.State: WAITING (on object monitor)
  64.         at java.lang.Object.wait(Native Method)
  65.         - waiting on <0x00000000eab08ed0> (a java.lang.ref.ReferenceQueue$Lock)
  66.         at java.lang.ref.ReferenceQueue.remove(ReferenceQueue.java:144)
  67.         - locked <0x00000000eab08ed0> (a java.lang.ref.ReferenceQueue$Lock)
  68.         at java.lang.ref.ReferenceQueue.remove(ReferenceQueue.java:165)
  69.         at java.lang.ref.Finalizer$FinalizerThread.run(Finalizer.java:216)
  71. "Reference Handler" #2 daemon prio=10 os_prio=0 tid=0x00007fc7f407e000 nid=0x62e2 in Object.wait() [0x00007fc7d7ffe000]
  72.    java.lang.Thread.State: WAITING (on object monitor)
  73.         at java.lang.Object.wait(Native Method)
  74.         - waiting on <0x00000000eab06bf8> (a java.lang.ref.Reference$Lock)
  75.         at java.lang.Object.wait(Object.java:502)
  76.         at java.lang.ref.Reference.tryHandlePending(Reference.java:191)
  77.         - locked <0x00000000eab06bf8> (a java.lang.ref.Reference$Lock)
  78.         at java.lang.ref.Reference$ReferenceHandler.run(Reference.java:153)
  80. "job-0" #1 prio=5 os_prio=0 tid=0x00007fc7f400a800 nid=0x62de waiting on condition [0x00007fc7fda2d000]
  81.    java.lang.Thread.State: TIMED_WAITING (sleeping)
  82.         at java.lang.Thread.sleep(Native Method)
  83.         at com.alibaba.datax.common.util.RetryUtil$Retry.doRetry(RetryUtil.java:148)
  84.         at com.alibaba.datax.common.util.RetryUtil.executeWithRetry(RetryUtil.java:30)
  85.         at com.alibaba.datax.plugin.rdbms.util.DBUtil.chooseJdbcUrl(DBUtil.java:51)
  86.         at com.alibaba.datax.plugin.rdbms.reader.util.OriginalConfPretreatmentUtil.dealJdbcAndTable(OriginalConfPretreatmentUtil.java:92)
  87.         at com.alibaba.datax.plugin.rdbms.reader.util.OriginalConfPretreatmentUtil.simplifyConf(OriginalConfPretreatmentUtil.java:59)
  88.         at com.alibaba.datax.plugin.rdbms.reader.util.OriginalConfPretreatmentUtil.doPretreatment(OriginalConfPretreatmentUtil.java:33)
  89.         at com.alibaba.datax.plugin.rdbms.reader.CommonRdbmsReader$Job.init(CommonRdbmsReader.java:55)
  90.         at com.alibaba.datax.plugin.reader.mysqlreader.MysqlReader$Job.init(MysqlReader.java:37)
  91.         at com.alibaba.datax.core.job.JobContainer.initJobReader(JobContainer.java:673)
  92.         at com.alibaba.datax.core.job.JobContainer.init(JobContainer.java:303)
  93.         at com.alibaba.datax.core.job.JobContainer.start(JobContainer.java:113)
  94.         at com.alibaba.datax.core.Engine.start(Engine.java:92)
  95.         at com.alibaba.datax.core.Engine.entry(Engine.java:171)
  96.         at com.alibaba.datax.core.Engine.main(Engine.java:204)
复制代码
解决方案： 排查了配置的ip/port/database/jdbc/username/password后，发现都没有问题，最后是在datax/plugin/reader/mysqlreader/libs/ 中发现Java连接mysql的驱动包太老了，我的数据库版本为8.0.31，datax的lib下驱动包为mysql-connector-java-5.1.34.jar，把对应数据库版本的驱动包移过来以后就成功解决了
  1. [aluna@hadoop102 datax]$ cd plugin/
  2. [aluna@hadoop102 plugin]$ ll
  3. 总用量 8
  4. drwxr-xr-x. 20 aluna aluna 4096 10月 12 2019 reader
  5. drwxr-xr-x. 22 aluna aluna 4096 10月 12 2019 writer
  7. [aluna@hadoop102 plugin]$ cd reader/
  8. [aluna@hadoop102 reader]$ ll
  9. 总用量 0
  10. drwxr-xr-x. 3 aluna aluna 111 10月 12 2019 cassandrareader
  11. drwxr-xr-x. 3 aluna aluna 106 10月 12 2019 drdsreader
  12. drwxr-xr-x. 3 aluna aluna 105 10月 12 2019 ftpreader
  13. drwxr-xr-x. 3 aluna aluna 111 10月 12 2019 hbase094xreader
  14. drwxr-xr-x. 3 aluna aluna 110 10月 12 2019 hbase11xreader
  15. drwxr-xr-x. 3 aluna aluna 106 10月 12 2019 hdfsreader
  16. drwxr-xr-x. 3 aluna aluna 109 10月 12 2019 mongodbreader
  17. drwxr-xr-x. 3 aluna aluna 107 10月 12 2019 mysqlreader
  18. drwxr-xr-x. 3 aluna aluna 106 10月 12 2019 odpsreader
  19. drwxr-xr-x. 3 aluna aluna 108 10月 12 2019 oraclereader
  20. drwxr-xr-x. 3 aluna aluna 105 10月 12 2019 ossreader
  21. drwxr-xr-x. 3 aluna aluna 105 10月 12 2019 otsreader
  22. drwxr-xr-x. 3 aluna aluna  79 10月 12 2019 otsstreamreader
  23. drwxr-xr-x. 3 aluna aluna 112 10月 12 2019 postgresqlreader
  24. drwxr-xr-x. 3 aluna aluna 107 10月 12 2019 rdbmsreader
  25. drwxr-xr-x. 3 aluna aluna 111 10月 12 2019 sqlserverreader
  26. drwxr-xr-x. 3 aluna aluna 108 10月 12 2019 streamreader
  27. drwxr-xr-x. 3 aluna aluna 109 10月 12 2019 txtfilereader
  29. [aluna@hadoop102 reader]$ cd mysqlreader/
  30. [aluna@hadoop102 mysqlreader]$ ll
  31. 总用量 20
  32. drwxr-xr-x. 2 aluna aluna 4096 10月 12 2019 libs
  33. -rw-r--r--. 1 aluna aluna 7322 11月 24 2017 mysqlreader-0.0.1-SNAPSHOT.jar
  34. -rw-r--r--. 1 aluna aluna  259 11月 24 2017 plugin_job_template.json
  35. -rwxr-xr-x. 1 aluna aluna  345 11月 24 2017 plugin.json
  37. [aluna@hadoop102 mysqlreader]$ cd libs/
  38. [aluna@hadoop102 libs]$ ll
  39. 总用量 7732
  40. -rw-r--r--. 1 aluna aluna  518641 11月 24 2017 commons-collections-3.0.jar
  41. -rw-r--r--. 1 aluna aluna  185140 11月 24 2017 commons-io-2.4.jar
  42. -rw-r--r--. 1 aluna aluna  412739 11月 24 2017 commons-lang3-3.3.2.jar
  43. -rw-r--r--. 1 aluna aluna 1599627 11月 24 2017 commons-math3-3.1.1.jar
  44. -rw-r--r--. 1 aluna aluna   95053 11月 24 2017 datax-common-0.0.1-SNAPSHOT.jar
  45. -rw-r--r--. 1 aluna aluna 1952759 11月 24 2017 druid-1.0.15.jar
  46. -rw-r--r--. 1 aluna aluna  372746 11月 24 2017 fastjson-1.1.46.sec01.jar
  47. -rw-r--r--. 1 aluna aluna  934783 11月 24 2017 guava-r05.jar
  48. -rw-r--r--. 1 aluna aluna   45024 11月 24 2017 hamcrest-core-1.3.jar
  49. -rw-r--r--. 1 aluna aluna  264600 11月 24 2017 logback-classic-1.0.13.jar
  50. -rw-r--r--. 1 aluna aluna  418870 11月 24 2017 logback-core-1.0.13.jar
  51. -rw-r--r--. 1 aluna aluna  960372 11月 24 2017 mysql-connector-java-5.1.34.jar
  52. -rw-r--r--. 1 aluna aluna   95960 11月 24 2017 plugin-rdbms-util-0.0.1-SNAPSHOT.jar
  53. -rw-r--r--. 1 aluna aluna   32119 11月 24 2017 slf4j-api-1.7.10.jar
  55. [aluna@hadoop102 libs]$ rm -rf mysql-connector-java-5.1.34.jar
  56. [aluna@hadoop102 libs]$ ll
  57. 总用量 6792
  58. -rw-r--r--. 1 aluna aluna  518641 11月 24 2017 commons-collections-3.0.jar
  59. -rw-r--r--. 1 aluna aluna  185140 11月 24 2017 commons-io-2.4.jar
  60. -rw-r--r--. 1 aluna aluna  412739 11月 24 2017 commons-lang3-3.3.2.jar
  61. -rw-r--r--. 1 aluna aluna 1599627 11月 24 2017 commons-math3-3.1.1.jar
  62. -rw-r--r--. 1 aluna aluna   95053 11月 24 2017 datax-common-0.0.1-SNAPSHOT.jar
  63. -rw-r--r--. 1 aluna aluna 1952759 11月 24 2017 druid-1.0.15.jar
  64. -rw-r--r--. 1 aluna aluna  372746 11月 24 2017 fastjson-1.1.46.sec01.jar
  65. -rw-r--r--. 1 aluna aluna  934783 11月 24 2017 guava-r05.jar
  66. -rw-r--r--. 1 aluna aluna   45024 11月 24 2017 hamcrest-core-1.3.jar
  67. -rw-r--r--. 1 aluna aluna  264600 11月 24 2017 logback-classic-1.0.13.jar
  68. -rw-r--r--. 1 aluna aluna  418870 11月 24 2017 logback-core-1.0.13.jar
  69. -rw-r--r--. 1 aluna aluna   95960 11月 24 2017 plugin-rdbms-util-0.0.1-SNAPSHOT.jar
  70. -rw-r--r--. 1 aluna aluna   32119 11月 24 2017 slf4j-api-1.7.10.jar
  72. [aluna@hadoop102 libs]$ rz -E
  73. rz waiting to receive.
  75. [aluna@hadoop102 libs]$ ll
  76. 总用量 9252
  77. -rw-r--r--. 1 aluna aluna  518641 11月 24 2017 commons-collections-3.0.jar
  78. -rw-r--r--. 1 aluna aluna  185140 11月 24 2017 commons-io-2.4.jar
  79. -rw-r--r--. 1 aluna aluna  412739 11月 24 2017 commons-lang3-3.3.2.jar
  80. -rw-r--r--. 1 aluna aluna 1599627 11月 24 2017 commons-math3-3.1.1.jar
  81. -rw-r--r--. 1 aluna aluna   95053 11月 24 2017 datax-common-0.0.1-SNAPSHOT.jar
  82. -rw-r--r--. 1 aluna aluna 1952759 11月 24 2017 druid-1.0.15.jar
  83. -rw-r--r--. 1 aluna aluna  372746 11月 24 2017 fastjson-1.1.46.sec01.jar
  84. -rw-r--r--. 1 aluna aluna  934783 11月 24 2017 guava-r05.jar
  85. -rw-r--r--. 1 aluna aluna   45024 11月 24 2017 hamcrest-core-1.3.jar
  86. -rw-r--r--. 1 aluna aluna  264600 11月 24 2017 logback-classic-1.0.13.jar
  87. -rw-r--r--. 1 aluna aluna  418870 11月 24 2017 logback-core-1.0.13.jar
  88. -rw-r--r--. 1 aluna aluna 2515519 9月   4 05:54 mysql-connector-j-8.0.31.jar
  89. -rw-r--r--. 1 aluna aluna   95960 11月 24 2017 plugin-rdbms-util-0.0.1-SNAPSHOT.jar
  90. -rw-r--r--. 1 aluna aluna   32119 11月 24 2017 slf4j-api-1.7.10.jar
复制代码
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！
回复

使用道具 举报

0 个回复

正序浏览
返回列表

快速回复

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 or 立即注册

本版积分规则

锦通

金牌会员
这个人很懒什么都没写!

楼主热帖

标签云

挺好的 服务器
微信订阅号
微信服务号
微信客服
小程序
H5
关于我们 商务合作 网站地图
©Copyright 2022-2024 杭州祥升科技有限公司 版权所有 浙ICP备20004199号
快速回复 返回顶部 返回列表