Flink同步数据mysql到doris问题合集

官方同步流程

Streaming ELT 同步 MySQL 到 Doris
Doris安装

下载地址

链接: https://pan.baidu.com/s/1tXt-te-qbfDO1VYgUdk82Q?pwd=nudt 提取码: nudt
导入镜像

1. docker load -i doris-standalone.tar

复制代码

启动设置

docker-compose设置如下：

1. version: '2.1'
2. services:
3.   doris:
4.     image: yagagagaga/doris-standalone
5.     ports:
6.       - "8030:8030"
7.       - "8040:8040"
8.       - "9030:9030"
9.     environment:
10.       - TZ=Asia/Shanghai

复制代码

Flink-cdc安装（自制）

下载地址

链接: https://pan.baidu.com/s/1S0Mlsfey3PqhEM7PEnZ0nA?pwd=82d9 提取码: 82d9
导入镜像

1. docker load -i flink-cdc-3.2.0.tar

复制代码

启动下令

1. docker run -d -p 8081:8081 -v /usr/local/docker/flink/job/:/opt/flink/flink-cdc-3.2.0/job/ --name flink-container alethen/flink-cdc:3.2.0

复制代码

启动问题修复

Flink报错Could not acquire the minimum required resources.

解决方法是修改设置文件flink-conf.yaml，重新设置使命槽的数目
taskmanager.numberOfTaskSlots(调大点，好比30，50)
作业报错 Mysql8.0 Public Key Retrieval is not allowed

这是因为用户设置的 MySQL 用户 使用的是 sha256 暗码认证，需要 TLS 等协议传输暗码。一种简朴的方法是使允许 MySQL用户 支持原始暗码方式访问。

1. # 赋权命令
2. ALTER USER 'username'@'localhost' IDENTIFIED WITH mysql_native_password BY 'password';
3. # 刷新权限
4. FLUSH PRIVILEGES;

复制代码

作业报错Connect to 127.0.0.1:8040 [/127.0.0.1] failed: Connection refused (Connection refused)

当使用单例模式部署Doris时，使用下令查询出的be节点Host是127.0.0.1

假如flink部署在其他服务器上，则需要在flink-cdc的读取设置文件中加入benodes地址，否则默认连接的是127.0.0.1:8040，需要手动调整，修改设置如下

Flink通过Nginx接入Doris最小限度接口

Doris正常环境会启动很多端口，用如下下令可以查看Doris开放端口

1. # 查看前端运行情况
2. SHOW PROC '/frontends';
3. # 查看后端运行情况
4. SHOW PROC '/backends';

复制代码

Nginx转发Doris接口需要使用Nginx的Stream模块，开放8030、8040、9030、9050端口

1. stream {
2.         upstream doris_front_http {
3.                 server 192.168.38.132:8030;
4.         }
5.         upstream doris_front_query {
6.                 server 192.168.38.132:9030;
7.         }
8.         upstream doris_back_http {
9.                 server 192.168.38.132:8040;
10.         }
11.         upstream doris_back_heartbeat {
12.                 server 192.168.38.132:9050;
13.         }
14.         server {
15.                 listen 8030;
16.                 proxy_pass doris_front_http;
17.         }
18.         server {
19.                 listen 9030;
20.                 proxy_pass doris_front_query;
21.         }
22.         server {
23.                 listen 8040;
24.                 proxy_pass doris_back_http;
25.         }
26.         server {
27.                 listen 9050;
28.                 proxy_pass doris_back_heartbeat;
29.         }
30. }

复制代码

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。