您的位置:首页 > 科技 > 能源 > FlinkCDC 3.1.0 与 Flink 1.18.0 安装及使用 Mysql To Doris 整库同步,使用 pipepline连接器

FlinkCDC 3.1.0 与 Flink 1.18.0 安装及使用 Mysql To Doris 整库同步,使用 pipepline连接器

2024/11/18 7:34:50 来源:https://blog.csdn.net/m0_63628018/article/details/139826154  浏览:    关键词:FlinkCDC 3.1.0 与 Flink 1.18.0 安装及使用 Mysql To Doris 整库同步,使用 pipepline连接器

cd flink-cdc-3.1.0

bin/flink-cdc.sh 会用到 linux的系统环境变量(vim /etc/profile配置),使用环境变量 FLINK_HOME

6b003e2245ea4d7db90b2bbc518875bc.png

flinkcdc & flink 安装及使用:

1、flink-cdc-3.1.0/lib/ 内容如下:

6173141ab47b496c881acffd79e71518.png

2、flink-cdc-3.1.0/mysql-to-doris.yaml 文件配置如下:

source:type: mysqlhostname: 172.xxx.xxx.xxxport: 3306username: rootpassword: xxxxxtables: sync_db.\.*server-id: 5400-5404server-time-zone: Asia/Shanghaisink:type: dorisfenodes: 172.xxx.xxx.xxx:8030username: rootpassword: xxxxxtable.create.properties.light_schema_change: truepipeline:name: Sync MySQL Database to Dorisparallelism: 2

3、启动 mysql-to-doris.yaml ,使用Pipeline Doris Connector:

[root@test002 24-06-20 11:06:22 flink-cdc-3.1.0 #] bash bin/flink-cdc.sh mysql-to-doris.yaml

4、查看 flinkcdc log:同步任务提交成功

[root@test002 24-06-20 11:10:29 flink-cdc-3.1.0 #] tail -f log/flink-cdc-cli-test002.log 

b0340819040d4e9f8c901fa523f7cba0.png

flink web 8081端口查看job作业:

3bc10e51dd074ae4bf3446caf411a45a.png

问题:flink lib 加入 mysql-connect-java.jar 否则flink任务会无法连接sink端,报错Exception

Failed to create Source Enumerator for source Source: Flink CDC Event Source: mysql java.lang.NoClassDefFoundError: com/mysql/cj/jdbc/Driver

解决:flink lib 安装完成后,引入 mysql-connect-java.jar ,配置如下

5dc92071d3a0421299730105dcec05b7.png

补充:查找 flink 路径下的 jar包是否包含该类

(base) [root@test002 24-06-20 13:38:47 flink-cdc-3.1.0 #] grep -r com.mysql.cj.jdbc.Driver *
匹配到二进制文件 lib/mysql-connector-java-8.0.27.jar

参考:MySQL 同步到 Doris | Apache Flink CDC

版权声明:

本网仅为发布的内容提供存储空间,不对发表、转载的内容提供任何形式的保证。凡本网注明“来源:XXX网络”的作品,均转载自其它媒体,著作权归作者所有,商业转载请联系作者获得授权,非商业转载请注明出处。

我们尊重并感谢每一位作者,均已注明文章来源和作者。如因作品内容、版权或其它问题,请及时与我们联系,联系邮箱:809451989@qq.com,投稿邮箱:809451989@qq.com