Flink CDC Connectors 2.2源码编译,适配Flink 1.14.2

编程入门 行业动态 更新时间:2024-10-07 18:26:51

Flink CDC Connectors 2.2<a href=https://www.elefans.com/category/jswz/34/1770099.html style=源码编译,适配Flink 1.14.2"/>

Flink CDC Connectors 2.2源码编译,适配Flink 1.14.2

需要源码或者进Flink微信交流群的+V :zoomake1024

Flink CDC Connectors 底层集成了 Debezium 引擎来捕获数据变化,支持Mysql、PostgreSQL、MongoDB、Oracle、SqlServer多种数据源同步,2.0版本稳定性大幅提升,如动态分片,初始化阶段支持checkpoint、无锁初始化等。

CDC需要mysql binlog设置成ROW模式:

show variables like 'binlog_format%'; vi /etc/myf
binlog_format=row
systemctl restart mariadb.service

否则会报以下错误:

Caused by: org.apache.flink.table.api.ValidationException: The MySQL server is configured with binlog_format MIXED rather than ROW, which is required for this connector to work properly. Change the MySQL configuration to use a binlog_format=ROW and restart the connector.

编译 CDC2.2源码 适配Flink1.14.2

修改父module和子module的pom文件适配Flink1.14.2:

1.修改flink版本为1.14.2和scala版本为2.12.7

2.修改flink-table-planner-blink为flink-table-planner;flink-table-runtime-blink为flink-table-runtime

3.flink-shaded-guava版本由30.1.1-jre-14.0修改为18.0-13.0

修改后极少部分import会报错,改成新依赖版本中的路径和类即可,例如:
创建TimestampFormat改为TimestampFormat timestampOption = JsonFormatOptionsUtil.getTimestampFormat(formatOptions);

打包时需注意

父module先install,这样会保证本地maven仓库中有各个子module的jar包,否则,子module之间有依赖的话,package时会报错。

然后再package需要的子module,子module的pom文件需要修改打包方式,最好把依赖都打进jar包中,这样工程中就只需要引入一个

否则会报如下的各种错误:

Could not initialize class io.debezium.connector.mysql.MySqlConnectorConfig

更多推荐

Flink CDC Connectors 2.2源码编译,适配Flink 1.14.2

本文发布于:2024-02-14 11:35:35,感谢您对本站的认可!
本文链接:https://www.elefans.com/category/jswz/34/1763017.html
版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。
本文标签:源码   Connectors   Flink   CDC   适配

发布评论

评论列表 (有 0 条评论)
草根站长

>www.elefans.com

编程频道|电子爱好者 - 技术资讯及电子产品介绍!