源码编译,适配Flink 1.14.2"/>
Flink CDC Connectors 2.2源码编译,适配Flink 1.14.2
需要源码或者进Flink微信交流群的+V :zoomake1024
Flink CDC Connectors 底层集成了 Debezium 引擎来捕获数据变化,支持Mysql、PostgreSQL、MongoDB、Oracle、SqlServer多种数据源同步,2.0版本稳定性大幅提升,如动态分片,初始化阶段支持checkpoint、无锁初始化等。
CDC需要mysql binlog设置成ROW模式:
show variables like 'binlog_format%'; vi /etc/myf
binlog_format=row
systemctl restart mariadb.service
否则会报以下错误:
Caused by: org.apache.flink.table.api.ValidationException: The MySQL server is configured with binlog_format MIXED rather than ROW, which is required for this connector to work properly. Change the MySQL configuration to use a binlog_format=ROW and restart the connector.
编译 CDC2.2源码 适配Flink1.14.2
修改父module和子module的pom文件适配Flink1.14.2:
1.修改flink版本为1.14.2和scala版本为2.12.7
2.修改flink-table-planner-blink为flink-table-planner;flink-table-runtime-blink为flink-table-runtime
3.flink-shaded-guava版本由30.1.1-jre-14.0修改为18.0-13.0
修改后极少部分import会报错,改成新依赖版本中的路径和类即可,例如:
创建TimestampFormat改为TimestampFormat timestampOption = JsonFormatOptionsUtil.getTimestampFormat(formatOptions);
打包时需注意
父module先install,这样会保证本地maven仓库中有各个子module的jar包,否则,子module之间有依赖的话,package时会报错。
然后再package需要的子module,子module的pom文件需要修改打包方式,最好把依赖都打进jar包中,这样工程中就只需要引入一个
否则会报如下的各种错误:
Could not initialize class io.debezium.connector.mysql.MySqlConnectorConfig
更多推荐
Flink CDC Connectors 2.2源码编译,适配Flink 1.14.2
发布评论