flink cdc 监听 mysql binary 主键时出现 classcastexception
使用 flink cdc 监听 mysql 时，如果 mysql 表的主键是二进制格式，可能会遇到以下错误：
caused by: java.lang.classcastexception: [b cannot be cast to java.lang.comparable
登录后复制
问题分析
此错误表明在拆表时出现了问题。flink cdc 将表拆分为更小的分片，用于并行读取。拆分时，flink 会比较主键值以确定分片的边界。但是，对于二进制格式的主键，主键值无法直接转换为可比较的对象，因此会出现 classcastexception。
解决方案
解决此问题的方法是升级到 flink cdc 2.1.2 或更高版本。在这些版本中，已经修复了该问题。此外，还可以通过以下方式解决问题：
- 将 mysql 表的主键更改为非二进制格式。
- 使用 flink 提供的 binaryprefixboundednessassigner 来处理二进制主键。
具体步骤
将 flink cdc 2.1.1 升级到 2.1.2 或更高版本：
mvn dependency:upgrade -dartifact org.apache.flink:flink-connector-mysql-cdc
登录后复制
使用 binaryprefixboundednessassigner 来处理二进制主键：
ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment(); // 创建 MySQL source CDCSource<Tuple5<ByteString, ByteString, BigInteger, ByteString, Long>> source = CDCSource.<Tuple5<ByteString, ByteString, BigInteger, ByteString, Long>>builder() .hostname("localhost") .port(3306) .database("test_db") .tableList("test_table") .username("root") .password("root") // 使用 BinaryPrefixBoundednessAssigner 处理二进制主键 .assigners(new BinaryPrefixBoundednessAssigner()) .build();
登录后复制
