Doris版本:doris-2.1.6-rc04-653e315ba5
Doris连接器版本:flink-doris-connector-1.16-1.6.2.jar
PostgresqlCDC版本:flink-sql-connector-postgres-cdc-3.0.1.jar
问题现象:
首次启动时报错
在Doris下其实已经自动建了这个表
换了版本还是报相同的错
新版本:
flink-sql-connector-postgres-cdc-3.1.0.jar
flink-doris-connector-1.16-24.0.1.jar
flink版本1.16.4
启动命令:
/opt/datasophon/flink/bin/flink run
-p 1
-d
-t yarn-per-job
-Dexecution.checkpointing.interval=10s
-Dparallelism.default=1
-Djobmanager.memory.process.size=1024m
-Dtaskmanager.memory.process.size=2048m
-c org.apache.doris.flink.tools.cdc.CdcTools
/opt/datasophon/flink/lib/flink-doris-connector-1.16-24.0.1.jar
postgres-sync-database
--database test_db
--table-prefix ods_
--postgres-conf hostname=ip
--postgres-conf port=5432
--postgres-conf username=
--postgres-conf password=""
--postgres-conf database-name=aia-base-testing
--postgres-conf schema-name=public
--postgres-conf slot.name=doris_test
--postgres-conf decoding.plugin.name=pgoutput
--including-tables "activity_nodes|groups|likes"
--sink-conf fenodes=hadoop101:8030
--sink-conf username=
--sink-conf password=
--sink-conf jdbc-url=jdbc:mysql://172.0.106.42:19030
--sink-conf sink.label-prefix=ods_
--table-conf replication_num=3