在使用doris-flink-connector做整库数据同步的时候, 如果同一个fe进行的同步任务过多时, 写入数据频繁时, 经常会两个报错:
org.apache.doris.flink.exception.DorisRuntimeException: java.util.concurrent.ExecutionException: java.net.SocketException: Connection reset
org.apache.doris.flink.exception.StreamLoadException: stream load error: HTTP/1.1 307 Temporary Redirect
晚上数据量少的时候就很少报错, 白天数据量大时就容易报这个错, flink容错不影响数据同步, 但是告警太多了, 有时候连续报错也会造成一定的数据延迟;
doris版本selectdb-doris-2.1.6-rc04-3052e3ae26
connector版本: /data/software/jars/flink-doris-connector-1.17-1.6.2.jar
cdc参数:
--mysql-conf scan.startup.mode=earliest-offset \
--mysql-conf debezium.snapshot.mode=when_needed \
--use-new-schema-change true \
--schema-change-mode debezium_structure \
--single-sink true \
flink参数:
-Dexecution.checkpointing.interval=15000 \
-Dexecution.checkpointing.timeout=180000 \
-Dtaskmanager.memory.process.size=2g \
-Dtaskmanager.memory.network.max=128m \
-Dtaskmanager.memory.managed.size=128m \
-Dakka.ask.timeout=100s \
-Djobmanager.memory.process.size=1g \
