Flink CDC导入数据BE节点CPU、内存占用很高

Viewed 67
3.0

版本：

  1. Doris V3.0.0
  2. Flink 1.17.2
  3. Flink-doris-connector: 1.6.2
    资源：Doris BE节点16C32G
    每秒写入：5k左右
    流程：Mysql -> Flink CDC -> Kafka -> Flink -> Doris，使用Flink-doris-connector datastream api同步kafka的多topic数据debezium-json到doris
    问题：BE节点CPU占用90%以上，另外的任务也是用flink-doris-connector，用的flink sql非debezium-json格式的数据，同样每秒写入5k条左右BEcpu占用10%，CDC场景是否正常、如何优化
pawnZzz7
1 Answers
  1. 可以先TOP -H 看下句是什么线程在占用资源
  2. 除了CDC任务外看下是不是还有其他任务在跑

麻烦确认下这两点的

目前没反馈信息，先close

阿渊@SelectDB5735