使用DataX从Doris边传输边脱敏到MySQL报错

Viewed 31

Doris版本2.1.2,三台FE三台BE集群,每台16核心,66G内存
边传输边脱敏可以理解为每条数据经过DataX插件处理数秒之后再统一插入数据库
DataX报错为image.png
初步排查为插件处理时间过长导致的,更改了Doris超时时间到200000没有太大的作用

1 Answers

十列数据,有一列中文长文本,100万数据,最好一次跑了16万