【已解决】使用spark-doris-connector 在spark on yarn 的环境下报错,写入不了

Viewed 117

spark版本:2.4.4
doris版本:2.0.3
spark-doris-connector-2.4_2.11:1.3.1

该代码在local模式能正常运行,数据入库
但是在yarn client模式下报错,报错截图在下方。

样例代码:
lQDPJxtFIRnGWhXNApLNBJKw30OLu2C7oCMF8BM6SKPWAA_1170_658.jpg

报错:
lQDPJv9fxuj1exXNAknNBPKwDpQtBIRzftkF8BM6uDTZAA_1266_585.jpg

1 Answers

【问题状态】已解决
【问题处理】http client 的问题,打了新包 spark-doris-connector-2.4_2.11-1.4.0-SNAPSHOT.jar 目前使用正常