Caused by: io.netty.channel.ConnectTimeoutException: connection timed out: /xxx:18040

Viewed 160

项目中使用Spring WebFlux的WebClient客户端, 异步发送_stream_load请求往doris写数据。项目中发生如下两种报错信息:

错误1:
img_v3_02gk_7eded0da-828e-4e00-a5b7-2527bb1fe31g.jpg
错误2:
img_v3_02gk_cd494504-65e3-48d7-b503-7e1921d1ef0g.jpg

WebClient请求的相关代码如下:
img_v3_02gk_eed31e5b-55f4-40b4-bfec-73a22157120g.jpg

img_v3_02gk_12795abe-5ed7-4efa-8511-c5a4a12ac00g.jpg

相关webclient的连接池配置、读写超时时间都做了配置。Doris的FE的连接数量配置的是10240,版本为2.1。主要是从RocketMQ中消费数据至Doris,以group commit方式采用的stream_load写入。
请问如何解决这两个异常?在线等大神回复,卡了一晚上了,文档和stackoverflow都查阅遍了,各种方案都试过了

2 Answers

这个看网络/防火墙原因了吗,看着是链接失败了

博主,建议采用JDBC的方式进行group commit的提交了,增加更多的消费节点进行并行消费。
目前感觉再怎么配置webClient的连接池配置,也没法通过stream_load的HTTP请求方式进行高频的数据插入。