使用logstash-output-plugin将日志数据导入doris,响应为is not a valid json

Viewed 68

logstash的config如下
企业微信截图_17258843548381.png
日志内容json输出到控制台如下,
image.png
logstash-output-doris报错如下:
image.png
按照说明文档中的方式编写的多行日志合并以及grok过滤,输出的json看起来也是标准的json格式,请问这是什么原因?

2 Answers

这里doris是用k8s部署的,这个地方要用be的http端口,指定fe的http端口不可以
image.png

报错 doris stream load response: is not valid JSON,说明返回的结果不是 JSON, 而不是输入,可能是 http_hosts 指定的端口不是 http 端口,比如写错成 mysql 端口了。

另外 multiline 的 auto_flush_interval 有点小(1ms),很容易因为超过auto_flush_interval导致应该拼成一行的拆到多行了。