logstash output doris plugin的使用问题

Viewed 81

希望通过Kafka把数据发到Logstash,再通过Logstash output doris plugin把kafka数据写到Doris的表内,由于采集的数据是多种日志数据,都是Jason格式,但无法预知具体每一种日志有多少列以及相应的列名,现在希望把Kafka发过来的Jason字符串,写入到Doris表内一个统一variant列,logstash output doris plugin参数应该如何写,目前没有找到可以引用整个jason字符串的方法。

请帮助指教如何写plugin参数,如果应该用其他方法处理这种场景,也请指教,多谢!

当前plugin的参数赋值方法:

output {
stdout { }

doris {
http_hosts => ["http://...:8030"]
user => root
password => "******"
db => "testdb"
table => "doris_test_7"
headers => {
"format" => "json"
"read_json_by_line" => "true"
}
mapping => {
"record_time" => "%{@timestamp}"
"version" => "%{@version}"
"host" => "%{event}"
"source" => "kafka_quickstart_events"
# "message" => "%{message}"
# 用message这个方式不行,Kafka发送的Jason字符串中没有message field
}
log_request => true
log_speed_interval => 10
}
}

1 Answers

【问题状态】处理中
【问题处理】已记录,有进展会更新回帖