【已解决】Routine Load 数据导入支持AVRO格式

Viewed 73

需求描述:
使用 routine load 将 kafka 中数据导入 doris,目前 kafka 中数据为 AVRO 格式,期望 routine load 命令支持读取 avsc 格式的 schema 做反序列化。
在 github 上有相关pr,因为超时被关闭了,从代码上看,已经实现相关功能。
[feature-wip] support avro format in routine load and stream load #10492

相关issue

  • [Feature] Routine load support schema registry and avro #18536
  • [Proposal] Support avro format load #7650
2 Answers

如果需要将 kafka中的avro 数据导入到doris上,目前 doris-kafka-connector 项目已经支持kafka avro 格式的导入了

只需要将消息转换器换成 AvroConverter 的转换器就行

"key.converter":"io.confluent.connect.avro.AvroConverter",
"key.converter.schema.registry.url":"http://{ip}:{schema-registry.port}",
"value.converter":"io.confluent.connect.avro.AvroConverter",
"value.converter.schema.registry.url":"http://{ip}:{schema-registry.port}" 

需求已内部记录,后续有进展会进行更贴。