【已解决】Routine Load 数据导入支持AVRO格式

Viewed 74
ingestion

需求描述：
使用 routine load 将 kafka 中数据导入 doris，目前 kafka 中数据为 AVRO 格式，期望 routine load 命令支持读取 avsc 格式的 schema 做反序列化。
在 github 上有相关pr，因为超时被关闭了，从代码上看，已经实现相关功能。
[feature-wip] support avro format in routine load and stream load #10492

相关issue

  • [Feature] Routine load support schema registry and avro #18536
  • [Proposal] Support avro format load #7650
____3
2 Answers

如果需要将 kafka中的avro 数据导入到doris上，目前 doris-kafka-connector 项目已经支持kafka avro 格式的导入了

只需要将消息转换器换成 AvroConverter 的转换器就行

"key.converter":"io.confluent.connect.avro.AvroConverter",
"key.converter.schema.registry.url":"http://{ip}:{schema-registry.port}",
"value.converter":"io.confluent.connect.avro.AvroConverter",
"value.converter.schema.registry.url":"http://{ip}:{schema-registry.port}"
wudongliang51

需求已内部记录，后续有进展会进行更贴。

张彬华7323