油管视频
https://www.youtube.com/watch?v=A7hj1M7IYj8
PR
https://github.com/trinodb/trino/issues/21599
主要是用这个玩意儿
https://github.com/MarquezProject/marquez
油管视频
https://www.youtube.com/watch?v=A7hj1M7IYj8
PR
https://github.com/trinodb/trino/issues/21599
主要是用这个玩意儿
https://github.com/MarquezProject/marquez
目前可以参考
1、datahub:
https://datahubproject.io/docs/next/features/
2、apache atlas:
https://atlas.apache.org/api/v2/index.html
3、基于ali的druid二开,例如data-lineage-doris项目:
使用ali的druid去解析sql。由于sql本身有记录在fe的审计日志里,只需通过类似flume采集日志推送到kafka,后端设计一个服务专门去解析这些sql生成血缘关系即可:
https://github.com/eyesmoons/data-lineage-doris
后续我们将做规划和研发