【2.1版本新特性】揭秘 Variant 数据类型:灵活应对半结构化数据,JSON 查询提速超 8 倍,存储空间节省 65%

Viewed 73

半结构化数据是一种灵活多变的数据形式,不受固定结构限制,无需事先定义固定的表结构,为数据存储和分析提供了强大的灵活性及便捷性。常见的半结构化数据包括 XML、JSON、日志文件等。

在最新发布的 Apache Doris 2.1 新版本中,我们引入了全新的数据类型 Variant,对半结构化数据分析能力进行了全面增强。Variant 数据类型支持存储半结构化数据,并支持存储包含不同数据类型(如整数、字符串、布尔值等)的复杂数据结构,无需提前在表结构中定义具体的列,彻底改变了 Doris 过去基于 String、JSONB 等行存类型的存储和查询方式。

欢迎点击文章查看详情(含演示视频):
揭秘 Variant 数据类型:灵活应对半结构化数据,JSON 查询提速超 8 倍,存储空间节省 65%

1 Answers

原文节选:

结束语

在 Apache Doris 2.1 版本发布之前,Variant 数据类型已向用户开放 POC 测试,并取得了许多用户的积极反馈和满意的测试结果。而在 Apache Doris 2.1 版本正式发版之时,Variant 数据类型这一特性已经具备了生产可用的能力,推荐有需求的用户使用。

未来,我们将基于 Variant 数据实现更轻量级的类型变化,为用户在调整和演进数据模型时提供更便捷、可靠的支持,以满足不断演变的数据需求,前文提到的列变更(加列、列类型变更)同样适用于之后的轻量级类型变化。同时,我们也计划引入更友好的数据导入解决方案,包括采用严格模式、支持更丰富的数据模型等,旨在满足不同用户群体的广泛需求。此外,我们将持续优化 Variant 数据类型,为用户带来更卓越的半结构化数据处理和查询体验。

最后,欢迎有需求的同学能够积极使用并在论坛反馈您的建议,也可以通过下方二维码加入日志分析场景专项支持群,我们将为提供全面的技术支持和服务。