【Apache Doris】周FAQ集锦:第 17 期

Viewed 78

欢迎查阅第 17 期的 Apache Doris 社区 FAQ 栏目!
在这个栏目中,每周将筛选社区反馈的热门问题和话题,重点回答并进行深入探讨。旨在为广大用户和开发者分享有关 Apache Doris 的常见问题。
通过这个每周 FAQ 栏目,希望帮助社区小伙伴更好地了解和应用 Apache Doris,促进经验交流和技术共享。

1 Answers

SQL问题

❓Q1 查询时报:

process memory used 48.26 GB exceed limit 50.21 GB or sys available memory 1.54 GB less than low water mark 1.60 GB.

💡A1 通常是资源不足导致,低于低水位线了,可参考如下几种排查思路:

  1. 单个任务跑不出来时,可能是SQL任务较大,导致资源不足。这种场景可以先分析SQL任务能否进行大拆小地拆分下;如果是包含大表计算,分析有没有分区设计,更好地利用分区裁剪能力。

  2. 当前查询任务是否较多,如果是并发执行比较多时,分析是否可以错峰对任务进行编排。

  3. 分析BE内存的使用情况,即内存是否有正常释放,是否出现内存泄漏,导致资源紧缺的问题,可以结合memtrakcer进行初步分析

https://doris.apache.org/zh-CN/docs/admin-manual/memory-management/memory-tracker

数据操作问题

❓Q2 doris中update更新和delete删除操作频繁有什么影响?
💡A2 doris中不推荐小数据量频繁的更新和删除操作。可以理解 update 和 delete 是查找+写入的过程,少量高频的操作本身会导致查找数据耗费性能,同时 compaction的触发会比较频繁,集群整体也有会压力。尽可能使用部分列更新和批量删除的特性去代替此类操作。

❓Q3 doris进行drop column后多久会清理磁盘数据?
💡A3 drop column这类schema change的操作不会立即执行删除,需要做完一次base compactoin才会清理对应的磁盘数据。

❓Q4 使用flink-doris-connector整库同步mysql到doris时报:

Caused by: java.lang.NoSuchMethodError: io.debezium.connector.mysql.MySqlConnection$MySqlConnectionConfiguration.<init>(Lio/debezium/config/Configuration;Ljava/util/Properties;)

💡A4 mysql-cdc包引入错误导致,如下图所示,需要使用flink-sql-connector-xx胖包。

image.png

❓Q5 doris的倒排索引如何自定义分词?
💡A5 doris的倒排索引会对词组进行分词,对于某些特定组合如果不想让其进行分词,可以在be/dict/user.dict.utf8中加上这个特定组合,比如加入“欢迎加入doris”这个词组会被视为一个整体,不再对其进行分词。
具体内容可查阅:
https://ask.selectdb.com/questions/D1S71/doris2-0-3-dao-pai-suo-yin-de-match-any-jie-guo-yu-wen-dang-bu-fu/E1291

❓Q6 doris的ccr跨集群数据同步是否支持多个源端集群到一个目标集群?
💡A6 特定条件地支持。多源表不能到一个目标表,多源到一个目的集群,表不同或者库不同是可以的。

❓Q7 doris 数据根部均匀是怎么保证的,例如对于扩容后怎么确保数据是均匀的?
💡A7 世界最好的算法还是随机,doris扩缩容后首先会做自动数据均衡的,均衡操作后数据就基本均匀了。所有的调度到最后,会发现随机是最均匀最好的。数据每个分片大小可控,查询复杂度不可控,在这两个不可控的前提下,做任何的调度效果都不佳。

运维常见问题

❓Q8 doris-manager挂了,是否会影响doris服务,后续有没有考虑设计manager高可用?
💡A8 如下:

  1. doris-manager挂了绝不会影响doris服务。这是manager设计的基本要求,所以manager不用高可,也不需要弄这么复杂。
  2. manager叫做管控面,doris叫数据面,管控面不能影响到数据面,这些是基本设计原则。
    doris-manager内容可查阅:
    https://docs.selectdb.com/docs/enterprise/release-notes/enterprisemanager

❓Q9 doris官方文档的SSB测试中,SSB宽表测试结果和标准SSB测试结果有什么区别?
💡A9 区别是标准ssb有join场景,ssb flat宽表没有join场景。ssb 主要是测多表join的,clickhouse将其改成宽表后,就没有join了,ssb flat宽表对于ck就擅长了。

image.png

其它问题

❓Q10 doris是否支持存算分离的部署模式?

💡A10 Apache Doris的3.0大版本已在最近推出,主要新特性也是存算分离架构,当前已经有不少Doris用户在测试环境体验中,欢迎大家多多关注和试用!

image.png

存算分离内容可查阅:
https://doris.apache.org/zh-CN/docs/dev/compute-storage-decoupled/overview


一臻数据

关于社区

image.png

Apache Doris 是一个基于 MPP 架构的高性能、实时的分析型数据库,以极速易用的特点被人们所熟知,仅需亚秒级响应时间即可返回海量数据下的查询结果,不仅可以支持高并发的点查询场景,也能支持高吞吐的复杂分析场景。
如果您对 Apache Doris 感兴趣,可以通过以下入口访问官方网站、社区论坛、GitHub和dev邮件组:

💡官方文档

💡社区论坛

💡GitHub

💡dev邮件组:dev@doris.apache.org

非常欢迎您在社区论坛中与其他用户分享您的使用经验和技巧,或者向dev邮件组提交反馈和意见。

相信,您的参与将帮助Apache Doris变得更加完善。