【Apache Doris】周FAQ集锦:第 12 期

Viewed 90

欢迎查阅第 12 期的 Apache Doris 社区 FAQ 栏目!
在这个栏目中,每周将筛选社区反馈的热门问题和话题,重点回答并进行深入探讨。旨在为广大用户和开发者分享有关 Apache Doris 的常见问题。
通过这个每周 FAQ 栏目,希望帮助社区小伙伴更好地了解和应用 Apache Doris,促进经验交流和技术共享。

1 Answers

SQL问题

❓Q1 es catalog查询时报:

[CANCELLED][INTERNAL_ERROR]Failed to connect to ES server, errmsg is: 
[HTTP_ERROR]Connection timed out after 5000 milliseconds

💡A1 通常是网络原因导致,可以将catalog属性 nodes_discovery设置为false:当配置为 true 时,Doris 将从 ES 找到所有可用的相关数据节点 (在上面分配的分片)。如果 ES 数据节点的地址没有被 Doris BE 访问,则设置为 false。ES 集群部署在与公共 Internet 隔离的内网,用户通过代理访问。
es catalog驱动版本内容可查阅:
https://doris.apache.org/zh-CN/docs/dev/lakehouse/database/es

❓Q2 doris查询中command FragmentMgrThre作用是什么,be节点CPU资源突然持续占用80%左右,使用TOP -H 查看到是被该模块占用
💡A2 管理查询执行线程的,CPU资源突然被该模块占用较多,通常是由于集群中存在大SQL或大量并发查询导致。

数据操作问题

❓Q3 export导出时报:

[INTERNAL_ERROR]Failed to allocate s3 writer buffer for 60

💡A3 be.conf 中调整如下参数并重启BE节点:s3_write_buffer_whole_size
具体可以查阅Doris论坛帖子:
https://ask.selectdb.com/questions/D1SP/yi-jie-jue-internal-error-failed-to-allocate-s3-writer-buffer-for-60-seconds-doris-2-0-5

❓Q4 doris通过routine load任务订阅kafka,默认自动提交是关闭还是开启的
💡A4 routine load任务属性中 enable.auto.commit 默认为true

❓Q5 jdbc catalog同步mysql数据时报:

[INTERNAL_ERROR]UdfRuntimeException: get next block failed

💡A5 通常是因为mysql驱动版本太低导致,推荐使用以下版本的driver:
image.png
jdbc catalog驱动版本内容可查阅:
https://doris.apache.org/zh-CN/docs/dev/lakehouse/database/jdbc#jdbc-driver-%E5%88%97%E8%A1%A8

❓Q6 doris表新建的bloomfilter索引,只有新导入的数据才构建,还是历史数据也会构建?
💡A6 新建bloomfilter索引时,历史数据也会构建;bloomfilter 的构建方式是 alter table schema change,不像倒排索引是build同步返回结果。
bloomfilter索引内容可查阅:
https://doris.apache.org/zh-CN/docs/dev/table-design/index/bloomfilter

运维常见问题

❓Q7 doris是否只支持utf8mb4?
image.png
💡A7 doris只支持utf8, 而显示的mb4是为了兼容mysql, 没有实际作用。

❓Q8 doris如何手动切换fe的master?
💡A8 内部自动选举,不支持手动切换。

❓Q9 doris connections有一段时间突然增加(30 -> 200+),如何排查?
💡A9 如下:

  1. 基于审计日志/审计日志插件,统计该时间段有哪些用户或ip发起请求;
  2. 根据这些请求源头,分析相关请求,是否存在不合理的查询等操作,再优化对应的查询或业务使用场景。

其它问题

❓Q10 doris和同类产品最新的对比测试报告
💡A10 可以参考最新的ClickBench评测结果:
https://mp.weixin.qq.com/s/nOTs1xLxMV9BlcysRrj24gimage.png


一臻数据

关于社区

doris_new03.png

Apache Doris 是一个基于 MPP 架构的高性能、实时的分析型数据库,以极速易用的特点被人们所熟知,仅需亚秒级响应时间即可返回海量数据下的查询结果,不仅可以支持高并发的点查询场景,也能支持高吞吐的复杂分析场景。
如果您对 Apache Doris 感兴趣,可以通过以下入口访问官方网站、社区论坛、GitHub和dev邮件组:

💡官方文档

💡社区论坛

💡GitHub

💡dev邮件组:dev@doris.apache.org

非常欢迎您在社区论坛中与其他用户分享您的使用经验和技巧,或者向dev邮件组提交反馈和意见。

相信,您的参与将帮助Apache Doris变得更加完善。