【Apache Doris】周FAQ集锦:第 11 期

Viewed 94

欢迎查阅第 11 期的 Apache Doris 社区 FAQ 栏目!
在这个栏目中,每周将筛选社区反馈的热门问题和话题,重点回答并进行深入探讨。旨在为广大用户和开发者分享有关 Apache Doris 的常见问题。
通过这个每周 FAQ 栏目,希望帮助社区小伙伴更好地了解和应用 Apache Doris,促进经验交流和技术共享。

1 Answers

SQL问题

❓Q1 hive catalog 查询时报:

get file split failed for table: xxx, 
err: java.lang.RuntimeException: 
Could not find any configured addresses for URI hdfs://xxx

💡A1 如下:

  1. 确认URI hdfs://xxx 是否填写正常
  2. 确认是否按照官方文档的[使用须知]进行配置
    image.png
    Hive Catalog内容可以查阅:
    https://doris.apache.org/zh-CN/docs/dev/lakehouse/datalake-analytics/hive

❓Q2 doris如何创建中文列名?
💡A2 可以设置会话参数 enable_unicode_name_support 为 true 即可:

-- 不需要全局可以将global去除 
set global enable_unicode_name_support = true; 
-- 创建中文列名表 
create table 表名 (中文列名 数据类型, ...);

❓Q3 doris升级后show fe/be都正常,但查询报:

There is no scanNode Backend available

💡A3 一般是升级顺序不对导致,升级流程:备份fe元数据 -> 升be - 升非master fe -> 升master fe
解决方案:停掉新的fe,用备份元数据的老fe连接be集群恢复集群先,重新升级老的fe
doris升级流程可以查阅:
https://doris.apache.org/zh-CN/docs/dev/admin-manual/cluster-management/upgrade

数据操作问题

❓Q4 stream load导入方式如何设置记录保留时长?
💡A4 doris默认情况下,stream load 是同步返回给 client,不会在内部记录 stream Load 历史作业记录:

# 如果需要记录,则在 be.conf 中添加配置: 
enable_stream_load_record=true 
# 设置记录时长可以在be 中配置: 
stream_load_record_expire_time_secs=28800 

BE参数说明可以查阅BE配置项:
https://doris.apache.org/zh-CN/docs/dev/admin-manual/config/be-config

❓Q5 doris动态分区的strat属性如果不设置,会不会自动删除历史分区数据?
💡A5 如果动态分区的 start 属性没有设置,则默认为 -2147483648,即不删除历史分区;因此,不设置 start 时,历史分区数据不会被自动删除。
分区分桶内容可以查阅:
https://doris.apache.org/zh-CN/docs/dev/table-design/data-partition

❓Q6 compute node 计算节点,是否只适用于外表的查询场景?如果使用冷热分离,冷数据在HDFS 或者 S3上,这种场景下计算节点是否可用?
💡A6 只适合外表查询;冷热分离场景目前不支持。可持续关注3.0的存算分离架构:
https://doris.apache.org/zh-CN/docs/dev/separation-of-storage-and-compute/overview

运维常见问题

❓Q7 doris中一个be多个磁盘建议做raid几?
💡A7 推荐直通盘,不做raid,利用Doris自身的多副本即可;如果无法直通可以考虑raid0。

❓Q8 doris集群持续报:runtimefilter rpc err:[E1008]Reached timeout
image.png
💡A8 如下:

  1. runtime filter 没等到结果导致的告警,如果读写流程正常,可以忽略该warn
  2. 相关会话变量值调大:runtime_filter_wait_time_ms

❓Q9 doris对于磁盘有没有容错的策略:例如10块盘,容忍2块坏盘
💡A9 如下:

  1. be.conf的 ignore_broken_disk 默认为false,即如果路径不存在或路径下无法进行读写文件 (坏盘),将中断启动失败退出。如果为true,路径不存在或路径下无法进行读写文件 (坏盘),将忽略此路径,如果有其他可用路径则不中断启动。
  2. 建议在be.conf中注释storage_path坏盘路径,并且将be/conf/be_custom.conf的broken_storage_path的路径注释,然后重启be。

其它问题

❓Q10 doris作为数据中台的核心底座对外服务有什么实践思路建议,目前是通过kafka推送给其他业务
💡A10 可参考如下:

  1. 基于doris的高并发点查能力,提供统一的api服务对外
  2. 直接通过jdbc catalog回写至mysql等业务库,注意控制批次频率即可

一臻数据

关于社区

doris_new03.png

Apache Doris 是一个基于 MPP 架构的高性能、实时的分析型数据库,以极速易用的特点被人们所熟知,仅需亚秒级响应时间即可返回海量数据下的查询结果,不仅可以支持高并发的点查询场景,也能支持高吞吐的复杂分析场景。
如果您对 Apache Doris 感兴趣,可以通过以下入口访问官方网站、社区论坛、GitHub和dev邮件组:

💡官方文档

💡社区论坛

💡GitHub

💡dev邮件组:dev@doris.apache.org

非常欢迎您在社区论坛中与其他用户分享您的使用经验和技巧,或者向dev邮件组提交反馈和意见。

相信,您的参与将帮助Apache Doris变得更加完善。