Doris-2.1.5 大量Stream load 导致磁盘io高,请教优化办法?

Viewed 47


如图机器有6块磁盘,每块磁盘ioutil非常高
通过如下命令抓取doris be进程io情况,发现有文件在做大量modify操作并且文件大小不变

inotifywait -r -m -e create,modify,delete,moved_to,moved_from,attrib,close_write,delete_self,move_self,unmount \
    --timefmt '%Y-%m-%d %H:%M:%S' \
    --format '%e %w%f' \
    /data/data3/doris/data | \
    while read event file; do
        # 获取毫秒级时间戳
        timestamp=$(date "+%Y-%m-%d %H:%M:%S")
        # 获取文件大小(若文件存在)
        if [ -e "$file" ]; then
            size=$(stat -c %s "$file" 2>/dev/null || echo "N/A")
        else
            size="DELETED"
        fi
        # 输出到日志文件
        echo "$timestamp $event $file $size "
    done > ino.log

2025-04-01 16:22:50 这一秒中有400+多个modify,下面是某个文件的modify信息,出现了115次,其中289531是文件大小,一直不变,不知道modify在做什么?

image.png
还有其他create close_write delete 类型的事件
iShot_2025-04-01_19.08.21.png

疯狂的操作导致磁盘io非常高,请教各位大佬有什么参数可以缓解吗?

1 Answers