Doris无法支持读取路径数据且读取S3数据需要明文的ak和sk影响数据安全

Viewed 33

目前有两个生产实际述求,希望社区能够支持:

1、支持跟spark sql一样,能够读取路径数据,同时根据指定的路径还能读取到下级路径的数据
用spark举例:

create or replace temporary view tmp_view using json options (path "s3://xxxx/tbl=table01/cur_date=20240720/");

s3://xxxx/tbl=table01/cur_date=20240720/ 路径下还有cur_hour=xxx_hour/分区,
希望doris能够实现这样的需求

2、读取s3数据需要用明文的ak和sk,这个是不利于生产环境的数据安全
官方文档: https://doris.apache.org/zh-CN/docs/2.1/lakehouse/file
image.png

1 Answers
  1. 可以使用 */*的通配符来读取路径下的下级路径数据
  2. 需求已记录,有进展会更新回帖。