【已解决】关于 regression 数据源问题

Viewed 132

测试集:
regression-test/suites/index_p0/load.groovy

file """${context.sf1DataPath}/regression/bitmap_index_test.csv"""

报错:找不到bitmap_index_test.csv文件,请问哪里找这个csv文件?

2 Answers

这几个 case 的实现改过,推荐用 2.0.X 的版本,或者 cherry-pick

可以参考这个 pr:https://github.com/apache/doris/commit/be3f3978c852c78443d51fa98347a6b338591e07


背景更新

确实存在部分 1.1.X 和 1.2.X 早期版本的 regression-test 无法运行的问题。
例如 https://github.com/apache/doris/blob/branch-1.2-lts/regression-test/suites/tpch_sf1_p1/load.groovy 这个 case,在这个 https://github.com/apache/doris/pull/14668/files pr 中被改成了 p2 的用例,p2 用例不在 pr 流水线中运行,buckets 中的数据也被删除。

例如 bitmap_index_test.csv,在这个 pr https://github.com/apache/doris/pull/13861 中,下载地址被移动到了 http://doris-build-hk-1308700295.cos.ap-hongkong.myqcloud.com/regression/bitmap_index_test.csv

这些 pr 都导致原来的 case 没运行之后,老数据被清理,导致老的回归测试无法运行。

解决方案

  1. 如果想运行所有的 case,建议升级到 1.2.X 的最新版,或者 2.0.0 系列。整体 2.0 的质量相比 1.2 应该有大幅提升。
  2. 如果想继续使用 1.2.4 或者更老的版本,tpch sf1 并非必须的测试用例(有其他 tpcds 等测试用例可以覆盖查询正确性),可以用 -x exclude 掉。bitmap index test 参考上述 pr 修改一下 load.groovy 是可以运行的。

这里是分别使用ap-beijing ap-hongkong 的配置项,运行的结果(都找不到数据源):

2024-04-28 17:49:18.199 INFO [suite-thread-1] (StreamLoadAction.groovy:226) - Set stream load input: http://doris-build-hk-1308700295.cos.ap-hongkong.myqcloud.com/tpch/sf1/customer.csv.split00.gz
2024-04-28 17:49:18.204 INFO [suite-thread-1] (NativeMethodAccessorImpl.java:-2) - Start to cache data from http://doris-build-hk-1308700295.cos.ap-hongkong.myqcloud.com/tpch/sf1/customer.csv.split00.gz to /data8/bin3.zhang/doris/regression-test/cacheData/tpch/sf1/customer.csv.split00.gz
2024-04-28 17:49:18.726 INFO [suite-thread-1] (NativeMethodAccessorImpl.java:-2) - Fail to download data http://doris-build-hk-1308700295.cos.ap-hongkong.myqcloud.com/tpch/sf1/customer.csv.split00.gz, code: 404, body:

NoSuchKey The specified key does not exist. /tpch/sf1/customer.csv.split00.gz NjYyZTFiOWVfOWZhNzM4MDlfNGVlYV81ZTBiOGVj OGVmYzZiMmQzYjA2OWNhODk0NTRkMTBiOWVmMDAxODc0OWRkZjk0ZDM1NmI1M2E2MTRlY2MzZDhmNmI5MWI1OTVlNGMxNDIzNDk3MzBjZDllZGY1MzE5MTM5N2ZmOTE4YWRmYWFlOTAxZWZhNDY4NzIyYTZlMDI3ZTk0YWU4MjE=

2024-04-28 17:58:15.752 INFO [suite-thread-1] (StreamLoadAction.groovy:226) - Set stream load input: http://doris-build-1308700295.cos.ap-beijing.myqcloud.com/tpch/sf1/customer.csv.split00.gz
2024-04-28 17:58:15.757 INFO [suite-thread-1] (NativeMethodAccessorImpl.java:-2) - Start to cache data from http://doris-build-1308700295.cos.ap-beijing.myqcloud.com/tpch/sf1/customer.csv.split00.gz to /data8/bin3.zhang/doris/regression-test/cacheData/tpch/sf1/customer.csv.split00.gz
2024-04-28 17:58:16.591 INFO [suite-thread-1] (NativeMethodAccessorImpl.java:-2) - Fail to download data http://doris-build-1308700295.cos.ap-beijing.myqcloud.com/tpch/sf1/customer.csv.split00.gz, code: 404, body:

NoSuchKey The specified key does not exist. /tpch/sf1/customer.csv.split00.gz NjYyZTFkYjhfOTE1MjBkMDlfMzk2NV84NzQyOWYz OGVmYzZiMmQzYjA2OWNhODk0NTRkMTBiOWVmMDAxODc0OWRkZjk0ZDM1NmI1M2E2MTRlY2MzZDhmNmI5MWI1OTVlNGMxNDIzNDk3MzBjZDllZGY1MzE5MTM5N2ZmOTE4YWRmYWFlOTAxZWZhNDY4NzIyYTZlMDI3ZTk0YWU4MjE=