2.1.6 INTO OUTFILE 多线程不生效

Question

1、1fe 3be 环境
2、TPCH 生成的表单副本 131M的数据

3、执行Sql语句

-- 开启并发
	set  enable_parallel_outfile = true;
-- 并发数量
	set  parallel_fragment_exec_instance_num = 3;

4、开始导出

SELECT * FROM cunstomer
INTO OUTFILE "hdfs://ns1/tmp"
FORMAT AS CSV
PROPERTIES
(
    "fs.defaultFS" = "hdfs://ns1",
	'dfs.nameservices'='ns1',
	'dfs.ha.namenodes.ns1'='nn1,nn2',
	'dfs.namenode.rpc-address.ns1.nn1'='xxxxx:53310',
	'dfs.namenode.rpc-address.ns1.nn2'='xxxxx:53310',
	'dfs.client.failover.proxy.provider.hacluster'='org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider',
);

5、关闭优化器，hdfs 查看触发并发导出但是3BE 挂掉了两个（1fe 1be 触发并发后，sql页面会出现卡死问题）

	set  experimental_enable_nereids_planner=false;

6、fe 日志

张彬华 · Accepted Answer

1、新版本老优化器不维护了，建议都用新优化器
2、并发导出测试，可以试试多副本，大些的表验证

2.1.6 INTO OUTFILE 多线程不生效

1 Answers