请教: DORIS 2.1.6 如何在streamload中使用自定义函数(UDF)?

Viewed 37

DORIS版本: 2.1.6

官方文档中说在 streamload 的列转换时支持使用udf,但在streamload中,使用udf会报Does not support non-builtin functions, or function does not exist的错误,具体运行条件如下:

1、http put streamload + basicauth方式,用户为root权限;
2、数据格式为 json (read_json_by_line = true 的模式)
3、在 header中增加了 columns: field1, field2, field3 ..., field4 = myudf1(field1), field5 = myudf2(field1)

如果把 myudf1, myudf2 更换为系统内置函数,如 lower(),则运行正常,但如使用用户自定义函数则出现上述错误。

1 Answers

stream load当前不支持使用udf,但可以在导入语句中支持非常丰富的列转换和过滤操作,比如通过-H columns和-H where做一些前后转换过滤:数据转换