问题起因
自定义 org.apache.flink.table.functions.AggregateFunction,自认为完美无缺,突然程序报错… 报错:Caused by: org.apache.flink.table.api.ValidationException: Cannot extract a data type from a pure ‘java.lang.Object’ class. Usually, this indicates that class information is missing or got lost. Please specify a more concrete class or treat it as a RAW type. 大意:不能吃Object对象中提取出数据类型,通常情况下,这就是表示这个class的信息丢失了或者根本没有获得,请指定一个更具体的类或者使用一个Row类型去处理该数据
根据返回的报错信息,有如下几种解决方式
解决方式①(麻烦)
将返回的数据放在一个样例类中,而不是简单返回一个tuple或者其他的数据类型,一定可以解决!
解决方式②(丢失了数据类型)
返回一个Row类型,需要将数据封装成Row
解决方式③(推荐)
使用Flink Table annotation 下面的是官方文档译文
影响基于反射提取输入类型、累加器类型和输出类型以构建UserDefinedFunction的TypeInference逻辑的提示。
一个或多个注释可以在UserDefinedFunction类的顶部声明,也可以单独为每个eval()/accumulate()方法声明,以重载函数签名。 所有提示参数都是可选的。 如果未定义参数,则使用默认的基于反射的提取。 在UserDefinedFunction类之上定义的提示参数由所有eval()/accumulate()方法继承。
以下示例显示了如何显式指定整体或部分函数签名,并让默认提取完成其余工作:
@FunctionHint(
input = [@DataTypeHint("INT"), @DataTypeHint("STRING")],
output = @DataTypeHint("BOOLEAN")
)
class X extends ScalarFunction { ... }
@FunctionHint(
input = [@DataTypeHint("INT"), @DataTypeHint("STRING")],
output = @DataTypeHint("BOOLEAN")
)
@FunctionHint(
input = [@DataTypeHint("BOOLEAN")],
output = @DataTypeHint("BOOLEAN")
)
class X extends ScalarFunction { ... }
@FunctionHint(
output = @DataTypeHint("BOOLEAN")
)
class X extends ScalarFunction {
@FunctionHint(
input = [@DataTypeHint("INT"), @DataTypeHint("STRING")]
)
@FunctionHint(
input = [@DataTypeHint("BOOLEAN")]
)
Object eval(Object... o) { ... }
}
@FunctionHint(
output = @DataTypeHint("ROW<f0 BOOLEAN, f1 INT>")
)
class X extends ScalarFunction {
Row eval(int i) { ... }
Row eval(boolean b) { ... }
}
class X extends ScalarFunction {
@FunctionHint(
input = [@DataTypeHint("ROW<f BOOLEAN>")],
isVarArgs = true
)
int eval(Row... r) { ... }
int eval(boolean... b) { ... }
}
@FunctionHint(
accumulator = @DataTypeHint(bridgedTo = my.package.MyClass.class, allowRawPattern = "my.package")
)
class X extends AggregateFunction<Integer, MyClass> {
void accumulate(Row acc, int in) { ... }
}
类似的,那么我们在 UDAF 类上面加上注解 @FunctionHint(input = @DataTypeHint(“INT”),output = @DataTypeHint(“BIGINT”)) 就可以了
|