ruozedata / blog_issues

0 stars 0 forks source link

Hive中自定义UDAF函数生产小案例 | 若泽大数据 www.ruozedata.com #31

Open ruozedata opened 5 years ago

ruozedata commented 5 years ago

https://ruozedata.github.io/2018/05/23/Hive%E4%B8%AD%E8%87%AA%E5%AE%9A%E4%B9%89UDAF%E5%87%BD%E6%95%B0%E7%94%9F%E4%BA%A7%E5%B0%8F%E6%A1%88%E4%BE%8B/

一、UDAF 回顾1.定义:UDAF(User Defined Aggregation Funcation ) 用户自定义聚类方法,和group by联合使用,接受多个输入数据行,并产生一个输出数据行。2.Hive有两种UDAF:简单和通用简单:利用抽象类UDAF和UDAFEvaluator,使用Java反射导致性能损失,且有些特性不能使用,如可变长度参数列表 。通用:利用接口GenericUDA