search

NKcqx / CLIC

旨在提供一个跨平台计算框架来统一异构软件系统
5 stars 1 forks source link

系统：udf的存储和获取 #175

Open isEdwardTang opened 3 years ago

isEdwardTang commented 3 years ago

udf在之前实现的平台中大量存在，目前的实现都是由用户指定udf路径，然后每个平台去独立获取，其中，由于某些平台的特殊性（比如spark），需要采用一些不规范的方式去获取（比如function内部反射）。需要统一每个平台的获取方式，最好将udf也作为元信息存储，平台初始化的时候就加载进来

NKcqx commented 3 years ago

udf的反射不在每个operator内部分别做了，而是在executor中反射一次，然后把handler传给每个opt

NKcqx commented 3 years ago

即executor维护一个context 用来加载环境配置信息，例如 反射后的udf ， 根据命令 中redis 的地址加载redis context。。 所有与环境相关的信息