apache / seatunnel

SeaTunnel is a next-generation super high-performance, distributed, massive data integration tool.
https://seatunnel.apache.org/
Apache License 2.0
8.06k stars 1.83k forks source link

[Feature][Transform] 增加表达式求值转换能力 #7990

Open ghostmickey opened 2 weeks ago

ghostmickey commented 2 weeks ago

Search before asking

Description

上下游字段映射是否考虑加入表达式求值方式(比如Aviator),这样可以利用一些函数和计算公式来将上游数据转换为下游数据,提升轻量数据计算能力,避免用户开发过多的自定义转换包。

另外提个建议,开发自定义转换时,需要引用Transform包里面的一些类,比如org.apache.seatunnel.transform.common.AbstractCatalogSupportTransform、org.apache.seatunnel.transform.common.SeaTunnelRowAccessor等等,但是如果我构建的任务里面没有用到任何公共包里面的转换器,任务加载时的Classloader只会加载我自己的jar包而不会加载transform-v2的jar,导致任务执行时抛出了ClassNotFoundException。因此,我只能把transform-v2包全部shade到我的jar里面去,或者在任务的配置中加入一个完全不起作用的转换算子来引导Classloader加载公共包。是否考虑把这些公共类从transform-v2中剥离出来形成一个类似transform-common的包,那么我自定义算子只需要shade这个公共包就行

Usage Scenario

No response

Related issues

No response

Are you willing to submit a PR?

Code of Conduct