datavane / tis

Support agile DataOps Based on Flink, DataX and Flink-CDC, Chunjun with Web-UI
https://tis.pub
Apache License 2.0
1.04k stars 221 forks source link

mongodb同步时希望可以增加动态的参数,例如当天时间或者支持自定义 #335

Closed kevinlin299 closed 1 month ago

kevinlin299 commented 4 months ago

image 添加了query参数之后不知道其实现原理是什么,希望也可以输出到日志或者输出参数配置。 tis是一个超好用的ETL工具,感谢开源!!!

baisui1981 commented 4 months ago

https://github.com/qlangtech/plugins/blob/9a2775f6204ca42db2a1ae36b6a3c0697d4eb3eb/tis-datax/tis-datax-mongodb-plugin/src/main/java/com/qlangtech/tis/plugin/datax/mongo/reader/ReaderFilterNormalQuery.java#L27

在页面上指定的normalQuery类型的过滤条件就是通过以下createFilter()代码片段生效的

    @FormField(ordinal = 1, type = FormFieldType.TEXTAREA, validate = {Validator.require})
    public String query;

    @Override
    public Document createFilter() {
        Document fitler = Document.parse(query);
        return fitler;
    }

后期,可以通过打印filter 实例的方式来记录日志