WeiYe-Jing / datax-web

DataX集成可视化页面,选择数据源即可一键生成数据同步任务,支持RDBMS、Hive、HBase、ClickHouse、MongoDB等数据源,批量创建RDBMS数据同步任务,集成开源调度系统,支持分布式、增量同步数据、实时查看运行日志、监控执行器资源、KILL运行进程、数据源信息加密等。
https://segmentfault.com/u/weiye_jing/articles
MIT License
5.64k stars 2.17k forks source link

[QUESTION] ETL 数据同步(源和目标都是 clickhouse),,当数据结构中含用 Array [String] 等 datax 不支持的数据类型时,任务执行一直失败。 #657

Closed tttggg163 closed 7 months ago

tttggg163 commented 8 months ago

[QUESTION] ETL 数据同步,源和目标都是 clickhouse, 当数据结构中有 Array 等 datax 未知字段时,任务无法执行。

建议:就 datax 不支持的类型,统一转换为 String ,不要依赖数据库函数,大宽表时,人工填写不如使用 datax-web 自动生成效率高。