search

WeiYe-Jing / datax-web

DataX集成可视化页面，选择数据源即可一键生成数据同步任务，支持RDBMS、Hive、HBase、ClickHouse、MongoDB等数据源，批量创建RDBMS数据同步任务，集成开源调度系统，支持分布式、增量同步数据、实时查看运行日志、监控执行器资源、KILL运行进程、数据源信息加密等。
https://segmentfault.com/u/weiye_jing/articles
MIT License
5.59k stars 2.15k forks source link

datax-web中对于获取数据库中所有表名是最好可以直接模糊搜索，而不是后端全量查询再在前端查询 #251

Open zyc-cn opened 4 years ago

zyc-cn commented 4 years ago

我在生产环境中测试的时候发现，在任务构建的时候，获取数据库表名时，是后端代码是全量获取所有表，然后前端可以进行过滤，但是这种方式在生产环境中存在缺陷，比如我一个odps的生产库，里面有几千张表，这样获取的速度就特别的慢，可以参考一下： ResultSet resultSet = metaData.getTables(null, "schema", "%tablename%", null);的形式模糊获取表名，这样的速度会有所提升

WeiYe-Jing commented 4 years ago

我在生产环境中测试的时候发现，在任务构建的时候，获取数据库表名时，是后端代码是全量获取所有表，然后前端可以进行过滤，但是这种方式在生产环境中存在缺陷，比如我一个odps的生产库，里面有几千张表，这样获取的速度就特别的慢，可以参考一下： ResultSet resultSet = metaData.getTables(null, "schema", "%tablename%", null);的形式模糊获取表名，这样的速度会有所提升

非常感谢建议