产品调研：数据导入

[mdianjun]

snowflake

参考：https://docs.snowflake.com/en/user-guide/data-load-overview.html , https://docs.snowflake.com/en/user-guide/data-pipelines-intro.html

• 支持的导数来源为：云存储上的文件、kafka、外部数据源(如hdfs, dbms等)。
• snowflake提供了批处理和流式的导数工具snowpipe。

cockroachDB

参考：https://www.cockroachlabs.com/docs/v20.2/migration-overview.html

• 支持从oracle, postgre, mysql中迁移数据到cockroachDB，都是先dump出数据文件，然后用cockroachDB的import命令把文件导入。
• 文件格式有csv, avro等。
• 数据文件可以放到云存储上，然后import进来。

kylin

• 支持数据源：hive, kafka, rdbms。构建引擎是mapreduce, spark, flink。

TiDB

• TiDB ETL.pdf

flink

对比spark：

• flink对hbase, es有官方的connector，但spark没有。
• flink有更强的容错保证：at-least once, at-most once, exactly once

支持的connector：

• 读hive，可以用batch或stream方式：https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/table/connectors/hive/hive_read_write.html
• flink-connector-clickhouse：
  • https://help.aliyun.com/document_detail/185696.html?spm=a2c4g.11186623.6.574.d9c541ea4zB1dx
  • https://issues.apache.org/jira/browse/FLINK-17200
• flink-connector-hbase：https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/table/connectors/hbase.html
• flink-connector-elasticsearch：
  • https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/connectors/elasticsearch.html
  • https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/table/connectors/elasticsearch.html
• flink CDC：适用于数据库之间的增量数据同步

[mdianjun]

• flink-connector-elasticsearch：以bulk方式写入es，更高效。
• flink-connector-hbase：用BufferedMutator接口写hbase，是批量写，但要走hbase server。实时性比bulk load方式更好一些。

[mdianjun]

bahir：

• add ClickHouse Connector for Flink：https://issues.apache.org/jira/browse/BAHIR-234