search

liguohua-bigdata / simple-flink

133 stars 64 forks source link

如何并发读取mysql数据呢 #1

Open sunshine920103 opened 6 years ago

sunshine920103 commented 6 years ago

您好，我现在有个需求，需要读取千万级别的mysql数据，想通过线程来并发读取数据，用flink如何解决呢？

wangjian2019 commented 5 years ago

您好，我现在有个需求，需要读取千万级别的mysql数据，想通过线程来并发读取数据，用flink如何解决呢？

mysql本身只是一张表，而且没法replay，是不适合用flink流任务处理的，也无法使用分布式多线程去跑。 一般的做法是，用sqoop把mysql中的表导出到HDFS上，然后启动flink batch job去处理HDFS数据。