tair-opensource / RedisShake

RedisShake is a Redis data processing and migration tool.
https://tair-opensource.github.io/RedisShake/
MIT License
3.86k stars 699 forks source link

scan同步方式是否会丢失数据 #788

Closed xiaozhuang-a closed 6 months ago

xiaozhuang-a commented 7 months ago

问题描述(Issue Description)

在scan同步的方式中,scan 获取的key和psubscribe event获取的key是推送到的一个长度为100000的队列,如果写入端消费的阻塞慢,是否会导致psubscribe event阻塞太久推送到队列而导致连接断开,进而丢失部分event,如果这些event包含了一次性新增数据,那抹可能会丢失数据,请帮忙解答下,ths

Please provide a brief description of the issue you encountered.

环境信息(Environment)

日志信息(Logs)

如果有错误日志或其他相关日志,请在这里提供。

If there are any error logs or other relevant logs, please provide them here.

其他信息(Additional Information)

请提供任何其他相关的信息,如配置文件、错误信息或截图等。

Please provide any additional information, such as configuration files, error messages, or screenshots.

suxb201 commented 7 months ago

是的,数据一致性要求高的话不适合这样做。