search

alibaba / otter

阿里巴巴分布式数据库同步系统(解决中美异地机房)
Apache License 2.0
8.02k stars 2.49k forks source link

otter延迟情况下这个row_select日志正常么 #1122

Closed mbao closed 4 months ago

mbao commented 4 months ago

主通道消费批次是60000，获取批次数据超时时间是1s 看这个日志每次都只有几千条？是canal跟不上？ canal 配置 内存存储buffer记录数：262144 接收BufferSize/发送BufferSize：49152 binlog日志大概几分钟1个G

image
mbao commented 4 months ago

dryrun模式试了下，延迟的情况下一个batch里total可以到几万，真正load到数据库的时候为啥不行呢？

mbao commented 4 months ago

好吧，应该是同步从库binlog没有延迟，从库本身延迟了，所以统计的延迟一直比较高。。。