juicedata / juicesync

A tool to move your data between any clouds or regions.
Apache License 2.0
593 stars 56 forks source link

读取数据失败时的异常处理 #78

Closed xueguanlu closed 3 years ago

xueguanlu commented 3 years ago

使用场景是oss 两个bucket之间做数据同步,使用过程中发现了src 和dst 文件大小一致,md5sum不一致的情况;

检查了oss 访问日志,发现出现异常的文件有过一次返回500 的get请求, 并且后续没有重试,在出错的时间点,观察到juicesync有debug日志: Copied xxxx part 16,没有失败的日志,并且正常退出; 咨询了oss 的研发人员,get 请求服务端返回500时sdk 会有异常的返回值,请帮忙确认下在get object 返回异常时的处理是否正确: https://github.com/juicedata/juicesync/blob/master/sync/sync.go#L252

davies commented 3 years ago

@xueguanlu 多谢反馈,已经修复了!