aliyun / aliyun-log-php-sdk

Other
67 stars 55 forks source link

使用时间作为offset是否有缺陷? #5

Open 137-rick opened 6 years ago

137-rick commented 6 years ago

当拉取进度和服务器时间相同时,某条日志在时间1秒内。

如 xxx0.001秒内写入两条日志,第一条在a分区,第二条也在a分区。 拉取同分区日志时的时间为xxx0.331秒,这时第一条日志刚能拉取到,第二条还未写入,这时提示日志到底。

再次拉取时间为xxx0.631秒 还在一秒范围内,这时会返回第一条第二条日志。日志有重复。如果+1秒获取则会丢失第二条日志。

sandbeach commented 6 years ago

你好,我是日志服务工程师。我想了解下你具体的场景是拖数据,还是查询数据?

在拖数据(拉日志)场景下,GetCursor时间范围都是秒级,还不能精确到一秒内

您如果需要精确查询日志,并保持有序。可以对日志打开查询分析,对时间字段建索引。在查询后对结果做一次排序

137-rick commented 6 years ago

目前每条日志是否自动会加uuid?,如果有日志生成的uuid我可以通过这个uuid进行去重,如果没有暂时没有更好的方法做去重,可否提供这个功能?