Closed Zkffkah closed 2 years ago
目前只有类似kdata之类的recorder利用day_data进行了重新抓取时的过滤,避免重复抓取,但是day_data这个逻辑存在不足,他利用的是数据本身的timestamp来过滤,而不是更新的timestamp,例如,有些数据只有交易日才有的,不在交易日就还是会重复;还有类似于fundstock这类数据,也没有避免重复抓取的逻辑,需要优化一下。
目前加入了entity_filters参数, 可根据需要进行设置。
目前只有类似kdata之类的recorder利用day_data进行了重新抓取时的过滤,避免重复抓取,但是day_data这个逻辑存在不足,他利用的是数据本身的timestamp来过滤,而不是更新的timestamp,例如,有些数据只有交易日才有的,不在交易日就还是会重复;还有类似于fundstock这类数据,也没有避免重复抓取的逻辑,需要优化一下。