zvtvz / zvt

modular quant framework.
https://zvt.readthedocs.io/en/latest/
MIT License
3.08k stars 843 forks source link

数据抓取重复过滤优化 #163

Closed Zkffkah closed 2 years ago

Zkffkah commented 3 years ago

目前只有类似kdata之类的recorder利用day_data进行了重新抓取时的过滤,避免重复抓取,但是day_data这个逻辑存在不足,他利用的是数据本身的timestamp来过滤,而不是更新的timestamp,例如,有些数据只有交易日才有的,不在交易日就还是会重复;还有类似于fundstock这类数据,也没有避免重复抓取的逻辑,需要优化一下。

foolcage commented 3 years ago

目前加入了entity_filters参数, 可根据需要进行设置。