search

zvtvz / zvt

modular quant framework.
https://zvt.readthedocs.io/en/latest/
MIT License
3.22k stars 860 forks source link

东财数据维护 #13

Closed foolcage closed 5 years ago

foolcage commented 5 years ago

目前东财数据的recorder没有开源,为了该数据源能够更长久的使用,打算使用基础数据+patch中转更新的方式来提供.

基础数据(到2019-07-06):

https://pan.baidu.com/s/17iLVJDcRnmu-LgRGFqItNA

提取码: pv9d

增量数据更新方案: 可以使用sqlite diff工具来生成diff,把diff单独放一个repo,或者自己的服务器,或者ocs

buginux commented 5 years ago

感觉可以用 git lfs 来做，直接使用 git 跟踪也比较方便，省得还要手动打 patch。

git lfs 可以将大文件单独存放，然后用 git 来跟踪变化：https://github.com/git-lfs/git-lfs/wiki/Tutorial

foolcage commented 5 years ago

@buginux 之前用过,那时推荐大小40M以下,就放弃了.目前看起来可以到2G,看来可以满足需求. 打算单独开一个repo来存数据.

buginux commented 5 years ago

是的，看了下 2GB 是 Github 的限制，不知其它平台是否也有类似的限制。

foolcage commented 5 years ago

已全部开源，基础数据在最新文档里有说明，大家只需要使用代码里的脚本做增量更新。