图表类相关考虑 - Githubissues

wxf4150 commented 3 years ago

图表,一般都是大聚合操作,用不好会很慢.

最好不存数据,尽可能的不存

就不会面临这此问题:数据量大需要优化的问题, 多节点的数据同步/ 数据缺失/个别节点抓取失败等问题.

其它

个别数据是要存的. 比如: ftx杠杆币不存更多的数据,就无法计算准确的价格.
我们的thegraph 时间-价格-块号对应关系,存储这些数据会,用于后续的the-graph-api请求. 加速请求.

杠杆币图表数据间隔:

15分钟 1天；最大点位数100

杠杆币抓取频次

都釆用一分钟一次模式 .

ftx 杠杆币:

btc 3x 全名介绍:比特币数据源: http://coingecko.com/ 已经抓取开盘时间:全天
eth 3x 全名介绍: 以太坊数据源: http://coingecko.com/ uniswap-the-graph 已经抓取开盘时间: 全天
vix 3x 全名介绍: 恐慌指数 CBOE Volatility Index Continuous Contract 数据源: https://www.marketwatch.com/investing/future/vx00 开盘时间: 这个应可以使用usa-stock 那个开盘时间
ust 20x 全名介绍: 10-Year U.S. Treasury Note Continuous Contract 数据源: https://www.marketwatch.com/investing/future/ty00 开盘时间:
gold 10x 全名介绍:黄金数据源: 开盘时间:
eur 20x 全名介绍:EURUSD，欧元兑美元数据源: 开盘时间:
ndx 10x 全名介绍:E-Mini Nasdaq 100 Index Continuous Contract 数据源: https://www.marketwatch.com/investing/future/nasdaq%20100%20futures?mod=over_search 开盘时间:

wxf4150 commented 3 years ago

eur EURUSD目前只有marketwatch有数据属于货币类　 https://www.marketwatch.com/investing/currency/eurusd?mod=over_search 看marketwatch图表，全天都有报价．
gold 目前只有marketwatch有数据　属于期货类． https://www.marketwatch.com/investing/future/gold?mod=over_search 看marketwatch图表，全天都有报价．
ust　属于基金类．即使在marketwatch上有数据，在marketwatch上看，小时的连续性也非常差．可以使用marketstack-eod接口取＂按天＂的数据，是不能细化到分钟的．从看marketwatch图表看，报价时间未知．
ndx/vix 属于指数类．在marketstack的"只能"从market接口取数据，且这个接口的数据都以＂天＂为单位的，无法细化到分钟．如查使用marketwatch，是可以有分钟数据的．

基金类数据ust, 在marketwatch　marketstack上数据都不能完整，不能细化到分钟，但是marketstack以天为单位的数据还是有的．如果只使用marketwatch，指数类数据＂ndx/vix＂无法细化到分钟，只能以天为为单位；没有期货类数据gold；没有货币类eur．marketwatch是有这些数据的分钟数据的．如果只考虑从marketwatch取数据，需要使用国外节点或是节点能翻墙，marketwatch－api也需要更多的调试工作．

wxf4150 commented 3 years ago

又仔细看了下，ust是基金类．买基金的话，是没有分时价格的．基金都是当天申请，隔天确认．