search

streamingfast / substreams-uniswap-v3

Apache License 2.0
49 stars 16 forks source link

fix derivedETH bug #16

Closed gusinacio closed 10 months ago

gusinacio commented 1 year ago

The store_native_amounts method was using updatePolicy: set. The pool events receives changes in the pools (which can be positive or negative) instead of the current value.

That way, no pool had enough liquidity to receive derived ETH and consequentially no token had usd price.

Besides that, it appears that the find_eth_per_token function had a bug where it wouldn't consider the WETH/ (token0 WETH, token1 target) pair price because it wasn't setting the ETH/ETH price to one.

Both bugs are fixed with this PR.

Eduard-Voiculescu commented 1 year ago

Hey @flametuner, thanks for opening this PR and providing a quick potential fix, I will run some regression testing to make sure that this doesn't have an impact on other modules and other data points.

gusinacio commented 1 year ago

I ran the substreams-test with a local subgraph of uniswap of branch sf-debugging, these are the results:

v0.2.8:

Entity          Attr                          Total    Success           Failed
Bundle                                        3340     3335 (99.85 %)    5 (0.15 %)
Bundle          ethPriceUSD                   3340     3335 (99.85 %)    5 (0.15 %)
Burn                                          7168     7036 (98.16 %)    132 (1.84 %)
Burn            amount                        512      512 (100.00 %)    0 (0.00 %)
Burn            amount0                       512      512 (100.00 %)    0 (0.00 %)
Burn            amount1                       512      512 (100.00 %)    0 (0.00 %)
Burn            amountUSD                     512      380 (74.22 %)     132 (25.78 %)
Burn            logIndex                      512      512 (100.00 %)    0 (0.00 %)
Burn            origin                        512      512 (100.00 %)    0 (0.00 %)
Burn            owner                         512      512 (100.00 %)    0 (0.00 %)
Burn            pool                          512      512 (100.00 %)    0 (0.00 %)
Burn            tickLower                     512      512 (100.00 %)    0 (0.00 %)
Burn            tickUpper                     512      512 (100.00 %)    0 (0.00 %)
Burn            timestamp                     512      512 (100.00 %)    0 (0.00 %)
Burn            token0                        512      512 (100.00 %)    0 (0.00 %)
Burn            token1                        512      512 (100.00 %)    0 (0.00 %)
Burn            transaction                   512      512 (100.00 %)    0 (0.00 %)
Mint                                          62085    60790 (97.91 %)   1295 (2.09 %)
Mint            amount                        4139     4139 (100.00 %)   0 (0.00 %)
Mint            amount0                       4139     4139 (100.00 %)   0 (0.00 %)
Mint            amount1                       4139     4139 (100.00 %)   0 (0.00 %)
Mint            amountUSD                     4139     2844 (68.71 %)    1295 (31.29 %)
Mint            logIndex                      4139     4139 (100.00 %)   0 (0.00 %)
Mint            origin                        4139     4139 (100.00 %)   0 (0.00 %)
Mint            owner                         4139     4139 (100.00 %)   0 (0.00 %)
Mint            pool                          4139     4139 (100.00 %)   0 (0.00 %)
Mint            sender                        4139     4139 (100.00 %)   0 (0.00 %)
Mint            tickLower                     4139     4139 (100.00 %)   0 (0.00 %)
Mint            tickUpper                     4139     4139 (100.00 %)   0 (0.00 %)
Mint            timestamp                     4139     4139 (100.00 %)   0 (0.00 %)
Mint            token0                        4139     4139 (100.00 %)   0 (0.00 %)
Mint            token1                        4139     4139 (100.00 %)   0 (0.00 %)
Mint            transaction                   4139     4139 (100.00 %)   0 (0.00 %)
Pool                                          200268   166565 (83.17 %)  33703 (16.83 %)
Pool            collectedFeesToken0           434      434 (100.00 %)    0 (0.00 %)
Pool            collectedFeesToken1           434      434 (100.00 %)    0 (0.00 %)
Pool            collectedFeesUSD              434      434 (100.00 %)    0 (0.00 %)
Pool            createdAtBlockNumber          434      434 (100.00 %)    0 (0.00 %)
Pool            createdAtTimestamp            434      434 (100.00 %)    0 (0.00 %)
Pool            feeGrowthGlobal0X128          4453     434 (9.75 %)      4019 (90.25 %)
Pool            feeGrowthGlobal1X128          5565     434 (7.80 %)      5131 (92.20 %)
Pool            feeTier                       434      434 (100.00 %)    0 (0.00 %)
Pool            feesUSD                       9457     6550 (69.26 %)    2907 (30.74 %)
Pool            liquidity                     4733     4733 (100.00 %)   0 (0.00 %)
Pool            liquidityProviderCount        3962     3962 (100.00 %)   0 (0.00 %)
Pool            observationIndex              434      434 (100.00 %)    0 (0.00 %)
Pool            sqrtPrice                     9459     9459 (100.00 %)   0 (0.00 %)
Pool            tick                          9455     9455 (100.00 %)   0 (0.00 %)
Pool            token0                        434      434 (100.00 %)    0 (0.00 %)
Pool            token0Price                   9455     8943 (94.58 %)    512 (5.42 %)
Pool            token1                        434      434 (100.00 %)    0 (0.00 %)
Pool            token1Price                   9455     8943 (94.58 %)    512 (5.42 %)
Pool            totalValueLockedETH           13220    11427 (86.44 %)   1793 (13.56 %)
Pool            totalValueLockedETHUntracked  13220    8743 (66.13 %)    4477 (33.87 %)
Pool            totalValueLockedToken0        13220    13220 (100.00 %)  0 (0.00 %)
Pool            totalValueLockedToken1        13220    13220 (100.00 %)  0 (0.00 %)
Pool            totalValueLockedUSD           13220    11413 (86.33 %)   1807 (13.67 %)
Pool            totalValueLockedUSDUntracked  13220    8729 (66.03 %)    4491 (33.97 %)
Pool            txCount                       13220    13220 (100.00 %)  0 (0.00 %)
Pool            untrackedVolumeUSD            9457     4310 (45.57 %)    5147 (54.43 %)
Pool            volumeToken0                  9457     9457 (100.00 %)   0 (0.00 %)
Pool            volumeToken1                  9457     9457 (100.00 %)   0 (0.00 %)
Pool            volumeUSD                     9457     6550 (69.26 %)    2907 (30.74 %)
PoolDayData                                   169881   131689 (77.52 %)  38192 (22.48 %)
PoolDayData     close                         4690     133 (2.84 %)      4557 (97.16 %)
PoolDayData     date                          654      654 (100.00 %)    0 (0.00 %)
PoolDayData     feeGrowthGlobal0X128          4598     579 (12.59 %)     4019 (87.41 %)
PoolDayData     feeGrowthGlobal1X128          5724     593 (10.36 %)     5131 (89.64 %)
PoolDayData     feesUSD                       9541     6728 (70.52 %)    2813 (29.48 %)
PoolDayData     high                          13212    9470 (71.68 %)    3742 (28.32 %)
PoolDayData     liquidity                     4863     4735 (97.37 %)    128 (2.63 %)
PoolDayData     low                           13212    6434 (48.70 %)    6778 (51.30 %)
PoolDayData     open                          4822     270 (5.60 %)      4552 (94.40 %)
PoolDayData     pool                          654      654 (100.00 %)    0 (0.00 %)
PoolDayData     sqrtPrice                     13216    13216 (100.00 %)  0 (0.00 %)
PoolDayData     tick                          13216    13216 (100.00 %)  0 (0.00 %)
PoolDayData     token0Price                   13212    12286 (92.99 %)   926 (7.01 %)
PoolDayData     token1Price                   13212    12286 (92.99 %)   926 (7.01 %)
PoolDayData     totalValueLockedUSD           13216    11409 (86.33 %)   1807 (13.67 %)
PoolDayData     txCount                       13216    13216 (100.00 %)  0 (0.00 %)
PoolDayData     volumeToken0                  9541     9541 (100.00 %)   0 (0.00 %)
PoolDayData     volumeToken1                  9541     9541 (100.00 %)   0 (0.00 %)
PoolDayData     volumeUSD                     9541     6728 (70.52 %)    2813 (29.48 %)
PoolHourData                                  182178   150400 (82.56 %)  31778 (17.44 %)
PoolHourData    close                         7086     3546 (50.04 %)    3540 (49.96 %)
PoolHourData    feeGrowthGlobal0X128          5745     1726 (30.04 %)    4019 (69.96 %)
PoolHourData    feeGrowthGlobal1X128          6765     1634 (24.15 %)    5131 (75.85 %)
PoolHourData    feesUSD                       10093    7773 (77.01 %)    2320 (22.99 %)
PoolHourData    high                          13214    10344 (78.28 %)   2870 (21.72 %)
PoolHourData    liquidity                     5906     4764 (80.66 %)    1142 (19.34 %)
PoolHourData    low                           13214    10009 (75.75 %)   3205 (24.25 %)
PoolHourData    open                          5996     2428 (40.49 %)    3568 (59.51 %)
PoolHourData    periodStartUnix               2294     2294 (100.00 %)   0 (0.00 %)
PoolHourData    pool                          2294     2294 (100.00 %)   0 (0.00 %)
PoolHourData    sqrtPrice                     13216    13216 (100.00 %)  0 (0.00 %)
PoolHourData    tick                          13216    13216 (100.00 %)  0 (0.00 %)
PoolHourData    token0Price                   13214    12286 (92.98 %)   928 (7.02 %)
PoolHourData    token1Price                   13214    12286 (92.98 %)   928 (7.02 %)
PoolHourData    totalValueLockedUSD           13216    11409 (86.33 %)   1807 (13.67 %)
PoolHourData    txCount                       13216    13216 (100.00 %)  0 (0.00 %)
PoolHourData    volumeToken0                  10093    10093 (100.00 %)  0 (0.00 %)
PoolHourData    volumeToken1                  10093    10093 (100.00 %)  0 (0.00 %)
PoolHourData    volumeUSD                     10093    7773 (77.01 %)    2320 (22.99 %)
Swap                                          133014   131419 (98.80 %)  1595 (1.20 %)
Swap            amount0                       9501     9501 (100.00 %)   0 (0.00 %)
Swap            amount1                       9501     9501 (100.00 %)   0 (0.00 %)
Swap            amountUSD                     9501     7906 (83.21 %)    1595 (16.79 %)
Swap            logIndex                      9501     9501 (100.00 %)   0 (0.00 %)
Swap            origin                        9501     9501 (100.00 %)   0 (0.00 %)
Swap            pool                          9501     9501 (100.00 %)   0 (0.00 %)
Swap            recipient                     9501     9501 (100.00 %)   0 (0.00 %)
Swap            sender                        9501     9501 (100.00 %)   0 (0.00 %)
Swap            sqrtPriceX96                  9501     9501 (100.00 %)   0 (0.00 %)
Swap            tick                          9501     9501 (100.00 %)   0 (0.00 %)
Swap            timestamp                     9501     9501 (100.00 %)   0 (0.00 %)
Swap            token0                        9501     9501 (100.00 %)   0 (0.00 %)
Swap            token1                        9501     9501 (100.00 %)   0 (0.00 %)
Swap            transaction                   9501     9501 (100.00 %)   0 (0.00 %)
Token                                         115961   81609 (70.38 %)   34352 (29.62 %)
Token           decimals                      328      328 (100.00 %)    0 (0.00 %)
Token           derivedETH                    12839    10785 (84.00 %)   2054 (16.00 %)
Token           feesUSD                       12505    5824 (46.57 %)    6681 (53.43 %)
Token           name                          328      328 (100.00 %)    0 (0.00 %)
Token           poolCount                     328      328 (100.00 %)    0 (0.00 %)
Token           symbol                        328      328 (100.00 %)    0 (0.00 %)
Token           totalSupply                   328      0 (0.00 %)        328 (100.00 %)
Token           totalValueLocked              16994    16280 (95.80 %)   714 (4.20 %)
Token           totalValueLockedUSD           16994    8274 (48.69 %)    8720 (51.31 %)
Token           txCount                       16994    16280 (95.80 %)   714 (4.20 %)
Token           untrackedVolumeUSD            12505    3925 (31.39 %)    8580 (68.61 %)
Token           volume                        12505    12505 (100.00 %)  0 (0.00 %)
Token           volumeUSD                     12505    5944 (47.53 %)    6561 (52.47 %)
Token           whitelistPools                480      480 (100.00 %)    0 (0.00 %)
TokenDayData                                  124336   83027 (66.78 %)   41309 (33.22 %)
TokenDayData    close                         631      567 (89.86 %)     64 (10.14 %)
TokenDayData    date                          500      500 (100.00 %)    0 (0.00 %)
TokenDayData    feesUSD                       12569    6110 (48.61 %)    6459 (51.39 %)
TokenDayData    high                          12569    8461 (67.32 %)    4108 (32.68 %)
TokenDayData    low                           12569    8309 (66.11 %)    4260 (33.89 %)
TokenDayData    open                          740      691 (93.38 %)     49 (6.62 %)
TokenDayData    priceUSD                      12569    10535 (83.82 %)   2034 (16.18 %)
TokenDayData    token                         500      500 (100.00 %)    0 (0.00 %)
TokenDayData    totalValueLocked              16991    16277 (95.80 %)   714 (4.20 %)
TokenDayData    totalValueLockedUSD           16991    8271 (48.68 %)    8720 (51.32 %)
TokenDayData    volume                        12569    12569 (100.00 %)  0 (0.00 %)
TokenDayData    volumeUSD                     12569    6213 (49.43 %)    6356 (50.57 %)
TokenDayData    volumeUSDUntracked            12569    4024 (32.02 %)    8545 (67.98 %)
TokenHourData                                 133936   94940 (70.88 %)   38996 (29.12 %)
TokenHourData   close                         3028     2315 (76.45 %)    713 (23.55 %)
TokenHourData   feesUSD                       13017    7247 (55.67 %)    5770 (44.33 %)
TokenHourData   high                          13017    9558 (73.43 %)    3459 (26.57 %)
TokenHourData   low                           13017    9696 (74.49 %)    3321 (25.51 %)
TokenHourData   open                          2155     1725 (80.05 %)    430 (19.95 %)
TokenHourData   periodStartUnix               1826     1826 (100.00 %)   0 (0.00 %)
TokenHourData   priceUSD                      13017    10855 (83.39 %)   2162 (16.61 %)
TokenHourData   token                         1826     1826 (100.00 %)   0 (0.00 %)
TokenHourData   totalValueLocked              16991    16277 (95.80 %)   714 (4.20 %)
TokenHourData   totalValueLockedUSD           16991    8271 (48.68 %)    8720 (51.32 %)
TokenHourData   volume                        13017    13017 (100.00 %)  0 (0.00 %)
TokenHourData   volumeUSD                     13017    7134 (54.81 %)    5883 (45.19 %)
TokenHourData   volumeUSDUntracked            13017    5193 (39.89 %)    7824 (60.11 %)
Transaction                                   50276    37707 (75.00 %)   12569 (25.00 %)
Transaction     blockNumber                   12569    12569 (100.00 %)  0 (0.00 %)
Transaction     gasPrice                      12569    12569 (100.00 %)  0 (0.00 %)
Transaction     gasUsed                       12569    0 (0.00 %)        12569 (100.00 %)
Transaction     timestamp                     12569    12569 (100.00 %)  0 (0.00 %)
UniswapDayData                                17175    175 (1.02 %)      17000 (98.98 %)
UniswapDayData  date                          3        3 (100.00 %)      0 (0.00 %)
UniswapDayData  feesUSD                       3183     16 (0.50 %)       3167 (99.50 %)
UniswapDayData  totalValueLockedUSD           3810     48 (1.26 %)       3762 (98.74 %)
UniswapDayData  txCount                       3810     50 (1.31 %)       3760 (98.69 %)
UniswapDayData  volumeETH                     3183     39 (1.23 %)       3144 (98.77 %)
UniswapDayData  volumeUSD                     3183     16 (0.50 %)       3167 (99.50 %)
UniswapDayData  volumeUSDUntracked            3        3 (100.00 %)      0 (0.00 %)
                                              1199618  948692 (79.08 %)  250926 (20.92 %)

current PR:

Entity          Attr                          Total    Success           Failed
Bundle                                        3340     3335 (99.85 %)    5 (0.15 %)
Bundle          ethPriceUSD                   3340     3335 (99.85 %)    5 (0.15 %)
Burn                                          7168     7162 (99.92 %)    6 (0.08 %)
Burn            amount                        512      512 (100.00 %)    0 (0.00 %)
Burn            amount0                       512      512 (100.00 %)    0 (0.00 %)
Burn            amount1                       512      512 (100.00 %)    0 (0.00 %)
Burn            amountUSD                     512      506 (98.83 %)     6 (1.17 %)
Burn            logIndex                      512      512 (100.00 %)    0 (0.00 %)
Burn            origin                        512      512 (100.00 %)    0 (0.00 %)
Burn            owner                         512      512 (100.00 %)    0 (0.00 %)
Burn            pool                          512      512 (100.00 %)    0 (0.00 %)
Burn            tickLower                     512      512 (100.00 %)    0 (0.00 %)
Burn            tickUpper                     512      512 (100.00 %)    0 (0.00 %)
Burn            timestamp                     512      512 (100.00 %)    0 (0.00 %)
Burn            token0                        512      512 (100.00 %)    0 (0.00 %)
Burn            token1                        512      512 (100.00 %)    0 (0.00 %)
Burn            transaction                   512      512 (100.00 %)    0 (0.00 %)
Mint                                          62085    61992 (99.85 %)   93 (0.15 %)
Mint            amount                        4139     4139 (100.00 %)   0 (0.00 %)
Mint            amount0                       4139     4139 (100.00 %)   0 (0.00 %)
Mint            amount1                       4139     4139 (100.00 %)   0 (0.00 %)
Mint            amountUSD                     4139     4046 (97.75 %)    93 (2.25 %)
Mint            logIndex                      4139     4139 (100.00 %)   0 (0.00 %)
Mint            origin                        4139     4139 (100.00 %)   0 (0.00 %)
Mint            owner                         4139     4139 (100.00 %)   0 (0.00 %)
Mint            pool                          4139     4139 (100.00 %)   0 (0.00 %)
Mint            sender                        4139     4139 (100.00 %)   0 (0.00 %)
Mint            tickLower                     4139     4139 (100.00 %)   0 (0.00 %)
Mint            tickUpper                     4139     4139 (100.00 %)   0 (0.00 %)
Mint            timestamp                     4139     4139 (100.00 %)   0 (0.00 %)
Mint            token0                        4139     4139 (100.00 %)   0 (0.00 %)
Mint            token1                        4139     4139 (100.00 %)   0 (0.00 %)
Mint            transaction                   4139     4139 (100.00 %)   0 (0.00 %)
Pool                                          200268   170729 (85.25 %)  29539 (14.75 %)
Pool            collectedFeesToken0           434      434 (100.00 %)    0 (0.00 %)
Pool            collectedFeesToken1           434      434 (100.00 %)    0 (0.00 %)
Pool            collectedFeesUSD              434      434 (100.00 %)    0 (0.00 %)
Pool            createdAtBlockNumber          434      434 (100.00 %)    0 (0.00 %)
Pool            createdAtTimestamp            434      434 (100.00 %)    0 (0.00 %)
Pool            feeGrowthGlobal0X128          4453     434 (9.75 %)      4019 (90.25 %)
Pool            feeGrowthGlobal1X128          5565     434 (7.80 %)      5131 (92.20 %)
Pool            feeTier                       434      434 (100.00 %)    0 (0.00 %)
Pool            feesUSD                       9457     6575 (69.53 %)    2882 (30.47 %)
Pool            liquidity                     4733     4733 (100.00 %)   0 (0.00 %)
Pool            liquidityProviderCount        3962     3962 (100.00 %)   0 (0.00 %)
Pool            observationIndex              434      434 (100.00 %)    0 (0.00 %)
Pool            sqrtPrice                     9459     9459 (100.00 %)   0 (0.00 %)
Pool            tick                          9455     9455 (100.00 %)   0 (0.00 %)
Pool            token0                        434      434 (100.00 %)    0 (0.00 %)
Pool            token0Price                   9455     8943 (94.58 %)    512 (5.42 %)
Pool            token1                        434      434 (100.00 %)    0 (0.00 %)
Pool            token1Price                   9455     8943 (94.58 %)    512 (5.42 %)
Pool            totalValueLockedETH           13220    11696 (88.47 %)   1524 (11.53 %)
Pool            totalValueLockedETHUntracked  13220    10413 (78.77 %)   2807 (21.23 %)
Pool            totalValueLockedToken0        13220    13220 (100.00 %)  0 (0.00 %)
Pool            totalValueLockedToken1        13220    13220 (100.00 %)  0 (0.00 %)
Pool            totalValueLockedUSD           13220    11683 (88.37 %)   1537 (11.63 %)
Pool            totalValueLockedUSDUntracked  13220    10400 (78.67 %)   2820 (21.33 %)
Pool            txCount                       13220    13220 (100.00 %)  0 (0.00 %)
Pool            untrackedVolumeUSD            9457     4544 (48.05 %)    4913 (51.95 %)
Pool            volumeToken0                  9457     9457 (100.00 %)   0 (0.00 %)
Pool            volumeToken1                  9457     9457 (100.00 %)   0 (0.00 %)
Pool            volumeUSD                     9457     6575 (69.53 %)    2882 (30.47 %)
PoolDayData                                   169756   131961 (77.74 %)  37795 (22.26 %)
PoolDayData     close                         4690     133 (2.84 %)      4557 (97.16 %)
PoolDayData     date                          654      654 (100.00 %)    0 (0.00 %)
PoolDayData     feeGrowthGlobal0X128          4598     579 (12.59 %)     4019 (87.41 %)
PoolDayData     feeGrowthGlobal1X128          5724     593 (10.36 %)     5131 (89.64 %)
PoolDayData     feesUSD                       9541     6778 (71.04 %)    2763 (28.96 %)
PoolDayData     high                          13182    9440 (71.61 %)    3742 (28.39 %)
PoolDayData     liquidity                     4863     4735 (97.37 %)    128 (2.63 %)
PoolDayData     low                           13182    6426 (48.75 %)    6756 (51.25 %)
PoolDayData     open                          4817     270 (5.61 %)      4547 (94.39 %)
PoolDayData     pool                          654      654 (100.00 %)    0 (0.00 %)
PoolDayData     sqrtPrice                     13216    13216 (100.00 %)  0 (0.00 %)
PoolDayData     tick                          13216    13216 (100.00 %)  0 (0.00 %)
PoolDayData     token0Price                   13182    12256 (92.98 %)   926 (7.02 %)
PoolDayData     token1Price                   13182    12256 (92.98 %)   926 (7.02 %)
PoolDayData     totalValueLockedUSD           13216    11679 (88.37 %)   1537 (11.63 %)
PoolDayData     txCount                       13216    13216 (100.00 %)  0 (0.00 %)
PoolDayData     volumeToken0                  9541     9541 (100.00 %)   0 (0.00 %)
PoolDayData     volumeToken1                  9541     9541 (100.00 %)   0 (0.00 %)
PoolDayData     volumeUSD                     9541     6778 (71.04 %)    2763 (28.96 %)
PoolHourData                                  181991   150591 (82.75 %)  31400 (17.25 %)
PoolHourData    close                         7086     3546 (50.04 %)    3540 (49.96 %)
PoolHourData    feeGrowthGlobal0X128          5745     1726 (30.04 %)    4019 (69.96 %)
PoolHourData    feeGrowthGlobal1X128          6765     1634 (24.15 %)    5131 (75.85 %)
PoolHourData    feesUSD                       10093    7818 (77.46 %)    2275 (22.54 %)
PoolHourData    high                          13168    10300 (78.22 %)   2868 (21.78 %)
PoolHourData    liquidity                     5906     4764 (80.66 %)    1142 (19.34 %)
PoolHourData    low                           13168    9976 (75.76 %)    3192 (24.24 %)
PoolHourData    open                          5993     2428 (40.51 %)    3565 (59.49 %)
PoolHourData    periodStartUnix               2294     2294 (100.00 %)   0 (0.00 %)
PoolHourData    pool                          2294     2294 (100.00 %)   0 (0.00 %)
PoolHourData    sqrtPrice                     13216    13216 (100.00 %)  0 (0.00 %)
PoolHourData    tick                          13216    13216 (100.00 %)  0 (0.00 %)
PoolHourData    token0Price                   13168    12240 (92.95 %)   928 (7.05 %)
PoolHourData    token1Price                   13168    12240 (92.95 %)   928 (7.05 %)
PoolHourData    totalValueLockedUSD           13216    11679 (88.37 %)   1537 (11.63 %)
PoolHourData    txCount                       13216    13216 (100.00 %)  0 (0.00 %)
PoolHourData    volumeToken0                  10093    10093 (100.00 %)  0 (0.00 %)
PoolHourData    volumeToken1                  10093    10093 (100.00 %)  0 (0.00 %)
PoolHourData    volumeUSD                     10093    7818 (77.46 %)    2275 (22.54 %)
Swap                                          133014   131486 (98.85 %)  1528 (1.15 %)
Swap            amount0                       9501     9501 (100.00 %)   0 (0.00 %)
Swap            amount1                       9501     9501 (100.00 %)   0 (0.00 %)
Swap            amountUSD                     9501     7973 (83.92 %)    1528 (16.08 %)
Swap            logIndex                      9501     9501 (100.00 %)   0 (0.00 %)
Swap            origin                        9501     9501 (100.00 %)   0 (0.00 %)
Swap            pool                          9501     9501 (100.00 %)   0 (0.00 %)
Swap            recipient                     9501     9501 (100.00 %)   0 (0.00 %)
Swap            sender                        9501     9501 (100.00 %)   0 (0.00 %)
Swap            sqrtPriceX96                  9501     9501 (100.00 %)   0 (0.00 %)
Swap            tick                          9501     9501 (100.00 %)   0 (0.00 %)
Swap            timestamp                     9501     9501 (100.00 %)   0 (0.00 %)
Swap            token0                        9501     9501 (100.00 %)   0 (0.00 %)
Swap            token1                        9501     9501 (100.00 %)   0 (0.00 %)
Swap            transaction                   9501     9501 (100.00 %)   0 (0.00 %)
Token                                         115961   80823 (69.70 %)   35138 (30.30 %)
Token           decimals                      328      328 (100.00 %)    0 (0.00 %)
Token           derivedETH                    12839    12699 (98.91 %)   140 (1.09 %)
Token           feesUSD                       12505    5792 (46.32 %)    6713 (53.68 %)
Token           name                          328      328 (100.00 %)    0 (0.00 %)
Token           poolCount                     328      328 (100.00 %)    0 (0.00 %)
Token           symbol                        328      328 (100.00 %)    0 (0.00 %)
Token           totalSupply                   328      0 (0.00 %)        328 (100.00 %)
Token           totalValueLocked              16994    16280 (95.80 %)   714 (4.20 %)
Token           totalValueLockedUSD           16994    5586 (32.87 %)    11408 (67.13 %)
Token           txCount                       16994    16280 (95.80 %)   714 (4.20 %)
Token           untrackedVolumeUSD            12505    3889 (31.10 %)    8616 (68.90 %)
Token           volume                        12505    12505 (100.00 %)  0 (0.00 %)
Token           volumeUSD                     12505    6000 (47.98 %)    6505 (52.02 %)
Token           whitelistPools                480      480 (100.00 %)    0 (0.00 %)
TokenDayData                                  124206   84481 (68.02 %)   39725 (31.98 %)
TokenDayData    close                         631      588 (93.19 %)     43 (6.81 %)
TokenDayData    date                          500      500 (100.00 %)    0 (0.00 %)
TokenDayData    feesUSD                       12569    6099 (48.52 %)    6470 (51.48 %)
TokenDayData    high                          12526    10409 (83.10 %)   2117 (16.90 %)
TokenDayData    low                           12526    8766 (69.98 %)    3760 (30.02 %)
TokenDayData    open                          739      694 (93.91 %)     45 (6.09 %)
TokenDayData    priceUSD                      12526    12370 (98.75 %)   156 (1.25 %)
TokenDayData    token                         500      500 (100.00 %)    0 (0.00 %)
TokenDayData    totalValueLocked              16991    16277 (95.80 %)   714 (4.20 %)
TokenDayData    totalValueLockedUSD           16991    5583 (32.86 %)    11408 (67.14 %)
TokenDayData    volume                        12569    12569 (100.00 %)  0 (0.00 %)
TokenDayData    volumeUSD                     12569    6108 (48.60 %)    6461 (51.40 %)
TokenDayData    volumeUSDUntracked            12569    4018 (31.97 %)    8551 (68.03 %)
TokenHourData                                 133826   97523 (72.87 %)   36303 (27.13 %)
TokenHourData   close                         3028     2510 (82.89 %)    518 (17.11 %)
TokenHourData   feesUSD                       13017    7166 (55.05 %)    5851 (44.95 %)
TokenHourData   high                          12982    11229 (86.50 %)   1753 (13.50 %)
TokenHourData   low                           12982    11003 (84.76 %)   1979 (15.24 %)
TokenHourData   open                          2150     1892 (88.00 %)    258 (12.00 %)
TokenHourData   periodStartUnix               1826     1826 (100.00 %)   0 (0.00 %)
TokenHourData   priceUSD                      12982    12698 (97.81 %)   284 (2.19 %)
TokenHourData   token                         1826     1826 (100.00 %)   0 (0.00 %)
TokenHourData   totalValueLocked              16991    16277 (95.80 %)   714 (4.20 %)
TokenHourData   totalValueLockedUSD           16991    5583 (32.86 %)    11408 (67.14 %)
TokenHourData   volume                        13017    13017 (100.00 %)  0 (0.00 %)
TokenHourData   volumeUSD                     13017    7139 (54.84 %)    5878 (45.16 %)
TokenHourData   volumeUSDUntracked            13017    5357 (41.15 %)    7660 (58.85 %)
Transaction                                   50276    37707 (75.00 %)   12569 (25.00 %)
Transaction     blockNumber                   12569    12569 (100.00 %)  0 (0.00 %)
Transaction     gasPrice                      12569    12569 (100.00 %)  0 (0.00 %)
Transaction     gasUsed                       12569    0 (0.00 %)        12569 (100.00 %)
Transaction     timestamp                     12569    12569 (100.00 %)  0 (0.00 %)
UniswapDayData                                17175    602 (3.51 %)      16573 (96.49 %)
UniswapDayData  date                          3        3 (100.00 %)      0 (0.00 %)
UniswapDayData  feesUSD                       3183     219 (6.88 %)      2964 (93.12 %)
UniswapDayData  totalValueLockedUSD           3810     56 (1.47 %)       3754 (98.53 %)
UniswapDayData  txCount                       3810     50 (1.31 %)       3760 (98.69 %)
UniswapDayData  volumeETH                     3183     6 (0.19 %)        3177 (99.81 %)
UniswapDayData  volumeUSD                     3183     265 (8.33 %)      2918 (91.67 %)
UniswapDayData  volumeUSDUntracked            3        3 (100.00 %)      0 (0.00 %)
                                              1199066  958392 (79.93 %)  240674 (20.07 %)
Eduard-Voiculescu commented 1 year ago

Hey @flametuner, thanks for the comparison tests to compare the versions.

I analyzed the data and it seems to be pretty good. A lot of the points are the same or an acceptable somewhat difference. Some fields even have an increase in matches.

However, there are a couple of fields that I see which have notable differences what I would like for us to dig a bit deeper to understand.

I would like it if you could rerun the test and make sure that either we get the same data or different data. The amount use on the burn and the mint are a bit worrisome as they should stay at a high percentage. They are impacted by the derivedETH price so that may be why the value drifts.

Same kind of process should be check for the other 3 fields that I have seen. The (tokenDay/tokenHour)Data.priceUSD are evidently very correlated, so fixing one fixes the other for sure.

gusinacio commented 1 year ago

I execute the test again and got the same results!

My values are higher with 97.81% (current PR) while the 0.2.8 has 83.39%

Here are the full logs: 0.2.8: https://file.io/I7ENDkFpPqAG fix-eth: https://file.io/I7ENDkFpPqAG

gusinacio commented 1 year ago

Hello, do we have any updates on this?