重構transactions \ transfers \ balances 流程

[gibbs-shih]

[gibbs-shih]

• 建立 balance_versions 資料表
  • 關聯圖
  • DB schema 文件
  • schema.prisma
  • db create

[gibbs-shih]

• 增加聯合唯一索引
• 初步重構完流程, 運用 balance_versions 儲存 transaction 及 transaction logs, 並更新 token balances
  • 初次建立snapshot給值為“0”
  • transaction
  • from : -fee、-value
  • to：+value
  • transaction logs
  • transfer
    • from：-value
    • to：+value
  • minted :
    • to：+value
  • burned :
    • from：-value

[gibbs-shih]

• 刪除 table black_lists

[gibbs-shih]

• 修正 table codes、public_tags, 新增 created_timestamp、tag_type

[gibbs-shih]

• 刪除 target @unique

• db

[gibbs-shih]

• 執行測試

[gibbs-shih]

• 調整 erc20 3 events topics

• burned

• minted

  

[gibbs-shih]

• 用 sql 語法查詢 jsonb 格式可以參考：
  • 常使用 @> 操作符來查找精確匹配的 JSON 結構

    SELECT *
    FROM transaction_receipt_raw
    WHERE logs @> '[{"topics": ["0x9d228d69b5fdb8d273a2336f8fb8612d039631024ea9bf09c424a9503aa078f0"]}]';

• 調整 balance_versions snapshot 操作邏輯, 先算出snapshot再一併更新進balance_versions
  • fee
  • value From and To：transaction / transactionLogs

[gibbs-shih]

• 修改 codes 建立文件加入 public_tags - tag_type

[gibbs-shih]

• 測試發現在解析每個 block 時都會建一筆到 table: balance_versions, 但是 snapshot 未跟著更新, 調整程式碼
  • address: parsedBlock.miner (礦工)
  • modify: parsedBlock.reward (礦工獎勵)
  • currency: "0x0000000000000000000000000000000000000000" (原生幣種)

[gibbs-shih]

• 每個 block 解析完要更新 table：currencies 原生幣種的 total_amount

• parsing.ts

• parsers.ts

[gibbs-shih]

[gibbs-shih]

• 調整相關程式碼計算為 bigint

[gibbs-shih]

• 調整後還是會出現這個錯誤, 經過許多嘗試後, 找出下面解法：
  • 引入套件 bignumber.js
  • 將這一段每一步驟分別拆出, 利於debug
  • 使用 BigNumber 來處理大數字
  • 使用 BigInt(bigNumber.toFixed());

[gibbs-shih]

• 將上述修改調整回來, 不使用bignumber套件
• 將 parseInt 改成 BigInt, 因為用 parseInt 會導致出現科學符號

• restart pm2

[gibbs-shih]

• error 1

  
  • 以其他方式解析 totalSupply、name、symbol
  • to：合約地址
  • data：
  • totalSupply：0x18160ddd
  • name：0x06fdde03
  • symbol：0x95d89b41
  • name 跟 symbol 要再解析成文字

    curl --location 'https://isuncoin.baifa.io/' \
    --header 'Content-Type: application/json' \
    --data '{
    "jsonrpc":"2.0",
    "method":"eth_call",
    "params":[{
    "to": "0x58DefDe789c9d6F65c207DD31c171F1de51303FD",
    "data": "0x18160ddd"
    }, "latest"],
    "id":1
    }'

• 發現錯誤原因是因為 NFT transfer 的 topic 跟 ERC20 的 topic 一樣, 故 NFT transfer 的 contract.call 會出現錯誤, 維持原寫法並新建 function 及加入 try catch 處理 NFT transfer

• error 2 >> minted目前只解析兩種

  • 有些erc20活動會超出現有程式碼辨認規則, 故會得不到currency id

[gibbs-shih]

• 更新文件 DB Schema: review_datas

• 更新文件 BFAER00002

• 修改 db shema ：review_datas

• 更新資料庫

  

[gibbs-shih]

• 在 parsedTransactionLogsToTransfers 也要濾掉 NFT transfer, 因為 NFT transfer 的 topic 跟 ERC20 transfer 的 topic 一樣
  • parsedTransactionLogsToTransfers 初始值為undefined
  • 判斷 ERC20 transfer 條件多增加長度判斷
  • 有判斷出 parsedTransactionLogsToTransfers 才進行後續 function, 及避免沒 currency_id 情況

• 重跑後檢查log 沒有error訊息 （跑在 baifagibbs 資料庫）

[gibbs-shih]

take about 40 hr

[gibbs-shih]

take about 40 hr

[gibbs-shih]

• 改 iSunCoin total amount 不應該有小數點

[gibbs-shih]

take about 41 hr