search

cesko-digital / app

Komunitní aplikace Česko.Digital
https://app.cesko.digital
BSD 3-Clause "New" or "Revised" License
22 stars 39 forks source link

Optimalizovat počet zápisů do datové keše na Vercelu #1101

Closed zoul closed 1 week ago

zoul commented 2 months ago

Poslední měsíce se nám běžně stává, že vyčerpáme 1 M zápisů do datové keše na Vercelu. Týká se to pouze app a zejména inkrementální statické regenerace:

chart

To asi děláme něco seriózně špatně :) Bude dobré se na to podívat.

zoul commented 2 months ago

In related news, Airtable se na nás trochu zlobí, že natočíme 3,3 M API dotazů měsíčně. To je na takovou aplikaci strašný číslo (100 K denně 🤯) a tuším, že spolu tyhle dvě věci souvisí. Nemá aspoň Vercel delší časovou řadu těch statistik, že bychom viděli, kdy to naskočilo?

zoul commented 2 months ago

Vercel to má zřejmě 6 měsíců nazpět, žádný trend tam vidět není:

data-writes

Ale teď koukám, že jsou to „write units“, nikoliv počty zápisů, viz dokumentaci:

Write unit: One write unit equals 8 KB of data written to the cache.

Takže 1 M written units ≅ 8 GB, jestli dobře počítám. Ale s ohledem na ten počet API dotazů na Airtable bych se nejdřív primárně zaměřil na tu četnost, to číslo by mělo být výrazně nižší.

zoul commented 1 month ago

Pro Airtable jsem udělal samostatný ticket: https://github.com/cesko-digital/app/issues/1112

zoul commented 1 week ago

Teď na to koukám a mám dojem, že ten dashboard nějak předělali, takže už nejsem s to dohledat na první pohled srovnatelná čísla. Každopádně metrika „ISR Writes“ za poslední měsíc je zhruba na 25 % (456 K z 2 M), takže bych to nechal plavat – zejména s ohledem na to, že případný další 1 M writes stojí $4.