Ištestuoti SPINTA 0.1.62 versiją

[JuliusLADP]

Užduotys:

• [ ] Ištestuoti Portalo plėtra katalogo Test skiltyje esančias užduotis (24) https://github.com/orgs/atviriduomenys/projects/3/views/5?filterQuery=iteration%3A%22Iteration+25%22+repo%3A%22atviriduomenys%2Fspinta%22
• [ ] Ištestuoti Trūkumai katalogo Test skiltyje esančias užduotis (16) https://github.com/orgs/atviriduomenys/projects/9/views/1?filterQuery=repo%3A%22atviriduomenys%2Fspinta%22
• [ ] Ištestuoti Palaikymas katalogo Test skiltyje esančias užduotis (3) https://github.com/orgs/atviriduomenys/projects/5/views/7

Pastaba: Gal būtų naudinga susipažinti su kitų naudotojų SPINTA 0.1.61 versijos testavimo metu atliktomis klaidomis #587, kurios kaip ir indikuoja kad užduotį reikia grąžinti taisymui https://github.com/atviriduomenys/spinta/issues/542

Naują versiją ištestuoti su IRD duomenų rinkinio duomenimis ird-nusikaltimai Problemos, kilusios dėl šio duomenų rinkinio įkelimo: Problemos tikrai yra Saugyklos pusėje, kur paskutiniu metu buvo daryta labai daug pakeitimų, susijusių būtent su didelio kiekio duomenų publikavimu ir po šių pakeitimų deja atsirado naujų sutrikimų, kuriuos reikia išspręsti.

Šiuo metu didžiausias duomenų rinkinys yra RC E. Sveikatos duomenys, 24,741,106 įrašų, arba 31GB, yra VMI rinkinys irgi apie 30GB, VDA, Gis Centro, SADM rinkiniai po 10G.

2G duomenų lentelė, tikrai nėra labai didelis atvejis. Tačiau duomenų publikavimas stringa, dėl mūsų pusėje esančių problemų.

Gal būt būtų įmanoma eksportuoti lenteles, kurias planuojate atverti ir perduoti jas suzipuotas man?

Galėčiau jas užsikelti į duomenų bazę ir ištestuoti visą publikavimo procesą, pakeliui pataisant visas klaidas. Tada kai jau viskas tikrai veiks ir bus ištestuota su jūsų duomenimis, informuočiau, kad reikia atsinaujinti Spintą iki naujausios versijos ir tada reikia tikėtis duomenų publikavimas jau veiks, be sutrikimų.

Info dėl VIISP duomenų įkėlimo į saugyklą (testavimui įkeliant didelius kiekius duomenų)"C:\Users\julius.belickas\OneDrive - IVPK\II AD projekto etapas\IVPK\ADP\Priežiūra ir palaikymas\VIISP"

[JustinasKen]

0.1.63 versijos užduotys

• [x] https://github.com/atviriduomenys/spinta/issues/516
• [x] https://github.com/atviriduomenys/spinta/issues/518
• [x] https://github.com/atviriduomenys/spinta/issues/512
• [x] https://github.com/atviriduomenys/spinta/issues/508
• [x] https://github.com/atviriduomenys/spinta/issues/532
• [x] https://github.com/atviriduomenys/spinta/issues/535
• [x] https://github.com/atviriduomenys/spinta/issues/544
• [x] https://github.com/atviriduomenys/spinta/issues/541
• [x] https://github.com/atviriduomenys/spinta/issues/543
• [x] https://github.com/atviriduomenys/spinta/issues/554
• [x] https://github.com/atviriduomenys/spinta/issues/529
• [x] https://github.com/atviriduomenys/spinta/issues/566
• [x] https://github.com/atviriduomenys/spinta/issues/562
• [x] https://github.com/atviriduomenys/spinta/issues/394
• [x] https://github.com/atviriduomenys/spinta/issues/268
• [x] https://github.com/atviriduomenys/spinta/issues/459
• [x] https://github.com/atviriduomenys/spinta/issues/454
• [x] https://github.com/atviriduomenys/spinta/issues/432
• [x] https://github.com/atviriduomenys/spinta/issues/523
• [x] https://github.com/atviriduomenys/prieziura/issues/90
• [x] https://github.com/atviriduomenys/prieziura/issues/92
• [x] https://github.com/atviriduomenys/prieziura/issues/95
• [x] https://github.com/atviriduomenys/prieziura/issues/100
• [x] https://github.com/atviriduomenys/spinta/issues/550
• [x] https://github.com/atviriduomenys/spinta/issues/549
• [x] https://github.com/atviriduomenys/spinta/issues/579
• [x] https://github.com/atviriduomenys/spinta/issues/581
• [x] https://github.com/atviriduomenys/spinta/issues/542
• [x] https://github.com/atviriduomenys/spinta/issues/289
• [x] https://github.com/atviriduomenys/spinta/issues/345
• [x] https://github.com/atviriduomenys/prieziura/issues/98
• [x] Išleisti 0.1.63 Python paketą į PyPI
• [ ] Padaryti atnaujinimą testinėje aplinkoje (get-test.data.gov.lt)
• [ ] Paleisti spinta push į get-test.data.gov.lt su didesniu duomenų rinkiniu, bent ~1M objektų.
  • [ ] Patikrinti ar veikia esminės funkcijos get-test.data.gov.lt, po spinta push duomenų publikavimo, esminės funkcijos:
  • [ ] Ar sutampa objektų skaičius šaltinyje iš kurio publikuoti duomenys su ?count() Saugykloje.
  • [ ] Ar veikia esminės funkcijos, su skirtingais formatais (getone, getall, search, changes, insert, patch, delete), formatai: html, csv, json, jsonl.
  • [ ] Ar atsisiuntus duomenis, objektų skaičius sutampa su skaičiumi Saugykloje.
  • [ ] Ar veikia filtravimas, rūšiavimas, limit.
• [ ] Jei testavimas sėkmingas, išleisti 0.1.63 versiją get.data.gov.lt.