Testikantojen uudelleenluonti ja redusointi toukokuu 2024

AnneliO commented 5 months ago

Tukipyyntö

Testikannoille tehdään ti 28.5.2024 seuraavat toimet:

otetaan testien API-tunnukset ja avaimet talteen tuotannon aputauluun, myös ei-redusoitavalta tietokannalta
liitännäisten plugindata talteen ja palautus testille
luodaan kanta uusiksi tuotannon pohjalta
redusoidaan tiedot (paitsi Vaski)
anonymisoidaan asiakastiedot
tuodaan API-tunnukset ja -avaimet takaisin tuotannon säilötaulusta
indeksoidaan tietokannat uudelleen
pyydetään Kansalliskirjastoa haravoimaan testi-Finnat uudelleen

Poimittu tiketistä #838 seuraavat tarkemmat tiedot:

Aiemmin skripti teki näin:

Perustiedot

ensin kopioitiin kirjastot, borrower attributet, yms.
laina- ja maksusäännöt
kalenterit

Asiakkaat

valittiin 50 kpl satunnaisia asiakkaita
10 kpl, joilla paljon maksuja
100 kpl ihan satunnaista asiakasta
virkailija-, api- ja automaattitunnukset
jos oli huoltajia/huollettava → huolettava/huoltaja otettiin mukaan

Tietueet

jos asiakkailla oli varauksia → niiden bibliot
300 satunnaista bibliota
biblionumerot, jotka ovat osakohteita aiemmin valituille

Niteet

aiemmin valittuihin biblioihin niteet

Hankinta

ne ordersit otettiin mukaan, joissa biblionumber tai borrowernumber, jotka aiemmissa tullut mukaan.

Kausijulkaisut

jos mukana oli kausijulkaisutietue, tuotiin myös tilaus

Raportit

kaikki tuli mukaan

Mukaan tarvitaan jatkossa:

kaikista nidetyypeistä jotain mukaan min. 10 kpl
kaikista aineistotyypeistä mukaan tietueita sekä erityisesti
- tietueita, joilla on osakohteita
- lehtitietueita
- hankinnassa olevia mukaan
kaikista asiakastyypeistä jotain mukaan
kaikille asiakkaille kaikki asiakkaaseen liittyvät lainat, maksut, varaukset, huollettavat/huoltajat, rajoitteet, asiakasmääreet, viestiasetukset
200 satunnaista ja 100 uusinta emoa ja niiden osakohteet
tietyt testiasiakkaat aina mukaan, testiasiakkaan tietoihin seuraavanlainen merkintä:
- Huomautus (näkyy virkailijatyökalussa): Testiasiakas
liitännäiset: kaikkia liitännäisiä pitäisi pystyä testaamaan testeillä
- tuodaan tarpeen mukaan testille.
sequences-taulun sisältö

Muuta

Testikantojen API-avaimet otetaan talteen tuotannon kantaan ja palautetaan sieltä taas käyttöön testikantaan. Näin tehdään, jotta esim. testi-Finnoille ei tarvitse ilmoittaa uusia api-avaimia jokaisen tietokannan uusinnan jälkeen.
- Myös redusoimattoman tietokannan API-avaimet pitää ottaa talteen ja palauttaa.
Testi-Finnat pitää pyytää Kansalliskirjastoa haravoimaan uudelleen.
SIP-tunnuksista tuodaan tuotantokannasta vain kaksi: TESTSIP1 ja TESTSIP2. Loput SIP-tunnukset eli AUTOM-tyyppiset tunnukset jätetään poimimatta.
Testeillä täytyy tarkistaa, että koha-confin mäppäyspolut osoittavat utilityyn.

<elasticsearch_index_config>/home/koha/koha-suomi-utility/etc/elasticsearch_index_config.yaml</elasticsearch_index_config>
<elasticsearch_field_config>/home/koha/koha-suomi-utility/etc/elasticsearch_field_config.yaml</elasticsearch_field_config>
<elasticsearch_index_mappings>/home/koha/koha-suomi-utility/etc/elasticsearch-mappings.yaml</elasticsearch_index_mappings>

Uudelleenluonnin jälkeen

Pääkäyttäjät:
- staffClientBaseURL-järjestelmäasetukseen pitää käydä muuttamassa testikannan osoite, jotta kielenvaihto ei vie etusivulle.
- Käy laittamassa fasetit oikeaan järjestykseen / poistamaan näkyviltä ylimääräiset: Ylläpito -> Hakukoneen astukset (Elasticsearch) -> Nimeketietueet (ja mene sivun loppuun)
- Fasettien järjestys: ota hiirellä kiinni halutusta fasetista ja siirrä se oikean kohtaan.
- Poista näkyviltä: ota rasti pois halutun fasetin kohdalta.
- Tallenna, kun olet tehnyt tarvittavat muutokset.
- Käy tarvittaessa lisäämässä sellaiset asetukset, jotka eivät tulleet redusoinnin mukana tuotannosta. Esim. Lisäkentät/Additional fields

AnneliO commented 5 months ago

Seuranta kimpoista:

[x] Lappi
[x] OUTI
[x] Siili
[x] Vaara
[x] Lumme
[x] Kyyti
[x] Helle
[x] Kirkes
[x] Vaski
[x] Täti

CodoDerDritte commented 5 months ago

Koha-conf:in indeksimääritykset (mäppäykset ym) on tarkistettu ja kunnossa testeillä.

AnneliO commented 5 months ago

Liitännäisistä olisi hyvä asentaa ainakin:

REST API plugin for Koha for discovery interfaces
Add MARC field 001
Authorised values endpoints
Auto Framework Code
Delete Biblio Components
SIPoHTTP
Tarratulostustyökalu
Laskutustyökalu
Sotuteekki

pknuuti commented 5 months ago

Vaaran testillä ei ole tuota Delete Biblio Components -liitännäistä. Muut näyttää olevan.

sksandel commented 5 months ago

Vaskin testi herjaa virhettä Koha-plugineissa: AutoFrameworkCode CheckoutReportLink DeleteBiblioComponents TrimZ3950Search

paxed commented 5 months ago

Nyt on myös kaikki pluginit kohdallaan.

AnneliO commented 5 months ago

Pyysin perjantaina Finna-toimistoa haravoimaan testi-Finnat uudellen. Ne on todennäköisesti jo valmistuneet tähän mennessä. :)

ajrajala commented 5 months ago

Huomasin Vaski-testillä, että MARC-kuvailupohjat ei ole kopioituneet tuotannosta. Meillä on nimittäin tuotannossa hankinnan ACQ-pohjaa muokattu (samat muokkaukset oli aiemmin testilläkin), mutta nyt testillä näyttää olevan taas vanha, alkuperäinen ACQ-pohja käytössä.

Testillä tuo ei haittaa, kun pystyn tuomaan sinne talteen otetun ACQ-pohjan uudestaan, mutta pitäisikö vastaisuudessa jotenkin huomioida nuo kuvailupohjat uudelleenluonnissa?

sksandel commented 5 months ago

Vaskin Testissä kiinni oleva "kohatest-Finna" ei saa yhteyttä kirjastojärjestelmään. Puuttuuko vielä joku toimenpide`?

paxed commented 5 months ago

Huomasin Vaski-testillä, että MARC-kuvailupohjat ei ole kopioituneet tuotannosta. Meillä on nimittäin tuotannossa hankinnan ACQ-pohjaa muokattu (samat muokkaukset oli aiemmin testilläkin), mutta nyt testillä näyttää olevan taas vanha, alkuperäinen ACQ-pohja käytössä.

Testillä tuo ei haittaa, kun pystyn tuomaan sinne talteen otetun ACQ-pohjan uudestaan, mutta pitäisikö vastaisuudessa jotenkin huomioida nuo kuvailupohjat uudelleenluonnissa?

Vaski-testiä ei redusoitu, vaan se luotiin tietokannan varmuuskopiosta - jos en nyt väärin muista niin 6.6. otetusta. Joten tuo tuotannon ACQ-pohjan muutos on tehty sen varmuuskopion ottamisen jälkeen, eikä siks oo tullut mukaan.

ajrajala commented 5 months ago

Tuotantoon oli jo 17.5. tehty ACQ-pohjan muutokset, mutta onko varmuuskopio siis peräti niin aikaisin otettu?

paxed commented 5 months ago

Se varmuuskopio oli otettu 20240606, eli kyllä se olisi siinä pitänyt olla mukana.

AnneliO commented 5 months ago

Vaskin Testissä kiinni oleva "kohatest-Finna" ei saa yhteyttä kirjastojärjestelmään. Puuttuuko vielä joku toimenpide`?

Testin API-tunnukset puuttuivat vielä. Ne on nyt palautettu käyttöön ja yhteys lähti pelaamaan.

ajrajala commented 5 months ago

Se varmuuskopio oli otettu 20240606, eli kyllä se olisi siinä pitänyt olla mukana.

Äkkiseltään esim. oletuspohjan 952-kenttiä vertailemalla en huomaa niissä eroja, joten mietin olisikohan tuo ACQ-pohja ainoa mihin ei ole tullut mukaan sama pohja mitä tuotannossa nyt on. Tuo ACQ-pohja on kuvailupohjista ainoa, jonka päälle on tuotu .ods-tiedostona uusi pohja, joten voisikohan sitten liittyä jotenkin siihen ettei päälle tuotu pohja ole siirtynyt tuotannosta testille?

ajrajala commented 4 months ago

@AnneliO Pitäisikö tuonne muistiinpanoihin lisätä ylös, että staffClientBaseURL-asetukseen täytyy käydä vaihtamassa testin osoite jotta kielen vaihtaminen käyttöliittymässä toimii oikein? Oli unohtunut meillä tehdä ja ehti aiheuttaa ihmetystä. 😃

Hanna-Lumme commented 4 months ago

Lumpeiden testiltä näyttää puuttuvan Authorised values endpoints ja Delete Biblio Components.

johannaraisa commented 3 months ago

Liitännäisten tietokantataulut olisi hyvä ottaa myös talteen, ainakin koha_plugin_fi_kohasuomi_broadcastbiblios*

emta001 commented 1 month ago

Voisiko tämän jo sulkea?

KohaSuomi / Koha