Tilaussanoman käsittely epäonnistuu ensimmäisellä yrityksellä, mutta sama sanoma menee läpi uudelleenkäsittelyssä

[ajrajala]

Mikä vikana?

Vaskissa näyttäisi syntyvän epäonnistuneista tilaussanomien käsittelystä johtuvia tupla-tilauskoreja alle/reilu 10 kpl kuukaudessa. Vanhempia tuplia on siivottu jo pois, mutta loka-tammikuun ajalta tupliin ei ole (pääkäyttäjien toimesta) vielä koskettu.

Tapauksissa näyttää siis käyneen niin, että ensin tilaussanoman käsittely on keskeytynyt ja hankintaan on muodostunut vaillinainen, auki jäänyt tilauskori. Illalla 21:00 uudelleenkäsittelyssä käsittely on saatu tehtyä onnistuneesti ja hankintaan on muodostunut täysi, suljettu tilauskori.

Viimeisimmät esimerkkitapaukset ovat tällaiset:

_3.1.2023 portaali_order20230103104154.xml id 15185 jäänyt kesken (puuttuu loput 10 tilausriviä) id 15205 ok

_19.12.2022 portaali_order20221219123701.xml id 14893 jäänyt kesken (puuttuu loput kolme tilausriviä) id 14929 ok

Mihin käsittely alunperin tyssää? Virhettä tilaussanomassa / Kohan tilikoodeissa ei pitäisi näissä tapauksissa olla, koska uudelleenkäsittely onnistuu vaikkei mitään muutoksia ole tehty.

Mitä pitäisi tapahtua

No response

Kuinka toistaa ongelma/asia

No response

Selain

No response

Jotain muuta?

No response

[ajrajala]

Tuplien muodostuminen on siis sikäli ikävää, ettei näistä tule mitään tietoa vaan tuplakoreja pitäisi raportilla seurata ja poistaa aktiivisesti. Jos seurantaa ja poistoja ei tehdä, voi budjetteihin tulla merkittävääkin vinoumaa ja lisäksi tietueille jää virheellisesti roikkumaan tilattuja niteitä.

(Lisäksi silloin, jos poistoja ei heti tehdä, vaan tuplakoreja siivotaan vasta myöhemmin, saattaa olla jo se tilanne että:

• tilauksia on vastaanotettu sekä oikeasta että väärästä tilauskorista tai
• tilauksia ei ole vastaanotettu ollenkaan, mutta jompi kumpi nide on tiedonhaun kautta poistettu. Näistä seuraa se, ettei virheellistä tuplakoria pystykään enää noin vain poistamaan.)

[lmstrand]

Siirsin EditX-käsittelijän ajastusta alkamaan kahdeksalta aamulla (ennen kuudelta aamulla alkanut käsittely, nyt ajautuu joka minuutti 8-22). Pitää noita ajastuksia miettiä noiden päivitysajojen ja huoltoikkunoidenkin kanssa myös hieman uusiksi. Voinee niiden yhteydessä tapahtua tuollaista.

Tätä tuplien muodostumista pitäisi tapahtua kyllä muissakin kimpoissa?

[lmstrand]

3.1. klo 10:41 luotu tiedosto portaali_order_20230103104154.xml, 19.12. klo 12:37 luotu portaali_order_20221219123701.xml

En kyllä keksi ensihätään mikä noiden käsittelyn tuohon aikaan olisi keskeyttänyt.

[lmstrand]

Lokeista löytyi Elasticsearchiin liittyvä ongelma. Ote lokista:

Validating file portaali_order_20230103104154.xml: 2023-01-03 10:42:16 -- portaali_order_20230103104154.xml: LibraryShipNotice required values errors: 0 2023-01-03 10:42:39 -- Order processing failed for file /var/spool/koha/editx/load/portaali_order_20230103104154.xml. 2023-01-03 10:42:39 -- Error was: [Bad response received when submitting request to Elasticsearch]

Sama juttu toisella sanomalla:

-- Validating file portaali_order_20221219123701.xml: 2022-12-19 12:37:04 -- portaali_order_20221219123701.xml: LibraryShipNotice required values errors: 0 2022-12-19 12:38:01 -- Order processing failed for file /var/spool/koha/editx/load/portaali_order_20221219123701.xml. 2022-12-19 12:38:01 -- Error was: [Bad response received when submitting request to Elasticsearch]

Näistä tapauksista eivät nuo herjamailit ole luonnollisesti lähteneet, koska sanoman käsittely on myöhemmin onnistunut.

Selvitellään asiaa.

[ajrajala]

Kodo laittoi viestiä siitä, että Eren mielestä osa ElasticSearch-ongelmista hankinnassa ja valutuksessa voisi mahdollisesti liittyä siihen, että QueryRegexEscapeOptions-järjestelmäasetus on asennossa "Don't escape". Teoria tuntuu siinä mielessä epätodennäköiseltä, kun tilaussanomien käsittely menee kuitenkin toisella yrittämällä läpi, mutta sovittiin että vaihdetaan kuitenkin Vaskissa asetukseksi Escape. Seurailen tilaussanomia ja raportoin sitten tänne oliko asetusmuutoksella mitään vaikutusta.

[lmstrand]

Tämä Elasticsearchiin liittyvä ongelma ei välttämättä ratkea pikaisella aikataululla. Olisiko aihetta lisätä näille tapauksille maileri joka raportoisi erikseen nämä kyseiset ongelmat?

Tässä 140 pv ajalta tapausten lukumäärä/kimppa (laskettu viime viikolla):

helle 1 outi 15 lumme 8 siili 0 vaara 0 lappi 25 kyyti 6 vaski 44 + no nodes available 1

[ajrajala]

Voisi olla ihan hyvä apu. Voitaisiin sen perusteella käydä sitten siivoamassa muodostuneet ylimääräiset tilauskorit pois.

[lmstrand]

Virhetilanteista raportoivaan maileriin on lisätty nyt Elasticsearch-ongelmia koskeva osuus. Näitä ongelmia koskevista sanomista lähtee erillinen sähköposti kerran päivässä otsikolla "EDItX tilaussanomien käsittelyssä oli ongelmia (Elasticsearch)" jos ongelmia löytyy lokitiedostosta.

Viestin sisältö esim.

Seuraavat EDItX sanomat on saatettu käsitellä tuplasti (Elasticsearch):

2023-01-19 10:42:39 -- Order processing failed for file  /var/spool/koha/editx/load/portaali_order_20230119104154.xml.
2023-01-19 10:42:39 -- Error was: [Bad response received when submitting request to Elasticsearch]
--
2023-01-19 10:42:39 -- Order processing failed for file  /var/spool/koha/editx/load/portaali_order_20230119104155.xml.
2023-01-19 10:42:39 -- Error was: [Bad response received when submitting request to Elasticsearch]

Katso lisätietoja EDItX rajapinnan parametroinnista ja tyypillisten virhetilanteiden korjaamisesta:
https://tiketti.koha-suomi.fi/projects/koha-suomen-dokumentaatio/wiki/EditX-hankinta#43-Erilaisia-virhetilanteita

Muutos on viety tuotantoihin.

[lmstrand]

Elasticsearch-herjoista EditX-käsittelyn aikana huomauttavat mailit eivät ole lähteneet vastaanottajille. Ongelma korjattu eilen 26.1. iltapäivällä.

[ajrajala]

Just aloin ihmetellä asiaa, kun tuli tietoon että (ainakin) toissapäivänä oli epäonnistunut tilaussanoman käsittely. Hyvä, että nyt korjattu!

[ajrajala]

Kerkesin katsoa mikä tilanne uusien tuplakorien suhteen ja 10.2. näyttäisi epäonnistuneen tilaussanoman portaali_order_20230210090216.xml käsittely. Tuosta ei ole tullut sähköposti-ilmoitusta ja mitä Matrixia selailin niin 7.2. on mailerille tehty korjaustoimenpiteitä ja tuo tilaussanomakäsittely tapahtunut sen jälkeen. Eli pitääköhän maileria vilkaista vielä kerran uudestaan?

[ajrajala]

Varmuuden vuoksi kuittaan, että nyt näyttäisi sähköposti-ilmoitukset näistä toimivan.

[piiaseme]

OUTIn hankinnassa ovat huomanneet, että lähes kaikki muodostuneista tuplista syntyvät Kirjavälityksen tilauksista. Voiko sillä olla merkitystä?

[lmstrand]

Nämä ongelmat ovat nyt hyvin todennäköisesti poistuneet taustatyö-ominaisuuden ja Elasticsearch-indeksipäivitysworkerin mukaantulon seurauksena. Avataan tiketti uudelleen jos näitä vielä havaitaan.