[Epic] Sette opp parser-service

[KjerstiSteien]

Sette opp parser-service

Beskrivelse

Endring bestemt februar 2024.

• [x] JSON-API for parsing: https://github.com/Informasjonsforvaltning/fdk-rdf-parser-service/issues/91
• [x] Kafka-publisher for parse-events: https://github.com/Informasjonsforvaltning/fdk-issue-tracker/issues/888

Avhengigheter:

• [x] https://github.com/Informasjonsforvaltning/fdk-reasoning-service/issues/117

Hvorfor

Nødvendig bestanddel i Kafka-løpet og mer robust høsteløp

Beskrivelse:

• JSON-API som parser RDF fra fdk-rdf-parse-event-publisher og returner JSON.

Issues

• [X] Sette opp JSON-API

documentation

• [x] Informasjonsforvaltning/fdk-issue-tracker#771

Avhengigheter (obsolete):

• [x] https://github.com/Informasjonsforvaltning/fdk-reasoning-service/issues/117

Beskrivelse (obsolete):

• [x] https://github.com/Informasjonsforvaltning/fdk-rdf-parser-service/issues/6
• [x] https://github.com/Informasjonsforvaltning/fdk-rdf-parser-service/issues/50
• [x] Informasjonsforvaltning/fdk-rdf-parser-service#61
• [x] https://github.com/Informasjonsforvaltning/fdk-rdf-parser-service/issues/84

---

Informasjon fra duplikat epic #692 : RDF-parsingtjeneste til frontend

Hva

Erstatte RDF-parserbiblioteket som brukes i fdk-harvester-bff og fdk-fulltext-search med en egen rdf-parser-tjeneste.

Hvorfor

• Unngår caching-problematikk knyttet til harvester-bff. ~- Persistens på parset data når frontend ber om data.~
• Én kilde til json fra rdf-grafer.

Forslag til løsning

Egen python-tjeneste som ~- sender POST til fdk-resource-service for å persistere parset data~ ~- melder fdk-fulltext-search om at ny data kan indekseres,~

Flyttes til separat tjeneste (fdk-resource-service)

• persisterer parset data/JSON-data,
• sender JSON-data til frontend/portal og fdk-fulltext-search på forespørsel.
• ~Støtte GraphQL (ønskelig, ikke nødvendig)~

Funksjonalitet

• Setter opp API med opp i FastAPI.
• Tar i mot rdf-grafer bestående av enkeltressurser
• Returnerer ressursen parset til JSON ved hjelp av fdk-rdf-parser. ~- Python API (aiohttp). Må håndtere RabbitMQ.~ ~- Lytter til meldinger fra fdk-reasoning-service~ ~- Mottar liste med kataloger som har endringer.~ ~- Kjører parse-jobb (på kildenivå, og per katalog per rapport)~ ~- POSTer parset data til fdk-resource-service~ ~- Sender melding til fdk-fulltext-search-rabbit-consumer~ ~- (Leser inn ReferenceData (lagre i minne))~

TODO

fdk-rdf-parser-service

• [x] Informasjonsforvaltning/fdk-rdf-parser-service#1
• [x] Informasjonsforvaltning/fdk-rdf-parser-service#5
• [x] Informasjonsforvaltning/fdk-rdf-parser-service#6
• ~Informasjonsforvaltning/fdk-rdf-parser-service#84~
• ~Informasjonsforvaltning/fdk-rdf-parser-service#7~ (muligens unødvendig)

fdk-resource-service

• ~Informasjonsforvaltning/fdk-resource-service#21~
• ~Informasjonsforvaltning/fdk-resource-service#22~
• [x] Informasjonsforvaltning/fdk-resource-service#2
• [x] Informasjonsforvaltning/fdk-resource-service#3
• [x] Informasjonsforvaltning/fdk-resource-service#4
• [x] Informasjonsforvaltning/fdk-resource-service#6
• [x] Informasjonsforvaltning/fdk-resource-service#7
• [x] Informasjonsforvaltning/fdk-resource-service#8
• [x] Informasjonsforvaltning/fdk-resource-service#9
• [x] Informasjonsforvaltning/fdk-resource-service#10
• [x] Informasjonsforvaltning/fdk-resource-service#11
• [x] Informasjonsforvaltning/fdk-resource-service#12
• [x] Informasjonsforvaltning/fdk-resource-service#13
• [x] Informasjonsforvaltning/fdk-resource-service#14
• [x] Informasjonsforvaltning/fdk-resource-service#18
• [x] Informasjonsforvaltning/fdk-resource-service#24

[terjesyl]

@KjerstiSteien Høsteløpsdelen av tegningen er oppdatert. Foreslår vi tar oppdatering av den store arkitekturtegningen i et eget issue (siden det er knyttet til flere ting enn kun fdk-rdf-parser-service), sånn at vi kan lukke denne epicen.

[KjerstiSteien]

@terjesyl det er ok for meg. Dekkes det i denne saken? https://github.com/Informasjonsforvaltning/fdk-issue-tracker/issues/771

[terjesyl]

Det er den jeg tenker kan lukkes, siden det er det siste uferdige issuet i denne epicen. Og at et nytt dokumentasjonsissue opprettes som handler om å oppdatere tegningen for hele stacken.