[Epic][Duplikat] Flytte RDF-parsing til egen tjeneste

[terjesyl]

RDF-parsingtjeneste til frontend

Har et duplikat: https://github.com/Informasjonsforvaltning/fdk-issue-tracker/issues/849 Issuene kan slås sammen.

Hva

Erstatte RDF-parserbiblioteket som brukes i fdk-harvester-bff og fdk-fulltext-search med en egen rdf-parser-tjeneste.

Hvorfor

• Unngår caching-problematikk knyttet til harvester-bff.
• Persistens på parset data når frontend ber om data.
• Én kilde til json fra rdf-grafer.

Forslag til løsning

Egen python-tjeneste som

• parser RDF fra resoning-service,
• sender POST til fdk-resource-service for å persistere parset data
• melder fdk-fulltext-search om at ny data kan indekseres,

Flyttes til separat tjeneste (fdk-resource-service)

• persisterer parset data/JSON-data,
• sender JSON-data til frontend/portal og fdk-fulltext-search på forespørsel.
• ~Støtte GraphQL (ønskelig)~

Funksjonalitet

• Python API (aiohttp). Må håndtere RabbitMQ.
• Lytter til meldinger fra fdk-reasoning-service
  • Mottar liste med kataloger som har endringer.
• Kjører parse-jobb (på kildenivå, og per katalog per rapport)
• POSTer parset data til fdk-resource-service
• Sender melding til fdk-fulltext-search-rabbit-consumer
• (Leser inn ReferenceData (lagre i minne))

TODO

fdk-rdf-parser-service

• [x] Informasjonsforvaltning/fdk-rdf-parser-service#1
• [x] Informasjonsforvaltning/fdk-rdf-parser-service#5
• [x] Informasjonsforvaltning/fdk-rdf-parser-service#6
• [x] Informasjonsforvaltning/fdk-rdf-parser-service#84
• ~Informasjonsforvaltning/fdk-rdf-parser-service#7~ (muligens unødvendig)

fdk-resource-service

• ~Informasjonsforvaltning/fdk-resource-service#21~
• ~Informasjonsforvaltning/fdk-resource-service#22~
• [x] Informasjonsforvaltning/fdk-resource-service#2
• [x] Informasjonsforvaltning/fdk-resource-service#3
• [x] Informasjonsforvaltning/fdk-resource-service#4
• [x] Informasjonsforvaltning/fdk-resource-service#6
• [x] Informasjonsforvaltning/fdk-resource-service#7
• [x] Informasjonsforvaltning/fdk-resource-service#8
• [x] Informasjonsforvaltning/fdk-resource-service#9
• [x] Informasjonsforvaltning/fdk-resource-service#10
• [x] Informasjonsforvaltning/fdk-resource-service#11
• [x] Informasjonsforvaltning/fdk-resource-service#12
• [x] Informasjonsforvaltning/fdk-resource-service#13
• [x] Informasjonsforvaltning/fdk-resource-service#14
• [x] Informasjonsforvaltning/fdk-resource-service#18
• [x] Informasjonsforvaltning/fdk-resource-service#24

documentation

• [x] Informasjonsforvaltning/fdk-issue-tracker#771

[jeffreiffers]

Bør vi legge til støtte for GraphQL? Siden en del data allerede ligger i fulltextsearch så trenger man vel ikke hele objektet i frontend.

[terjesyl]

Ja, vi bør prate litt om flyten der. Jeg begynner basic med noe som parser rdf og server json, legger til GraphQL som ønskelig.

[jeffreiffers]

Blir det rabbitmq eller kafka?

[terjesyl]

Tar gjerne en prat om det og, men så vidt jeg forsto må vi konsumere Rabbit-meldinger fra reasoning-service (skrev feil i Slack). Og må sende rabbit-meldinger til fulltext-search.

[KjerstiSteien]

@terjesyl er det noen av de oppgavene som gjenstår her du kan jobbe med uten at Jeff og Nils Ove er tilstede? Tenker på sommeren.

[terjesyl]

Ja, kan prøve å komme videre her ja:)

[KjerstiSteien]

@terjesyl hva tror du om å sette denne til backlog og heller ta de mindre sakene til ready litt etter litt?

[terjesyl]

Jepp! Bør nok også gå gjennom og se at den er up to date.