Product koppeling met Main

fako commented 2 years ago

Om full text search mogelijk te maken willen we documenten zoals PDF's die geupload worden via Main door de harvester pipeline halen.

Om dit te starten zijn de volgende zaken nodig:

[x] Een voldoende stabiele API aan de kant van Main. Menno en John moeten hierop akkoord geven
[x] Documentatie rondom de werking van bovenstaande API
[x] Besluit rondom "collectie" Extensions. Behouden we dit? Bestanden toegevoegd aan een collectie zouden niet doorkomen in dit plan.

JohnMeurs commented 2 years ago

[x] @JohnMeurs vraagt nog aan Menno om documentatie --> moet naar Fako

Als product aangemaakt wordt in Publinova, en je voegt een bestand toe, dan wordt die niet meegenomen in de indexering. Dat kan alleen als Main zelf een bron wordt, en dat is ie inmiddels, maar niet voor Search. Daarvoor documentatie nodig.

EvaWoertman commented 2 years ago

@fako Menno gaat dit uitzoeken, en komt bij je terug als hij er niet uit komt!

EvaWoertman commented 1 year ago

@fako heb jij hierover nog iets gehoord van Menno? Anders moeten we er weer achteraan!

fako commented 1 year ago

Nee, nog geen reactie @EvaWoertman

EvaWoertman commented 1 year ago

Herinnering gestuurd!

EvaWoertman commented 1 year ago

Ha @fako de documentatie staat hier: https://gitlab.surf.nl/publinova-group/project-main/-/wikis/Publinova-als-bron-DOCS Kan je hiermee verder?

fako commented 1 year ago

Ja, op zich heel duidelijk, maar als het goed is heeft Pascal een bearer token gemaild naar iemand. Die heb ik nog wel nodig @EvaWoertman

fako commented 1 year ago

Tot op heden nog geen bearer token ontvangen @JohnMeurs @EvaWoertman

JohnMeurs commented 1 year ago

Bij een collecite kunnen geen losse bestanden toegevoegd worden. Alleen producten

fako commented 1 year ago

Een eerste koppeling is af. De volgende zaken kloppen nog niet vanuit het bronsysteem gezien:

[x] De API geeft een hoop kleurrijke copyright waarden terug zoals: Naamsvermelding en cc-by-ncnd, maar die komen niet overeen met andere copyright en zouden dus nieuwe copyrights worden. Volgens mij wilden we dat niet
[x] Er is geen language bekend, dus ik kan geen analyzer kiezen voor search. Daar wordt search slechter van.
[x] Verder vraag ik me af of publisher_date created_at moet gaan gebruiken? Dus publicatie is dan gelijk aan wanneer product voor het eerst is gemaakt. Of liever updated_at?
[x] De API geeft ook "publishers" terug, maar dat is gek, want Publinova is de enige geldige publisher, toch? Je kunt niet zomaar iets in de naam van HKU publishen op Publinova? Of wel? En is Publinova dan ook publisher of helemaal geen publisher Als je wel via andere partijen published. Wat moet ik dan doen met alle lege publishers? Is er dan geen publisher?
[x] research_object_type ontbreekt
[x] research_theme ontbreekt
[x] DOI ontbreekt
[x] summary hebben we momenteel geen veld voor, maar er is wel een wens om die op te nemen? Alle andere bronnen zetten "summary" of "abstract" in description.

BELANGRIJK: Zodra al deze punten af zijn, dan zal Zooma moeten stoppen met Extensions inschieten en over moeten stappen naar webhooks

fako commented 1 year ago

@JohnMeurs @EvaWoertman even de voortgang wat betreft Main koppeling. Dit gaan we bespreken met Pascal.

fako commented 1 year ago

Dit gaat over koppeling met Zooma en die is nu af. Zooma moet nog wel webhooks gaan gebruiken, maar dat staat in ander ticket op nieuwe bord.

nppo / search-portal

Product koppeling met Main #49